SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场monitoring-observability

monitoring-observability

部署与运维

查看项目

更新于 10-15 12:05

技能介绍

用途

Monitoring & Observability 是 OrchestKit 提供的一个监控与可观测性技能。它并非重新讲授 Prometheus、Grafana、OpenTelemetry 和 Langfuse，而是作为这些工具的封装层，承载 OrchestKit 自身的增量内容（版本下限、内部决策、经验教训），其余内容则指向各厂商官方文档。技能入口建议从 references/ork-delta.md 开始阅读。

主要能力

技能包含三大类共 5 条规则：

  1. 基础设施监控（1 条规则，CRITICAL）：Grafana 仪表盘、Golden Signals、SLO/SLI、健康检查。对应文件 rules/monitoring-grafana.md。
  2. LLM 可观测性（1 条规则，HIGH）：基于 Langfuse 的 LLM 应用追踪，包括 @observe 装饰器、OTEL span、Agent 图。对应文件 rules/llm-langfuse-traces.md。
  3. 静默失败（3 条规则，HIGH）：
    • 工具跳过（rules/silent-tool-skipping.md）：对比预期与实际工具调用，结合 Langfuse 追踪。
    • 质量退化（rules/silent-degraded-quality.md）：启发式方法加 LLM-as-judge，使用 z-score 基线。
    • 静默告警（rules/silent-alerting.md）：循环检测、token 峰值、升级工作流。

技能还记录了 OrchestKit 的关键决策：指标方法采用 RED 方法（Rate、Errors、Duration）；日志格式采用结构化 JSON；追踪采用 OpenTelemetry；LLM 可观测性选择 Langfuse 而非 LangSmith；LLM 追踪 API 使用 @observe(as_type=...) 加 score_current_span()；Langfuse API 使用 Observations API v2 与 Metrics API v2；Hook 遥测传输采用 ~/.claude/analytics/ 下的 JSONL，而非进程内 SDK。

使用方式

技能提供快速开始示例。Langfuse v4 LLM 追踪示例展示了语义化 as_type 与内联打分：使用 @observe(as_type="generation", name="analyze_content") 装饰异步函数，通过 get_client().update_current_trace() 设置 user_id、session_id、tags，调用 LLM 生成结果后使用 get_client().score_current_span(name="response_quality", value=0.85) 打分。Prometheus RED 方法示例展示了 Counter 与 Histogram 的埋点方式，仅使用有界标签。

技能还包含详细文档资源列表，包括 references/ork-delta.md（起点，版本下限与内部决策）、references/langfuse-js-v5.md（JS/TS SDK v5 与 Python 4.x 的差异）、references/experiments-api.md、references/evaluation-scores.md、references/session-tracking.md、references/metrics-collection.md、references/dashboards.md、references/structured-logging.md、references/dev-agent-lens.md，以及示例和脚本模板。

适用场景

适用于需要为服务与 LLM 应用搭建监控和可观测性体系的场景，尤其是使用 Prometheus、Grafana、OpenTelemetry、Langfuse 技术栈，并希望遵循 OrchestKit 内部约定的团队。也适用于检测 LLM Agent 的静默失败（工具跳过、质量退化、循环与 token 峰值）。

限制

技能明确不重复上游内容：Prometheus 指标类型、RED 方法、基数、PromQL、Alertmanager 配置、Grafana 仪表盘、Loki/LogQL、OpenTelemetry span 与采样、Langfuse Python SDK 细节、Langfuse 版本迁移、自托管、成本追踪、评分、框架集成、Agent 图、漂移检测统计方法、EWMA 控制图、structlog/Winston 等均由上游官方文档覆盖。漂移检测、成本追踪、评估打分、Prometheus 埋点与告警规则编写已移至上游来源。技能中提到的 CC 2.1.161 与 CC 2.1.169 为特定版本行为说明。具体安装命令、收费与价格信息暂未提供。