SuperAPI AI 工具集

observability-analyzer

部署与运维

查看项目

更新于 10-15 11:23

技能介绍

用途

Observability Analyzer 用于查询 Claude Code 的可观测性数据(metrics、logs、traces),并基于这些数据生成洞察。它适用于分析性能、成本、错误、工具使用、会话、对话等场景。

数据来源

工具同时支持两种遥测数据源:

  • 默认 OTEL,任务名(Job Name)为 claude_code,包含 API 指标、token 用量、成本。
  • 增强 Hooks,任务名为 claude_code_enhanced,包含会话、对话、工具、子代理。

主要能力(Operations)

query-metrics <promql>:对 Prometheus 执行 PromQL 查询。示例:query-metrics 'sum(claude_code_token_usage)[7d]'

query-logs <logql>:对 Loki 执行 LogQL 查询。示例:query-logs '{job="claude_code_enhanced", event_type="tool_call"} | json' --since 24h

analyze-errors:从增强遥测中检测并归组错误模式。查询:{job="claude_code_enhanced", event_type="tool_result", status="error"} | json。输出错误类型、频率、受影响的工具、建议。

analyze-performance:识别慢操作和响应体积。查询:{job="claude_code_enhanced", event_type="tool_result"} | json | response_length > 50000。输出大响应、估算 token 成本、慢模式。

analyze-costs:根据内容体积估算计算 token 用量:sum by (repo) (sum_over_time({job="claude_code_enhanced", event_type="context_utilization"} | json | unwrap estimated_session_tokens [24h]))。输出按 repo 的 token 估算、会话成本、预测。

analyze-tools:工具使用统计与序列:sum by (tool) (count_over_time({job="claude_code_enhanced", event_type="tool_call"} | json [24h]))。输出调用频率、成功率、工具序列、常见模式。

analyze-sessions:会话生命周期与时长分析:{job="claude_code_enhanced", event_type="session_end"} | json。输出会话时长、轮次数、每会话工具数、终止原因。

analyze-conversations:对话与提示词分析:sum by (pattern) (count_over_time({job="claude_code_enhanced", event_type="user_prompt"} | json [24h]))。输出提示词模式(question/debugging/creation/ultrathink)与轮次分布。

analyze-subagents:子代理/Task 工具使用:{job="claude_code_enhanced", event_type="tool_call", tool="Task"} | json。输出使用的子代理类型、完成率、并行执行模式。

analyze-skills:技能调用分析:sum by (skill_name) (count_over_time({job="claude_code_enhanced", event_type="skill_usage"} | json [24h]))。输出最常用技能、按 repo 的技能使用、趋势。

analyze-context:上下文窗口利用率:{job="claude_code_enhanced", event_type="context_utilization"} | json | context_percentage > 50。输出高利用率会话、压缩事件、token 效率。

analyze-repos:仓库/项目活动:sum by (repo, tool) (count_over_time({job="claude_code_enhanced", event_type="tool_call"} | json [24h]))。输出各 repo 活动、按项目的工具使用、分支模式。

generate-report:综合分析报告(所有维度)。输出包含错误、性能、成本、会话、对话、工具的 Markdown 报告。

关键查询(Key Queries)

增强遥测(Loki):

# All events (last hour)
{job="claude_code_enhanced"} | json

# Session analytics
{job="claude_code_enhanced", event_type="session_end"} | json | duration_seconds > 300

# Tool errors
{job="claude_code_enhanced", event_type="tool_result", status="error"} | json

# High context usage
{job="claude_code_enhanced", event_type="context_utilization"} | json | context_percentage > 75

# Subagent spawns
{job="claude_code_enhanced", event_type="tool_call", tool="Task"} | json

# Skill invocations
{job="claude_code_enhanced", event_type="skill_usage"} | json

# Prompt patterns
{job="claude_code_enhanced", event_type="user_prompt"} | json | pattern="ultrathink"

# Tool sequences
{job="claude_code_enhanced", event_type="tool_call"} | json | line_format "{{.tool_name}} → {{.previous_tool}}"

# Context compaction
{job="claude_code_enhanced", event_type="context_compact"} | json

# Permission requests
{job="claude_code_enhanced", event_type="permission_request"} | json

默认 OTEL(Prometheus):

# Total token usage (7 days)
sum(increase(claude_code_token_usage[7d]))

# Error rate by tool
sum by (tool_name) (rate(claude_code_tool_result{status="failure"}[1h]))

# P95 tool latency
histogram_quantile(0.95, claude_code_tool_duration_bucket)

# Daily costs
sum(increase(claude_code_cost_usage[24h]))

事件类型参考(Event Types)

  • session_start:会话初始化,关键字段 source、permission_mode
  • session_end:会话终止,关键字段 duration_seconds、turn_count、tools_used
  • user_prompt:用户消息提交,关键字段 pattern、prompt_length、estimated_tokens
  • tool_call:工具调用,关键字段 tool_name、tool_details、sequence_position
  • tool_result:工具完成,关键字段 status、response_length、is_error
  • skill_usage:技能调用,关键字段 skill_name
  • context_utilization:token 估算,关键字段 estimated_session_tokens、context_percentage
  • context_compact:压缩事件,关键字段 trigger(manual/auto)
  • subagent_complete:Task 代理完成,关键字段 total_subagents
  • permission_request:权限对话框,关键字段 notification_type
  • notification:系统通知,关键字段 notification_type

Grafana 仪表盘

包含:Claude Code Overview(高层指标)、Tool Performance(工具延迟与成功率)、Cost Analysis(token 用量与成本)、Error Tracking(错误模式与趋势)、Session Analytics(会话级洞察)、Enhanced Analytics(模型/技能/上下文/仓库追踪)、Deep Analytics(综合对话与工具分析)。访问地址:http://localhost:3000(admin/admin)。

脚本

  • scripts/query-prometheus.sh - PromQL 查询辅助
  • scripts/query-loki.sh - LogQL 查询辅助
  • scripts/analyze-errors.sh - 错误分析自动化
  • scripts/analyze-sessions.sh - 会话分析
  • scripts/generate-report.sh - 完整分析报告

限制

资料未提供安装方式、定价、平台要求及许可等信息,暂未提供。