SuperAPI AI 工具集

optimize-trace-observability

部署与运维

查看项目

更新于 10-15 20:28

技能介绍

用途:在 Coval 基础 trace 接入已能工作但内容稀疏时,把 trace 优化成可用的调试产物。优先检查一条已验证的 Coval trace;若 setup-tracing 的异步校验仍在进行,可先做安全的代码可见增强,再复查结果。

主要能力:按阶段推进。先检查当前 trace 质量,分类为无 trace、仅有根/供应商 span、单一 span 类型占主导、缺少属性、缺工具 span、父子结构扁平、属性不安全或高基数、turn span 无区分等。再在代码中搜索 cart、order、intent、tool_call、handoff、payment、webhook 等业务事件,为每个事件建议一个带数值属性的 span。随后补充 Coval 原生 span:conversation、turn、stt、stt.provider.<name>、llm、tts、llm_tool_call、vad、pipeline/transport,并保持名称稳定、低基数。

属性与用法:使用 span-schema.md 的规范属性,如 stt 的 transcript、metrics.ttfb、stt.confidence;llm 的 metrics.ttfb、llm.finish_reason、gen_ai.usage.input_tokens/output_tokens;llm_tool_call 的 function.name、tool_call_id、tool.latency_ms、tool.error 等;conversation 的 tool.call.count、workflow.completed 等。失败 span 设 OTel 状态为 ERROR。瞬时事件优先用 span event,如 span.add_event("simulation_id_received", {...})。Vapi 场景可从 artifact.messages 构造 turn.assistant/turn.user,并遵守时间戳防护。

限制与保护:不得为已有框架埋点重复添加手动 span;Vapi 不提供供应商内部 STT/LLM/TTS 计时时不得伪造置信度、TTFB 或延迟。提交前移除或限制密钥、令牌、原始音频、可能含 PII 的完整提示/响应、无界 transcript、高基数 span 名和重复导出重试。改进后通过 CLI/API 跑一次代表性会话,在 trace viewer 确认层级与颜色,并检查 Trace Search 过滤;新增数值属性后可用 configure-trace-metrics 创建指标。具体命令与完整参考文档暂未提供。