用途:从 OpenTelemetry span 创建 Coval 的 trace 类指标,并绑定到智能体、运行模板或运行配置。需先存在至少一条真实 trace;若 setup-tracing 校验仍在进行,可先盘点 trace 并准备指标定义,仅在历史 trace 或进行中运行已证明目标 span 与属性存在时才提前创建。\n\n主要能力:产出两类指标——针对真实 span 属性的数值型 METRIC_CUSTOM_TRACE,以及带 include_traces: true 的 trace 感知 LLM judge(METRIC_LLM_BINARY、METRIC_CATEGORICAL、METRIC_NUMERICAL_LLM_JUDGE)。优先选择揭示瓶颈、失败、依赖健康、延迟尾部、成本、回退、交接或完成信号的指标,而非仅证明追踪可用的诊断指标。典型候选包括 Tool Failure Rate、Tool Latency P90、Dependency Blocked Rate、Workflow Completion/Fallback Rate、Cart/Order Total Avg,以及 Tool Output Grounding、Verification Before Tool Use、Recovery From Tool Failure、Read-Back Discipline 等 judge。\n\n使用方式:先执行 coval whoami、coval agents list --format json、coval metrics list --include-builtin --format json 盘点;必要时用 curl -fsS https://api.coval.dev/v1/openapi 获取最新 OpenAPI。自定义 trace 指标字段含 metric_type、span_name、metric_attribute、aggregation_method(average、median、p90、p95、p99、max、min、sum、count、error_rate、success_rate)、unit。创建后绑定并跑一次小型评估,轮询至 COMPLETED 或 FAILED,确认指标能计算且不回显“No spans named...”或“metric_attribute is required”,并核对结果可解释。\n\n限制:属诊断性的通用时长/span 计数指标不应作为终点;不要为实际 trace 中不存在的属性建指标;不要针对进程内 mock/stub 工具建延迟或错误率指标(会产生虚假信心);不要从 artifact 派生的 marker span 建延迟指标(如 Vapi 的 trace.timing=metadata_marker 并非真实提供方延迟)。目标环境 API 接受的聚合方法可能不一致,被拒时改用已接受的聚合并记录文档漂移。若数据缺失,应修仪表而不是改指标。\n\n适用场景:语音、实时/WebSocket 智能体、会话监控、自定义业务逻辑等已有 trace 的 Coval 用户。
configure-trace-metrics
通用与其它
更新于 10-15 20:28