用途:对两个 LLMO 实验做一次性对比分析,回答“候选实验相比基线更好还是更差、原因是什么”。输入仅需两个实验 ID:基线实验与候选实验,其余信息(模型、任务、指标、数据集、维度等)均通过检查实验本身推断。
主要能力:通过 llm-obs-mcp 的 MCP 工具检索与分析 LLM Observability 数据,包括搜索 span、获取 trace 结构、查看 span 详情与内容、展开子 span、查找错误 span、查看 agent 执行循环,以及获取实验摘要、事件列表、事件详情、指标统计值和维度取值。分析流程分五阶段:定向对比(规模、错误率、可用指标与维度)、比较信号发现并生成 Datadog UI 对比链接、自动深度分析(分段/分类差异、混淆矩阵、错误重叠、置信度与校准、代表性错误抽样等)、最终综合(明确改进、回归、根因假设与优先级建议)、自动保存报告。
使用方式:命令为 /analyze-experiment-comparative <experiment_id_1> <experiment_id_2>。该技能为一次性运行,不向用户请求澄清或确认,内部计划与工具调用不展示,用户只看到最终报告、UI 链接和保存确认。UI 链接基于 https://app.datadoghq.com/llm/experiment-comparison,需带 baselineExperimentId、experimentIds、tableView=all 等参数。
适用场景:需要比较候选与基线实验表现、定位回归或改进、支持上线决策的机器学习/LLM 实验评估。
限制:仅使用两个实验共有的指标与维度;指标或维度不一致时会说明局限;输出需脱敏 PII;不执行重训练或创建标注任务等破坏性操作;可选 UI 参数无法推断时仍生成有效链接并注明限制。具体收费、平台支持范围等资料暂未提供。