用途:分析一个或两个 LLM 实验,支持四种模式——两个实验 ID 无问题为对比探索,两个 ID 加问题为对比问答,单个 ID 无问题为单实验探索,单个 ID 加问题为单实验问答。
主要能力:通过 Datadog LLMO MCP 工具获取实验摘要、事件列表、事件详情、指标值与维度值,并可将报告导出为 Datadog notebook。流程分阶段:解析参数与模式、定位实验概况、发现信号并生成 Datadog UI 链接、自动深入分析、综合结论、交付报告,最后支持对话式追问。
使用方式:命令为 /experiment-analyzer <experiment_id_1> [experiment_id_2] [question text] [--output agent|file|notebook]。输出模式默认 agent 在对话中展示;file 会先提议路径 evals/reports/YYYY-MM-DD-<experiment-slug>-analysis.md 并确认;notebook 使用 create_datadog_notebook 导出。若 notebook 工具不可用,会给出添加 MCP 服务器的说明:claude mcp add --transport http datadog-mcp https://mcp.datadoghq.com/api/unstable/mcp-server。
适用场景:需要对比基线实验与候选实验、定位回归或改进、按维度分析失败片段、回答关于实验数据的具体问题,以及生成可分享的 Datadog 报告。
限制:依赖 Datadog LLMO MCP 工具与实验数据;不假设实验的模型、任务、指标、维度或 schema,需从数据推断;所有结论需有事件 ID、计数、百分比等证据;输出需脱敏 PII;不展示内部工具调用与实现细节;不编造过滤 URL。具体收费、价格与平台支持情况暂未提供。