SuperAPI AI 工具集

llm-obs-experiment-analyzer

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:分析 LLM 实验结果,支持单个实验或两个实验对比,并区分探索式分析与问答式分析。

主要能力:根据输入自动判定四种模式(双 ID 无问题为对比探索、双 ID 带问题为对比问答、单 ID 无问题为单实验探索、单 ID 带问题为单实验问答)。可获取实验摘要、事件列表、事件详情、指标值与维度值,并生成 Datadog 实验或对比 UI 链接。

使用方式:命令为 /llm-obs-experiment-analyzer <experiment_id_1> [experiment_id_2] [question text] [--output agent|file|notebook]。后端检测优先使用 MCP 工具 get_llmobs_experiment_summary;若不可用则检查 pup --version,可用则改用 pup llm-obs 子命令。--backend pup 可强制使用 pup。输出默认在对话中展示,也可写入文件或导出为 Datadog Notebook。

限制:需要 Datadog MCP 服务器或 pup CLI 之一,否则会提示连接 MCP 或安装 pup。pup 需先执行 pup auth login。分析中会遮蔽或脱敏 PII,避免破坏性操作。资料未提供具体收费、价格或效果数据。