SuperAPI AI 工具集

experiment-analzyer

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:分析 LLM 实验结果,找出性能问题并给出改进建议。当用户提到“analyze experiment”“experiment analysis”“evaluate experiment”“check experiment metrics”或提供实验 ID 时使用。

主要能力:通过 Datadog LLM Observability 的 MCP 工具完成分析,包括 search_llmobs_spans、search_datadog_llmobs_spans、get_llmobs_trace、get_llmobs_span_details、get_llmobs_span_content、expand_llmobs_spans、find_llmobs_error_spans、get_llmobs_agent_loop、get_llmobs_experiment_summary、list_llmobs_experiment_events、get_llmobs_experiment_event、get_llmobs_experiment_metric_values、get_llmobs_experiment_dimension_values。

使用方式:命令为 /analyze-experiment <experiment_id>,experiment_id 即 $ARGUMENTS。分析按阶段推进:先获取实验摘要,了解事件数、错误数、可用指标与维度;再计算各指标整体表现;随后按维度分段发现表现较差的片段;对问题片段拉取失败事件并逐条检查输入、输出与预期;最后归纳根因、给出具体修复建议并生成报告。报告包含总体表现、最差片段、问题深挖、根因假设、推荐修复、验证步骤与后续实验建议,并会询问是否保存为 markdown 文件,文件名格式为 experiment-analysis-{experiment_id前8位}-{YYYY-MM-DD}.md,保存在当前工作目录。

适用场景:需要评估 LLM 实验质量、定位失败模式、按维度比较表现并制定改进方案时。

限制:依赖 Datadog LLM Observability 及其 MCP 工具;资料未提供具体收费、价格、平台支持范围或效果保证;数据缺失或含糊时应明确说明,不应猜测。