SuperAPI AI 工具集

llm-obs-eval-bootstrap

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:给定生产 LLM 追踪样本,分析输入输出模式与质量维度,提出可直接使用的评估器套件。默认 publish 模式提出在线 LLM-judge 评估器,仅在用户于 Phase 2 检查点确认后,通过 create_or_update_llmobs_evaluator 以禁用草稿(enabled: false)写入 Datadog;技能不会自动发布或启用,启用后才会对匹配的生产 span、trace 或 session 自动评分。

主要能力:四种输出模式——publish(默认,在线评估器)、sdk_code(--sdk-code,生成使用 Datadog Evals SDK 的 Python .py 文件)、data_only(--data-only,框架无关的 JSON 规范)、emit_dataset(--emit-dataset <path>,仅采样生产追踪并写出 DatasetRecordRaw[] JSON,跳过评估器流程)。技能会按判断需求自动将评估器分类为 span、trace 或 session 作用域,session 作用域仅在应用 span 带 session_id 时提出。

使用方式:/eval-bootstrap <ml_app> [--timeframe <window>] [--sdk-code | --data-only | --emit-dataset <path>] [--trace-limit <N>]。ml_app 必填,缺失时需询问;timeframe 默认 now-7d;--trace-limit 默认 20、上限 50。多个模式标志同时提供会报错。后端检测:若参数含 --backend pup 则用 pup 模式;否则检查 MCP 工具 mcp__datadog-llmo-mcp__list_llmobs_evals 是否存在;不存在则运行 pup --version 验证 pup 可用性;两者都不可用时停止并提示连接 MCP 服务器或安装 pup。pup 通过 Bash 调用 pup llm-obs <subcommand> [flags],输出 JSON,认证错误时提示运行 pup auth login。

限制:create_or_update_llmobs_evaluator 为全量替换语义,更新前须先 get_llmobs_evaluator 取回完整配置以免覆盖字段;source=ootb 的评估器可能无存储配置,not-found 属预期。评估器在离线实验中运行,input_data/output_data 来自用户数据集与任务函数而非 span,数据集结构由用户定义,提示应使用通用占位符。delete_llmobs_evaluator 仅在用户明确要求时使用。其余细节资料未提供。