SuperAPI AI 工具集

llm-obs-eval-pipeline

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:为已完成埋点的 ml_app 提供端到端 LLM 可观测性评估流水线,把生产 trace 分类、失败根因分析、评估器引导、数据集创建发布、实验生成运行与分析串成确定性六阶段流程。

主要能力:技能本身只做编排与讲解,实际分析由子技能完成(llm-obs-session-classify、llm-obs-trace-rca、llm-obs-eval-bootstrap、llm-obs-experiment-py-bootstrap、llm-obs-experiment-analyzer)。每阶段有统一横幅、实体说明与检查点。支持 --stop-after 与 --start-at 运行连续片段,阶段产物持久化在 <output-dir>/state/ 并可自动加载。

使用方式:/llm-obs-eval-pipeline <ml_app> [--project-name <name>] [--timeframe <window>] [--trace-limit <N>] [--format py|ipynb] [--evaluator-style function|class|remote] [--offline-evaluators | --online-evaluators | --data-only] [--start-at ...] [--stop-after ...] [--backend pup] 等。启动时检测后端:有 MCP 工具则用 MCP 模式,否则运行 pup --version 确认后使用 pup 模式;两者都不可用时停止并提示连接 MCP 或安装 pup。

限制:需提供 ml_app 且其近期有 trace,否则预检失败;需 Datadog 凭据 DD_API_KEY 与 DD_APPLICATION_KEY 或 DD_APP_KEY;三个评估器输出标志互斥;项目由 SDK 首次 LLMObs.enable 时惰性创建。其余细节暂未提供。