SuperAPI AI 工具集

agent-observability-experiment-bootstrap

智能体与模型

查看项目

更新于 10-15 22:33

技能介绍

用途:生成一个可复现的 LLM Observability 实验工件,在带版本的数据集上评估任务,记录输出与评估指标,并携带配置与溯源信息,尽可能打印结果链接或标识符。该技能与适配器无关,Python 与 Node 各自拥有 references/ 下的语言目录,只加载所选适配器契约。

主要能力:支持 Python(ddtrace)与 Node(dd-trace)两种适配器,格式分别为 py/ipynb 与 mjs;统一实验模型包含项目、数据集、任务、评估器、运行状态与溯源。数据集支持内联记录、本地 JSON/CSV、命名远程数据集及可选版本、经明确批准的 trace/annotation 导出。评估器按用途选择两到三个,覆盖准确率、工具使用、结构化输出、检索、回归与探索等,标签需唯一稳定。

使用方式:调用 /agent-observability-experiment-bootstrap,可带 --purpose、--format、--dataset 或 --dataset-name、--dataset-version、--project-name、--evaluator-style、--jobs、--output、--task-source、--placeholder-task、--app-root、--env-file 等参数;--adapter 默认 python,--site 默认 DD_SITE 或 datadoghq.com。生成前按顺序加载上下文:解析适配器,读取对应适配器参考,Python 任务生成时再读取所选 provider 与 evaluator 参考,不要为求全加载全部参考。生成后本地校验:Python .py 用 python -m py_compile <path>,.ipynb 解析 JSON 并要求含代码/标记单元格,Node .mjs 用 node --check <path>。

适用场景:需要为 LLM 应用建立可复现评估实验、对比数据集版本、记录评估指标与溯源、并保留任务与评估器错误区分的开发与实验流程。

限制:不得混用 Python 与 Node SDK,不使用私有 SDK 模块或臆造符号;不得将凭据写入生成文件;未经明确批准不得发布提示、输出、trace、数据集或评估;不得将生产数据未经标注验证当作真值;非幂等写入不得自动重试。expected_output 可选,不得由观测到的生产输出合成。若本地源码与已安装包不一致,应报告差异并针对所选版本生成。资料未提供具体收费、价格或平台支持范围。