用途:生成一个使用官方 ddtrace.llmobs SDK 的自包含 Python 实验文件,输出为 .py 脚本或 .ipynb 笔记本,代码模式参照 DataDog 参考笔记本。SDK 自身负责项目/实验懒创建、数据集推送差异、5MB/1000 条批量阈值、评估指标流式处理与状态机,本技能不重复实现这些原语。
主要能力:通过 /agent-observability-experiment-py-bootstrap 调用,支持 --format(py 或 ipynb)、--dataset(本地 JSON/CSV)、--dataset-name(拉取已有 Datadog 数据集)、--dataset-version、--project-name、--evaluator-style(function/class/remote)、--jobs、--output、--task-source、--placeholder-task、--app-root、--env-file、--purpose 等参数,均有默认值,缺省不阻塞。生成文件按固定段落组织:文件头、环境变量加载、LLMObs.enable()、数据集、任务函数、评估器、实验定义、运行与结果查看。评估器默认 function 风格,也可用 class 或 remote;建议返回 EvaluatorResult 以携带 reasoning、assessment、metadata、tags。
使用方式:调用技能并传入可选参数;未指定 --project-name 时按 pyproject.toml、setup.cfg、setup.py、package.json、当前目录名顺序解析为 experiment-<service-name>。启动时会尝试通过 MCP 或 pup 发送一次遥测信标,失败仅提示不阻塞。
限制:所有输入均为可选;--dataset 与 --dataset-name 互斥;--dataset-version 仅在指定 --dataset-name 时生效;--placeholder-task 或 --task-source 设置时跳过应用内省扫描。资料未提供收费、价格、平台支持范围等信息。