用途:生成一个使用官方 ddtrace.llmobs SDK 的自包含 Python 实验文件,输出为 .py 脚本或 .ipynb 笔记本,代码模式参照 DataDog 参考笔记本(https://github.com/DataDog/llm-observability/tree/main/experiments/notebooks)。SDK 负责惰性项目/实验创建、数据集推送差异、5 MB / 1000 条记录批量阈值、评估指标流式传输和状态机,因此该技能不重新实现这些原语,只导入 LLMObs。
主要能力:通过 /llm-obs-experiment-py-bootstrap 调用,支持 --format py|ipynb、--dataset、--dataset-name、--dataset-version、--project-name、--evaluator-style function|class|remote、--jobs、--output、--task-source、--placeholder-task、--app-root、--env-file、--purpose 等参数,均有默认值,缺省不阻塞。生成文件按固定段落组织:文件头、环境设置、LLMObs.enable()、数据集、任务函数、评估器、实验、运行、结果检查。评估器默认 function 风格,可选 class 或 remote,建议返回 EvaluatorResult 而非裸值。
使用方式:调用技能并传入可选参数;未指定 --project-name 时按 pyproject.toml、setup.cfg、setup.py、package.json、当前目录名顺序解析 experiment-<service-name>。启动时按后端检测(MCP、pup 或跳过)发送一次遥测信标,失败不阻塞代码生成。
限制:所有输入可选,缺失时使用默认值;--dataset 与 --dataset-name 互斥;无后端时静默跳过信标;具体收费、价格、平台支持范围等资料暂未提供。