用途:给定一批生产 LLM 追踪样本,分析其输入/输出模式与质量维度,生成可直接使用的评估器套件。
主要能力与三种输出模式:sdk_code(默认)生成使用 Datadog Evals SDK(BaseEvaluator / LLMJudge)的 Python .py 文件,用于离线实验;data_only 生成自包含、框架无关的 JSON 规范;publish 通过 create_or_update_llmobs_evaluator 直接向 Datadog 写入在线 LLM-judge 评估器,自动在匹配的生产 span 或 trace 上运行。该技能会根据判断所需范围自动将评估器分类为 span 级或 trace 级,用户可在提案检查点接受或覆盖。
用法:/eval-bootstrap <ml_app> [--timeframe <window>] [--data-only | --publish]。ml_app 必填,缺失时需询问用户;timeframe 默认 now-7d;--data-only 与 --publish 互斥,同时提供则报错。可选输入 rca_report 可来自 eval-trace-rca 技能的失败分类或自由文本失败假设。
工作流:Phase 0 解析输入与入口模式(冷启动或来自 RCA),并通过 list_llmobs_evals 与 get_llmobs_evaluator 映射已有评估覆盖;Phase 1 探索追踪并识别评估目标。
限制:publish 模式只创建、从不更新或覆盖已有评估器,名称冲突时需重命名或跳过;该技能从不调用 delete_llmobs_evaluator,删除需用户在 UI 中操作。评估器在离线实验中运行时,input_data 与 output_data 来自用户数据集与任务函数,而非 span,数据集结构可能与 span 不同。资料未提供收费、价格与平台支持等更多信息。