SuperAPI AI 工具集

bootstrap-realtime-eval

测试与质量

查看项目

更新于 10-16 07:27

技能介绍

用途:在 openai-cookbook 仓库的 examples/evals/realtime_evals/ 目录内引导创建新的 realtime eval 脚手架。它是仓库专用技能,不把 harness 代码复制进生成目录,而是让生成的评测引用已有的共享 harness:examples/evals/realtime_evals/crawl_harness、walk_harness、run_harness。

主要能力:先收集必要输入(评测名称、目标或场景、harness 选择或足够推荐上下文、系统提示词路径或内联文本、工具 JSON 路径或工具描述、数据路径或素材、期望评分器);如果用户不清楚 harness,则简要说明选项并推荐。合成音频未指定 harness 时默认 crawl;若需要噪声、电话伪影、说话人特征等回放特性则用 walk。随后归一化输入,将内联提示或工具内容写入生成目录;CSV 数据先用 pandas 检查;数据未就绪时可先脚手架再由技能直接撰写起始数据集,并展示给用户确认。

harness 选择:crawl 用于单轮文本转 TTS;walk 用于回放已保存音频或从文本行生成音频;run 用于带工具 mock 和评判标准的多轮模拟。技能会为 crawl 撰写 3 行起始数据(覆盖一条正常路径和若干邻近变体或边界情况),为 walk 撰写 3 行源 CSV 并准备音频生成步骤,为 run 撰写 2 个起始模拟。

使用方式:运行脚手架脚本,命令行示例为 python examples/evals/realtime_evals/skills/bootstrap-realtime-eval/scripts/bootstrap_realtime_eval.py --name "<eval_name>" --harness "<crawl|walk|run>",并按需添加提示、工具、数据、评分器及 run 专用字段标志,具体标志名可查看脚本帮助。run harness 命令优先使用 --assistant-system-prompt-file 和 --assistant-tools-file。之后检查生成目录,确认 README、系统提示词、工具和数据文件均指向生成目录,真实数据已接入而非占位符。

验证:先运行生成文件夹的冒烟评测,成功则同一轮自动运行完整评测;冒烟失败则停止并修复或报告阻塞。随后运行 pytest examples/evals/realtime_evals/tests -q,并检查 README 和至少一个生成数据文件。

适用场景:需要按仓库既有 harness 快速新建 crawl、walk 或 run 类型的实时评测脚手架时。

限制与硬性规则:生成文件夹必须位于 examples/evals/realtime_evals/ 内;脚手架前须向用户询问缺失的设置信息;不得把主 harness 脚本复制到生成目录;不得写通用占位起始数据;README 必须包含选择该 harness 的原因、优先编辑哪些文件、冒烟与完整运行命令、数据契约说明和故障排除说明。另据记录,gpt-realtime 不支持 temperature,脚手架时不要添加 temperature 字段或 CLI 标志。完成标准包括:文件夹位于 examples/evals/realtime_evals/<name>_realtime_eval/,README.md、system_prompt.txt、tools.json 存在,harness 专用起始数据存在,冒烟命令已运行或有明确阻塞原因,冒烟成功后完整评测也已运行或有明确阻塞原因,且 pytest 已运行。