用途:把提示词与 AI 智能体输出当作代码来测试,在 CI 中自动跑评测、与基线对比,质量下降时让构建失败,适合上线前加质量门禁、提示词或模型变更时捕捉回归、对比不同模型、验证 RAG 准确率、评测工具调用准确率与延迟。
主要能力:支持三种做法。一是 Promptfoo 配置驱动评测,在 YAML 中定义测试用例、多 provider 对比与断言(如 llm-rubric、not-contains、latency、sentiment),命令为 npx promptfoo@latest eval、npx promptfoo@latest eval --ci --output results.json,以及 npx promptfoo@latest eval --prompts prompt-v1.txt prompt-v2.txt --share。二是自建 TypeScript 评测框架,用 LLM-as-judge 打分(返回 0-1 分与理由),每个用例含 rubric 与阈值,失败时 process.exit(1)。三是 GitHub Actions 集成,在 prompts/、src/agents/、eval/ 变更时触发,用 npx tsx eval/run.ts --ci 运行并把结果以 PR 评论形式发布。
使用方式与建议:评测改动提示词后应重跑;judge 使用便宜模型并设 temperature 0;测试集覆盖正常、边缘、对抗与离题输入;阈值可从 0.7 起步再收紧;记录分数以发现质量漂移;评测成本与生产成本分开;对输入加提示词做哈希缓存;在 PR 上而非仅主分支运行。
限制:资料未提供具体定价、平台支持范围、性能数据或与其它工具的兼容性说明;关于收费与效果均暂未提供。