用途:该技能指导使用 Promptfoo(开源 CLI 工具)配置并运行 LLM 评测,用于测试、比较不同模型或提示词的输出质量。
主要能力:支持在 promptfooconfig.yaml 中定义 prompts、providers(多模型对比)与 tests;支持文本与 chat 格式提示、few-shot 示例;提供 contains、icontains、equals、regex、python、llm-rubric、latency 等断言类型;可用 Python 自定义断言(默认函数名 get_assert,通过 file://path.py:function_name 指定,返回 bool、float 或含 pass/score/reason 的 dict);支持 LLM-as-judge 评分与阈值;支持 echo provider 预览提示词渲染而不消耗 API token。
使用方式:初始化 npx promptfoo@latest init;运行 npx promptfoo@latest eval;浏览器查看 npx promptfoo@latest view。可用 --config、--output、--filter-metadata 等参数。所有 file:// 路径相对 promptfooconfig.yaml 所在位置解析。
适用场景:提示词测试、模型对比、回归评测、长文本与中文内容评测、few-shot 结构验证。
限制与注意:maxConcurrency 必须放在 commandLineOptions 下,放顶层会被静默忽略;使用中继/代理 API 时,每个 llm-rubric 断言需单独配置带 apiBaseUrl 的 provider,否则评分器会回退到默认端点并报 401;超过 30000 字符的输出会被截断;Python 未找到时可设置 PROMPTFOO_PYTHON=python3。具体收费与价格暂未提供。