用途:该技能用于配置 promptfoo 提示词评估与测试,覆盖提示词回归测试、多提供商对比、基于断言的验证以及 HTML 报告生成。
适用场景:在设置提示词测试、比较 LLM 提供商、创建评估流水线、定义测试断言时会自动调用此技能。
可用脚本:scripts/init-promptfoo.sh 用于初始化 promptfoo 项目;scripts/run-eval.sh 用于运行评估并输出结果。
可用模板:templates/promptfooconfig.yaml 为基本配置;templates/multi-provider.yaml 用于提供商对比;templates/assertions.yaml 提供断言示例。
最佳实践:对重复配置使用 YAML 锚点;将提示词存储在单独文件中;对动态测试使用变量;设置合适的阈值。
限制:资料未提供具体安装命令、版本要求、支持的提供商清单、价格或收费信息,暂未提供。