用途:该技能围绕 Promptfoo 提供 LLM 提示词测试、评估与 CI/CD 质量门禁能力。当需要设置提示词评估、回归测试、集成 LLM 质量检查,或对提示词做安全扫描时调用。
主要能力:支持多类断言,包括功能性(contains、equals、is-json、regex、is-valid-json-schema)、语义性(similar、llm-rubric、factuality)、性能(cost、latency)与安全性(moderation、PII 检测)。可并排对比多个提示词与模型(如 OpenAI、Anthropic、OpenRouter),评估 RAG 场景中的上下文遵循与检索质量,并通过 redteam 插件与策略覆盖越狱、提示词注入、PII 泄露、OWASP Top 10 相关风险。
使用方式:无需全局安装,使用 npx promptfoo@latest init 初始化,eval 运行评估,view 在浏览器查看结果,redteam run 执行安全扫描。配置写在 promptfooconfig.yaml 中,含 prompts、providers、tests 等字段;可用 -o results.json 输出结果并在 CI 脚本中判断失败数。可结合 GitHub Action(promptfoo/promptfoo-action@v1)在 PR 中自动运行并回写结果,通过 threshold 设置通过率门禁。
适用场景:提示词回归与 A/B 测试、模型选型对比、RAG 与检索质量验证、上线前安全红队与合规报告。
限制:资料未提供该技能自身的收费、价格或平台支持范围;使用效果取决于所配置的模型提供商与 API 密钥;评估结果的准确性受测试用例与断言设计影响。