用途：为 LLM 智能体设计并运行可靠的评测套件，覆盖工具使用、多轮对话与多智能体系统；也用于验收、评审负担、返工与成本衡量，或按 backlog 基准协议与可填写模板评估。
主要能力：默认 QA 工作流先定义被测智能体（AUT）的范围、工具、审批边界、越界请求与安全规则；从真实工作构建启动套件，包括冒烟套件（5-8 项高信号检查用于 PR 门禁）、回归套件（15-25 项来自真实失败、工单或生产轨迹的任务）、拒绝/安全包（不安全请求、提示注入、工具输出投毒、外泄尝试）以及迭代编码轨迹。要求先定义客观评分器：模式检查、黄金轨迹、确定性 mock、策略 oracle 与工具副作用检查；仅在客观检查不足处加入基于模型的评分器，且评判器需通过校准门禁才可用于门禁。采用离线评测配合确定性控制与轨迹日志，可选在线评测或金丝雀对比。
评测模型：分两层一评分表。Outcome 层评最终答案、约束、拒绝、引用与格式，推荐 schema/代码评分器、策略 oracle、人工抽查；Trace 层评工具选择、参数、审批、恢复与副作用，推荐工具/轨迹评分器、沙箱日志、定向模型评分器。每任务规范评分表含 6 个维度（任务结果、策略与约束、依据与证据、用户沟通、工具选择、工具执行与恢复），各 0-3 分；延迟、成本、稳定性、偏见/公平性与可调试性在套件级单独跟踪。Trace 评分独立评估工具选择准确性、参数正确性、调用顺序与恢复行为，前两者优先代码评分器，后两者可用 LLM 评判。行动幻觉（声称执行了某动作但无对应工具结果）应按硬策略失败用代码检测。
确定性：固定提示、配置、夹具与工具 mock，冻结时间、时区与区域，记录模型、评判器与工具版本，记录轨迹。不稳定用例需分类而非重试变绿：隔离重跑 k=5 并归因（评判器不稳、框架抖动或智能体非确定性）；被隔离的阻塞用例需有负责人与到期日，并使套件为 INCONCLUSIVE 而非 PASS；不要给门禁加自动重试。
CI 经济性：PR 门禁跑冒烟套件加关键拒绝与安全检查；修复后先跑最小受影响包；夜间或定时跑完整回归、对抗包、延迟成本跟踪与可选在线评测对比；高风险变更对受影响工具、提示或评判模型做定向重跑。
安全与鲁棒性测试（工具型智能体必需）：提示注入、工具输出投毒、工具参数走私、密钥外泄、工具故障（超时、部分数据、重试、畸形负载、权限失败）、审批边界检查与差分测试。
编码智能体回归：用基于图的变更影响分析定位覆盖被改文件的测试；参考 TDAD（arXiv:2603.17973），给予定向源码到测试上下文而非仅测试指令，完成任务前要求受影响测试证据，并单独跟踪回归率。迭代扩展评测：从空工作区开始并在检查点间携带智能体产出的工作区，每检查点用全新对话与运行时状态，通过外部黑盒契约评分并分别报告严格、隔离、核心与回归正确性。
工具与参考：Promptfoo 用于配置驱动回归套件、拒绝包与红队攻击集；DeepEval 用于 pytest 风格单元评测；lmnr 用于轨迹原生评测；Langfuse 用于生产追踪与在线评测；Agent Governance Toolkit 用于策略边界的中间件级测试；garak 与 PyRIT 用于红队扫描。先有评测设计与评分器模型，再按需观察的失败模式选择工具。缺失事实：具体价格、收费、平台保证与效果数据暂未提供。