sabot
AI智能体Sabot 是一个用于评估多智能体流水线中自检机制效果的开源基准测试项目。它在 LangGraph、CrewAI 和 AutoGen/Magentic-One 等框架构建的参考流水线中植入受控故障,衡量流水线自身的审查器与护栏阶段能否发现、响应或漏掉这些故障。测试结果显示,中位检出率为 16.7%,而通过修改审查器提示词要求其报告所有不一致,检出率可提升至 55.0%。该项目提供冻结的度量规范、可运行的测试框架以及公开的原始运行轨迹,并遵循 Apache-2.0 许可证。