ciagent
AI智能体CIAgent 是一个用于检验 AI 智能体评测（evals）是否可靠的开源工具。它通过在同一套评测上多次运行（--runs N），暴露那些在总体分数稳定表象下实际发生翻转（flip）的判定，并将每次翻转归因到具体来源：agent-variance（智能体输出变化，需修提示词、检索或温度）、judge-flake（输出相同但 LLM 评判者改变主意，需修评分标准或改用确定性检查）、infra-error（评判 API 调用失败，重试即可）。它还提供 LLM 评判者审计（judge-audit），用已有基准真值重打分来对比评判者与确定性检查的一致性，并输出 TRUSTWORTHY / NEEDS CALIBRATION / UNRELIABLE 结论。CIAgent 主张优先用确定性的代码事实检查（expected_in_answer、not_in_answer、regex_match、json_schema）、路径检查与成本预算来替代昂贵的 LLM 评判，还可从知识库中挖掘事实断言。它原生适配 OpenAI、Anthropic、LangGraph，并能导入 OpenTelemetry、Langfuse、LangSmith 等导出的追踪数据，可直接在 pytest 内运行。