SuperAPI AI 工具集

agentskeptic

AgentSkeptic 是一个用于验证 AI 智能体工作流真实系统状态的工具。它通过对比结构化工具活动记录与下游数据库(如 SQL)中的实际数据,发现“轨迹显示成功但存储数据不一致”的静默失败,并输出确定性的 Outcome Certificate。默认路径无需 API Key 或授权,支持本地离线验证、CI 集成以及 Python/LangGraph/CrewAI 等框架。

访问官网

工具介绍

AgentSkeptic 是一款专注于验证 AI 智能体工作流真实系统状态的工具,核心目标是解决“轨迹显示成功,但实际存储数据不一致”的静默失败问题。其核心理念是“信任现实,而非轨迹”,通过重新检查智能体声称更改的存储,并在发布前返回确定性的 Outcome Certificate。

用途:AgentSkeptic 适用于智能体或自动化运行后,需要验证持久化行 SQL 真实性的场景。当轨迹看起来正常,但数据库可能并未正确更新时,该工具能捕获这类问题。它不适合需要证明工具已执行、将日志搜索作为验证,或只读 SQL 并非正确检查方式的场景。

主要能力:AgentSkeptic 通过只读 SQL 检查,将结构化工具活动(事件)与注册表(registry)结合,推导出预期状态,并与实际观察到的数据库状态进行对比。它会输出 Outcome Certificate v3(stdout 为机器可读 JSON),并在 stderr 中给出 truth_check_verdict 和 release_critical_truth_check_verdict。工具支持多种数据库(如 SQLite、Postgres,以及 HTTP、对象存储、向量、Mongo 等见证方式),并可在 CI 中生成证书摘要、可下载工件和结构化输出。此外,它还提供 Quick Verify 模式(无需注册表文件)和合同模式(通过 tools.json 注册表定义每个工具 ID 的验证映射)。

使用方式:默认路径无需 API Key 或授权,可离线运行。用户需安装 Node.js ≥ 22.13 或使用 Docker,通过 npm install 和 npm run build 构建后,运行 agentskeptic check 命令并传入事件文件和注册表文件(默认路径为 ./path/to/your-app/agentskeptic/tools.json 和 events.ndjson)。工具支持通过 npm 包或源码方式调用,也可在 CI 中通过 GitHub Actions 复合操作集成。对于 Python/LangGraph/CrewAI 等框架,可使用 Python SDK 或 extras。高级用户可启用覆盖预算策略、状态化执行(需商业许可)或导出激活。

适用场景:适用于需要确保智能体操作后数据库状态正确的团队,尤其是在涉及收入、账单、工单关闭等关键业务环节。它可帮助组织建立可重复、可审计的验证合同,替代零散的 SQL 检查脚本,并支持在 CI 中锁定验证规则。

限制:AgentSkeptic 不证明工具的深层因果关系,也不适用于任意日志或非结构化观测文本。它只接受结构化工具活动(JSON 或 NDJSON)。Quick Verify 模式为临时性,非审计最终结果。商业状态化执行需要 API Key 和许可服务器。网络访问方面,本地合同验证默认离线,匿名遥测默认禁用,除非用户明确选择加入。