SuperAPI AI 工具集

verification-loops

测试与质量

查看项目

更新于 10-16 06:19

技能介绍

用途:验证智能体输出是否可信。它在智能体执行流水线中嵌入检查点评估、持续断言和多阶段审查关卡;检查点验证在阶段边界(提交前、分析后、部署前)评估输出,持续验证在生成过程中实时运行断言,及早发现漂移和幻觉。

主要能力:该技能描述三级验证管线。第一级使用确定性评分器做模式校验、约束检查、类型验证,快速且低成本;第二级用 LLM-as-judge 评估语义正确性、完整性与连贯性;第三级根据评分信号计算置信度。低置信输出触发 pass@k 生成,产生多个候选并按评分器共识排序;被拒输出会收到具体错误反馈并注入到重新生成的提示中。评分器类型包括确定性、LLM 评判和人在回路三类。

使用时机:智能体输出直接影响业务决策或面向用户内容;合规或监管要求 AI 生成内容有审计追踪;多步工作流需要在阶段间设置质量门;需要随时间衡量和改进智能体准确率(pass@k 基准);生成的代码必须在提交或部署前通过测试;分析结果必须对照真实数据或业务规则验证。

实现与用法:资料给出接口与示例类型,如 Grader 接口(含 deterministic、llm_judge、human 类型及 evaluate 方法)、GradeResult、VerificationPipeline 类(addStage、verify 方法按阶段运行评分器并返回是否接受、阶段结果与置信度)、pass_at_k 异步函数(生成 k 个候选、逐一验证并选最佳)、LLMJudgeGrader、SchemaGrader。必要命令与代码片段在原文中保留,使用时可参照原文实现。

最佳实践:按成本排序评分器,先跑确定性(免费)再跑 LLM 评判(昂贵);反馈要可操作,指明具体字段缺失而非笼统说错误;按评分器跟踪通过率,从不失败或总是失败的评分器都需调整;策略性使用 pass@k,生成 5 个候选成本为 5 倍 token;验证模型与生成模型分离以降低相关错误;实现验证缓存;按用例设置置信度阈值(代码生成可要求 0.95,创意写作可接受 0.7)。

平台兼容:资料列出 Claude Code、Cursor、Codex、Gemini CLI 在确定性评分器、置信度评分上均为 Full;LLM-as-judge 在 Claude Code 为 Full,其余通过 API;pass@k 在 Claude Code、Codex、Gemini CLI 为 Full,Cursor 通过子代理;预提交钩子为 Claude Code 原生钩子,其余用 Git 钩子。

限制:资料未提供具体收费、价格、安装命令、独立运行方式或性能数据,这些暂未提供;使用时应遵循原资料说明,并参考相关技能如 Self-Healing Agents、Agent Instinct System、Prompt Architecture。