用途:在按任务复杂度路由的基础上,让路由具备输出感知能力。低成本模型先完成抽取、回答或摘要,验证器检查输出,只有被标记的问题项才升级到强模型(Claude),从而在接近强模型质量的同时降低成本。
主要能力:流程分为四步——EXTRACT(低成本模型产出结果)、VERIFY(分解式验证器针对每个字段提出狭义的 yes/no 问题,并以“坏=真”的方式返回每题的 P(wrong))、GATE(任一问题的 P(wrong) 超过阈值即升级,取最大值而非均值)、ESCALATE(仅被标记项使用强模型,其余保留低成本答案)。验证器可插拔。
使用方式:验证器脚本位于 skills/verify-cascade/verify_cascade.py,可运行 python3 "$VC" 做自测(使用桩判断器,无网络、无模型)。默认 LocalVerifier 在本机运行,通过一次调用让低成本 CLI 模型完成整套分解问题,返回 {field::metric: P(wrong)},不访问外部服务。判断模型通过 MAGGY_JUDGE_CMD 设置(默认 deepseek --flash),提示词以 stdin 传入,因此该命令必须从 stdin 读取;也可传入自定义 judge=callable(prompt)->text。问题按完整批次评分,源文本过长时会在 stderr 告警而非静默截断。可选的 TypeSafeVerifier 需显式启用并安装 typesafe_sdk、设置 TYPESAFE_API_KEY,其 verify() 会把 source_text、schema 和抽取结果 POST 到 api.typesafe.ai,数据会离开本机,默认关闭。
适用场景:输出可与来源对照核验的任务,如抽取、RAG 回答、数据抓取、结构化摘要。对于没有标准答案的开放式生成,应继续使用按任务复杂度的路由;两者可组合,先分类选低成本档,再验证决定是否升级。
限制:schema 校验必要但不充分,低成本模型可能生成看似合理、符合 schema 的虚构内容(如用编造值填充空字段),结构检查无法发现,需语义验证器;验证器应保持狭义、有依据、逐字段、独立且低成本,并经过校准,才能用单一阈值区分接受与升级。