SuperAPI AI 工具集

cold-start-check

智能体与模型

查看项目

更新于 10-15 21:41

技能介绍

用途:评估一个仓库的文档是否足以让全新智能体独立理解系统。它启动 N 个(默认 3 个)从未接触过该仓库的全新会话,按评分标准(rubric)提问并评分,汇总多会话结果后报告。它只检测和报告,不会修复文档。

主要能力:识别跨 2 个及以上会话遗漏的概念(可靠文档缺口)、仅 1 个会话遗漏的概念(噪声,通常无碍),以及智能体自信断言但文档中并不存在的内容(幻觉)。每个概念按命中会话数给出判定:3/3 为 PASS,2/3 为 PASS(2/3)弱信号,1/3 为 FLAKY,0/3 为 FAIL 文档缺口。报告输出为 Markdown,包含逐题逐概念表格、文档改进目标和潜在幻觉列表。

使用方式:通过 npx 安装:npx skills add fellowship-dev/dogfooded-skills/skills/ops/cold-start-check。运行前需在 docs/cold-start-rubric.yml 准备评分标准文件;流程为先解析 rubric,再将其临时隐藏(并用 trap 保证恢复),随后为每题启动全新 claude -p 会话(不带 --continue、不共享上下文),保存回答,恢复 rubric,按关键词机械评分(可用 AI 判断纠正语义匹配),计算判定并生成报告,最后清理临时目录。每题的 expected_concepts 建议 3–5 条。

适用场景:文档更新后验证改动是否真的让系统更易理解;文档冲刺前建立基线、冲刺后复测改进;按月或按季度做健康检查,尽早发现文档腐化;新仓库接入框架后确认 docs/ 是否足以让智能体独立工作。

限制与注意事项:rubric 必须位于 docs/cold-start-rubric.yml,且在会话启动前隐藏,不能通过 --context 传入或在提示中提及,否则会出现假阳性;yq 缺失时解析可能失败;关键词评分可能漏掉语义匹配,需要人工复核;幻觉判定需人工审查。资料未提供具体收费、价格或平台信息。