SuperAPI AI 工具集

verifying-skill-accuracy

通用与其它

查看项目

更新于 10-16 02:31

技能介绍

用途:核查由 LLM 起草的技术技能文档(如 SKILL.md)中的具体事实,判断何时可以标注为已验证。资料称首轮核查在 12 个技能中的 11 个发现 31 处事实错误,约每技能 2.6 处,未打标记的内容应假定存在此错误率。

主要能力:区分形式与真实性——CI 通过只说明格式正确,不代表内容为真;按类别跨整个集合排查错误(工具改名、CVE ID、云元数据端点、已移除 API 版本、默认端口等);先处理类别级错误(工具身份、命名方案、路径约定),再逐条核对实例;采用来源层级(官方文档/上游源码/RFC 为 1 级,厂商 KB 与发布说明为 2 级,维护者文章为 3 级,社区内容仅作线索,模型记忆不可作为依据);对每个模块有独立文档页的项目用状态码探测存在性;用 defuddle.md 抓取 Markdown 全文而非摘要,避免截断导致的假阴性;按失败后果排序,优先核查静默失败类声明(事件 ID、日志字段、保留期)。

使用方式:先清点可核查声明,解决类别级声明,批量探测标识符,再按 1/2 级来源核对并记录来源,修正后在提交说明中写明改动与原因,做对抗性第二轮复核,全部核查完成才可打 verified 日期标记。示例命令:curl -sL "https://defuddle.md/learn.microsoft.com/en-us/purview/audit-log-retention-policies";python3 scripts/validate.py --strict。

限制:不用于从零撰写技能、结构或风格检查、判断技术方案好坏;defuddle.md 不适用于 JSON/API 响应、HTTP 状态探测、内部或客户 URL、需认证或 JS 渲染页面;抓取被拒不等于内容不存在;摘要式“未找到”不得作为删除依据;部分核查不得打标记,重新核查才更新日期。