用途
Citation Validator 是一个引用验证技能,用于确保研究报告的完整性。它通过验证研究报告中每个事实性声明是否具有准确、完整且高质量的引用,来防止错误信息和幻觉内容。该技能定位为“对抗错误信息和幻觉的最后一道防线”,适用于在最终确定研究报告、审查他人研究、发布或分享研究之前使用。
主要能力
该技能承担以下核心职责:
- 验证引用是否存在:每个事实性声明都必须有引用。
- 验证引用完整性:每条引用必须包含所有必需元素。
- 评估来源质量:使用 A-E 质量等级对每个来源进行评级。
- 检查引用准确性:验证引用是否确实支持所声明的观点。
- 检测幻觉:识别没有支持来源的声明。
- 格式一致性:确保全文引用格式统一。
引用完整性要求每条引用必须包含:作者/组织、出版日期(YYYY 格式)、来源标题、URL/DOI、页码(如适用,用于 PDF 和长文档)。可接受的引用格式包括学术论文格式(如 Smith et al., 2023, p. 145)和行业报告格式(如 Gartner, 2024, "Cloud Computing Forecast")。
来源质量评级系统分为五级:
- A - 优秀:有影响因子的同行评审期刊、元分析、随机对照试验、政府监管机构。
- B - 良好:队列研究、临床指南、知名分析机构(Gartner、Forrester)、政府网站。
- C - 可接受:专家意见文章、案例报告、公司白皮书、知名新闻媒体。
- D - 较弱:预印本、会议摘要、无编辑监督的博客文章、众包内容。
- E - 极差:匿名内容、明显偏见/利益冲突、过时来源、失效/可疑链接。
使用方式
验证过程分为七个步骤:
- 声明检测:扫描研究内容,识别所有事实性声明,包括统计数据和数字、日期和时间线、技术规格、市场数据(规模、增长率)、性能声明、引述和转述、因果关系陈述。
- 引用存在性检查:对每个事实性声明验证是否存在引用。
- 引用完整性检查:验证所有必需元素(作者、日期、标题、URL/DOI、页码)是否齐全。
- 来源质量评估:为每条完整引用分配质量评级(A-E)。
- 引用准确性验证:使用 WebSearch 或 WebFetch 查找并验证原始来源。
- 幻觉检测:识别危险信号,包括事实性声明无引用、引用不存在(URL 无法访问)、引用存在但不支持声明、数字精确得可疑却无来源、泛泛的来源(如“行业报告”)而无具体信息。
- 关键声明的链式验证:对于高风险声明(医疗、法律、金融),查找 2-3 个独立来源支持该声明,检查来源间共识,识别矛盾,评估来源质量(优先 A-B 评级),若来源不一致则注明不确定性。
工具使用方面:WebSearch 用于验证(搜索精确声明、关键词、作者名、来源标题);WebFetch 用于访问来源以确认数字、日期、上下文并查找 DOI/URL;Read/Write 用于文档记录,将验证报告保存至 sources/citation_validation_report.md。
输出格式为引用验证报告,包含执行摘要(分析声明总数、有引用声明数及百分比、完整引用数及百分比、准确引用数及百分比、潜在幻觉数、总体质量评分)、关键问题(需立即行动)、详细发现(逐行或逐声明分析)以及建议(按优先级排列的修复列表)。
质量评分计算后按以下标准解读:9-10 优秀(专业研究质量);7-8 良好(适用于大多数用途);5-6 一般(需要改进);3-4 较差(存在重大问题);0-2 极差(不可信)。
成功标准为:100% 的事实性声明有引用;100% 的引用完整;95% 以上的引用准确;无未解释的幻觉;平均来源质量 ≥ B;总体质量评分 ≥ 8/10。
适用场景
该技能适用于在最终确定研究报告、审查他人研究、发布或分享研究之前使用。特别针对以下领域有专门考虑:
- 医疗/健康信息:要求同行评审来源(A-B 评级),验证 PubMed ID(PMID),区分“已证实”与“初步”结论。
- 法律/监管信息:引用主要法律文件,包含法规的案卷编号,注明管辖范围。
- 市场/金融数据:使用主要来源(SEC 文件、公司报告),注明报告期,区分 GAAP 与非 GAAP。
限制
资料中未提供该技能的具体安装命令、依赖环境、支持的平台或收费信息。该技能依赖 WebSearch 和 WebFetch 工具进行来源验证,其验证效果受限于这些工具的可访问性和搜索结果质量。对于无法通过搜索验证的来源,可能无法完成准确性确认。