SuperAPI AI 工具集

Building Paper Screening Rubrics

写作与研究

查看项目

更新于 10-15 23:47

技能介绍

用途:为文献检索建立可复用的论文相关性评分标准(rubric),适用于需要筛选50篇以上论文、现有标准误判较多、或需在自动筛选前明确“相关性”定义的场景;少于20篇的小检索、一次性探索或已有可用标准时不必使用。

主要能力:分四阶段推进。一是协作设计,通过核心概念、同义词、排除词、数据类型(测量值、数据集编号、方法、代码等)、论文类型(原始研究、综述、方法学、临床试验、预印本)、关系与边界案例等问题,生成0-10分评分逻辑(关键词0-3、数据类型0-4、特异性0-3,含特殊规则与阈值),保存为screening-criteria.json。二是测试驱动细化,用PubMed检索候选论文并抓取摘要,逐篇请用户判断相关性,记录到test-set.json,再用评分标准预测并计算准确率,展示假阳性/假阴性及得分明细,迭代调整规则直至达到≥80%准确率。三是批量筛选,对全部检索结果评分,摘要缓存到abstracts-cache.json,结果写入papers-reviewed.json并生成汇总报告。四是离线复核与重筛,根据用户反馈更新标准版本,对全部缓存论文重新评分并输出状态变化差异。

使用方式:按会话目录组织文件,包括screening-criteria.json、test-set.json、abstracts-cache.json、papers-reviewed.json和rubric-changelog.md;可与evaluating-paper-relevance等技能衔接,用标准文件参数化辅助脚本,避免重复抓取。

限制与注意:需避免跳过测试验证、不缓存摘要、测试样本过少、规则过于复杂、不记录变更、阈值过高等问题;具体命令与文件结构以资料为准,未提供的功能、平台或收费信息暂未提供。