SuperAPI AI 工具集

alterlab-scholar-eval

测试与质量

查看项目

更新于 10-16 05:00

技能介绍

用途:系统评估学术与研究作品,覆盖论文、研究提案、文献综述、学位论文章节、会议摘要等类型,输出结构化评估、1-5分维度评分、加权总分和按优先级排序的改进建议。

主要能力:围绕八个维度评估——问题表述与研究问题、文献综述、方法与研究设计、数据收集与来源、分析与解释、结果与发现、学术写作与呈现、引用与参考文献。每个维度给出2-3条优点、2-3条改进点及关键问题;评分标准为5优秀、4良好、3合格、2需改进、1差。可做全面评估、针对性评估或对比基准评估,并给出整体质量判断、主要优点、关键弱点、优先建议和发表就绪度。

使用方式:先确认作品类型与评估范围;加载 references/evaluation_framework.md 获取各维度细则;逐维度评估并打分;用脚本计算加权总分:python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>;最后综合成报告并给出可操作反馈。反馈可做成结构化报告、逐节批注、执行摘要或基准对比。

适用场景:论文质量与严谨性评估、文献综述完整性评估、研究方法设计审查、数据分析方法评分、学术写作评估、发表就绪度判断,以及为定性同行评审补充量化评分。

限制与注意:该八维量表与权重是本技能自身的改编,并非 ScholarEval 论文发布的量表;引用 ScholarEval 仅用于其研究想法评估方法。部分维度不适用于所有作品类型(如纯理论论文的数据收集)。评估需考虑作品阶段、目标期刊或会议、学科规范差异。本技能不替代领域专家判断,建议与 alterlab-peer-review 配合使用。不适用于叙事式审稿报告、模拟多审稿人小组决策、具体论断的证据分级、课程评分量表设计等场景。