Scholar Evaluation 是一个应用 ScholarEval 框架的技能，用于系统性地评估学术与研究作品。它提供结构化的评估方法，基于同行评审式的研究评估标准，对学术论文、研究提案、文献综述和学术写作进行多维度质量分析。
用途
该技能适用于以下场合：评估研究论文的质量与严谨性；评价文献综述的全面性与质量；审查研究方法设计；评分数据分析方法；评估学术写作与呈现；为学术作品提供结构化反馈；依据既定标准对研究质量进行基准比较；评估面向目标发表渠道的投稿就绪度；提供量化评估以补充定性同行评审。
主要能力
该技能按 ScholarEval 维度进行系统评估。每个适用维度会评估质量、识别优势与不足，并在适当情况下给出评分。核心评估维度包括：
问题提出与研究问题：研究问题的清晰度与具体性、理论或实践意义、可行性与范围适当性、新颖性与贡献潜力。
文献综述：覆盖全面性、批判性综合而非单纯罗列、研究空白的识别、来源的时效性与相关性、适当的背景铺陈。
方法与研究设计：与研究问题的匹配度、严谨性与有效性、可复现性与透明度、伦理考量、局限性的说明。
数据采集与来源：数据质量与适当性、样本量与代表性、数据采集流程、来源可信度与可靠性。
分析与解释：分析方法的适当性、分析的严谨性、逻辑连贯性、是否考虑替代解释、结果与主张的一致性。
结果与发现：呈现的清晰度、统计或定性严谨性、可视化质量、解释的准确性、影响与意义的讨论。
学术写作与呈现：清晰度与组织性、学术语气与风格、语法与行文规范、逻辑流畅、对目标读者的可读性。
引用与参考文献：引用完整性、来源质量与适当性、引用准确性、观点平衡、是否遵循引用规范。
评分与评级
每个已评估维度可提供定性评估，包括 2-3 个具体优势、2-3 个待改进点以及关键问题（若有）。也可选择使用 5 分制量化评分：5 为优秀（质量堪称典范，可发表于顶级渠道）；4 为良好（质量较强，需少量改进）；3 为合格（质量可接受，有显著改进空间）；2 为需改进（需要大幅修改）；1 为较差（存在根本性问题，需重大修订）。可通过脚本 scripts/calculate_scores.py 程序化计算综合得分，该脚本支持加权平均、阈值分析与分数可视化。用法示例：python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>。
评估工作流
第一步，初步评估与范围界定：识别被评估学术作品的类型与评估范围。作品类型包括完整研究论文（实证、理论或综述）、研究提案或方案、文献综述（系统、叙述或范围综述）、学位论文章节、会议摘要或短文。评估范围包括全面评估（所有维度）、针对性评估（如方法或写作等特定方面）、比较评估（与其他作品基准比较）。若范围不明确，应向用户澄清。
第二步，基于维度评估：系统评估作品的各个 ScholarEval 维度，详细标准与评分细则可参考 references/evaluation_framework.md。
第三步，评分与评级：按上述方式给出定性评估与可选量化评分。
第四步，综合总体评估：提供整合的评估摘要，包括总体质量判断、3-5 个主要优势、3-5 个关键不足、按影响排序的优先改进建议，以及在适用时给出投稿就绪度评估。
第五步，提供可执行反馈：反馈应具体（引用确切章节、段落或页码）、可执行（给出具体改进建议）、有优先级、兼顾优劣、以证据为基础。反馈形式可以是逐维度分析的结构化报告、映射到具体文档章节的批注、包含关键发现与建议的执行摘要，或针对基准标准的比较分析。
第六步，情境考量：根据发展阶段调整评估方式（早期草稿关注概念与结构问题，高级草稿关注打磨与完善，最终投稿做全面质量检查）；根据目的与渠道调整（期刊论文标准高，会议论文平衡新颖性与呈现清晰度，学生作品侧重教育性反馈，基金申请强调可行性与影响）；并考虑学科规范（理工科强调可复现性与统计严谨性，社会科学平衡定量与定性标准，人文学科侧重论证与学术诠释）。
科学示意图增强
使用该技能创建文档时，可考虑加入科学图表以增强视觉传达。若文档尚未包含示意图，可使用 scientific-schematics 技能生成 AI 驱动的出版级图表，只需用自然语言描述所需图表。命令示例：python scripts/generate_schematic.py "your diagram description" -o figures/output.png。AI 会自动创建格式规范的出版级图像，通过多轮迭代审阅与完善，并确保可访问性（色盲友好、高对比度），输出保存至 figures/ 目录。适合加入示意图的场景包括：评估框架图、质量评估标准决策树、学术工作流可视化、评估方法流程图、评分细则可视化、评估过程图，以及任何受益于可视化的复杂概念。
资源
references/evaluation_framework.md：包含每个 ScholarEval 维度的详细评估标准、评分细则与质量指标。可在开展评估时加载该参考文件以获取具体评估指南与评分细则。快速访问的检索模式包括："Problem Formulation criteria"、"Literature Review rubric"、"Methodology assessment"、"Data quality indicators"、"Analysis rigor standards"、"Writing quality checklist"。
scripts/calculate_scores.py：用于根据各维度评分计算综合评估得分的 Python 脚本，支持加权平均、阈值分析与分数可视化。
最佳实践
保持客观，基于既定标准而非个人偏好；全面评估所有适用维度；用作品中的具体例子支撑评估；以建设性方式将不足表述为改进机会；根据作品阶段与目的调整预期；记录评估与评分依据；明确肯定作品的优点；优先给出高影响力的改进建议。
与科学写作流程的集成
该技能可与科学写作工作流无缝集成。论文生成后，可作为同行评审的替代或补充，与 PEER_REVIEW.md 一同生成 SCHOLAR_EVALUATION.md，并提供量化分数以跟踪各修订版本的改进。修订期间，可在处理反馈后重新评估特定维度，跟踪多个版本的分数变化，识别持续存在的不足。投稿准备阶段，可评估面向目标期刊或会议的投稿就绪度，在投稿前发现空白，并与发表标准进行基准比较。
限制与注意
评估的严格程度应与作品目的和阶段相匹配；某些维度可能不适用于所有作品类型（例如纯理论论文不涉及数据采集）；应考虑学术规范的文化与学科差异；该框架补充而非替代领域专业知识；建议与同行评审技能结合使用以实现全面评估。
引用来源
该技能基于 ScholarEval 框架，见 Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv preprint arXiv:2510.16234. https://arxiv.org/abs/2510.16234。