用途
Scholar Evaluation 用于以可重复的评分量表评估学术或科研工作。适用于以下场景：
- 评审研究论文、研究计划、学位论文章节或文献综述。
- 检查论点是否有被引证据支撑。
- 评估方法论、研究设计、分析或局限性。
- 比较两篇或多篇论文的质量或相关性。
- 为修改生成结构化反馈。
主要能力
使用前先确定评估对象的类型：实证研究论文、理论论文、技术报告、系统或叙述性文献综述、研究计划、学位论文或论文章节、会议摘要或短文。
然后选择评估范围：
- comprehensive：全部评分维度。
- targeted：一到两个维度，例如方法或引用。
- comparative：按同一评分量表对多篇作品排名。
评分量表对每个适用维度按 1 到 5 分打分：
- 5：优秀；清晰、严谨，达到可发表水平。
- 4：良好；需要小幅改进。
- 3：尚可；存在明显缺口但可用。
- 2：薄弱；需要大幅修改。
- 1：差；存在重大有效性或清晰度问题。
不适用的维度使用 N/A。
评分维度
- 问题与研究问题：问题是否清晰具体；贡献是否有意义；范围和假设是否明确；问题是否与声称的贡献匹配。
- 文献与背景：相关前期工作是否覆盖；是否综合而非仅罗列来源；是否准确识别空白；近期与奠基性来源是否平衡。
- 方法论：方法是否回答研究问题；设计选择是否合理；变量、数据集、参与者或材料是否描述清晰；其他研究者能否复现；伦理与实践限制是否说明。
- 数据与证据：数据来源是否可信且合适；样本量或语料覆盖是否充分；纳入、排除和预处理决策是否记录；缺失数据和偏差风险是否讨论。
- 分析：统计、定性或计算方法是否合适；基线和对照是否公平；必要时是否包含不确定性、敏感性或稳健性检验；是否考虑替代解释。
- 结果与解释：结果是否清晰呈现；结论是否在证据范围内；图表和指标是否易懂；负面或零结果是否诚实处理。
- 局限性与有效性威胁：局限性是否具体而非泛泛；是否处理内部、外部、构念和结论有效性风险；是否区分推测与已证明结果。
- 写作与结构：论证是否易于理解；章节是否围绕研究问题组织；定义和符号是否清晰；语气是否精确且具学术性。
- 引用：被引论文是否支撑所附论点；尽可能使用一手来源；综述是否标注为综述；预印本是否标注为预印本；引用元数据和链接是否正确。
使用方式
评审流程：阅读摘要、引言、图表和结论以了解所声称的贡献；阅读方法和结果以评估证据质量；对照引用来源检查最强论点；对每个适用维度评分；区分关键阻塞问题与修改建议；最后给出具体的下一步修改。
输出模板包含：概览评估（总分、置信度、摘要）、维度评分表（维度、分数、证据、修改优先级）、关键问题、建议修改、需要核实的证据。
限制与注意事项
不要用分数代替具体反馈。不要因论文省略其范围之外的维度而扣分。不要把引用数量、发表场所或作者声誉当作质量证明。不要仅因论点出现在摘要中就接受缺乏支撑的论点。