用途:引导用户构建按既定标准对作品进行打分、评级或评估的 AI 评分器,适用于作文批改、代码评审打分、候选人回答评分、客服质检等场景。
主要能力:定义评分标准(3-7 项、清晰的分值锚点、可观察证据);用 DSPy 构建评分签名与模块;逐项独立评分以避免光环效应;用锚点示例校准;处理不适用项、通过/不通过阈值;多评分者集成并标记分歧;用人工金标准评估与优化评分器。
使用方式:先明确评什么、标准、量表和权重;定义 CRITERIA 与 ScoreCriterion 签名;用 ChainOfThought 逐项评分并加权汇总;提供 ANCHORS 校准;用 validate_scores 校验一致性;高利害场景用 EnsembleScorer 多评分者并标记分歧;用 scored_examples 与 scoring_metric 评估,可用 dspy.MIPROv2 优化。安装命令:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>。
限制:需要离散分类而非数值时改用 /ai-sorting;无法定义标准时不宜使用;需要确定性、可审计评分时规则法更合适;纯客观评估应用精确匹配。注意模型倾向给中间分、单次调用易产生光环效应、理由可能空泛、score 可能为字符串、相同提示的集成评分相关性高。具体效果与优化幅度以实际数据为准。