credo-evaluation

用途：帮助判断一项评估是否真正测量了目标能力，并支撑相应决策。可运行和高分并不等于基准有效。\n\n主要能力：先还原用户问题、实际系统用法、目标人群、输入输出、可用数据与现有评估器，明确测量应揭示的能力或失败，以及所服务的决策；界定被评估单元（回答、案例、对话、任务完成或系统交互），并在合并会掩盖取舍时区分任务成功、策略合规、质量、延迟、成本等维度。设计或审查时，检查案例与目标行为的覆盖、边界与失败模式、指标与评分定义、评分器验证、不确定性与基准实现；从可观察输出定义评分，保留单位、分母、排除项、缺失结果与失败处理；选择有意义的对比条件，包括模型版本、提示、工具、解码、可用信息与资源预算。还要检查捷径、数据污染及不提升目标能力却能提高分数的做法；对疑似捷径应做测试而非直接断言基准无效。构建时实现案例、评分器、聚合或测试框架改动，复用项目现有运行器与接口；先用手工样例和重要失败状态核对评分路径，确认分数、表格与图表中的分母和人群一致。模型评分器需在任务相关且独立评估的样例上验证，检查错误与敏感性，并将其不确定性与目标模型表现区分开。多轮运行、恢复、评分状态与结果溯源交给 evaluation-operations；数据集选择、标注与划分改动交给 credo-dataset。\n\n限制与说明：本技能负责测量什么与如何解释分数，不重复数据构建流程。方法评审可止于说明现有证据为何无法回答问题；构建完成以所请求方法和实际检查可用为准，而非出现期望分数。资料未提供具体安装命令、价格或平台信息。