Model Evaluator

Model Evaluator 是一个用于严格评估和比较机器学习模型性能的技能，帮助用户从多个维度衡量模型表现。它引导用户选择合适的评估指标、设计评估协议、规避常见统计陷阱，并基于数据做出模型选择决策。

用途

该技能用于对机器学习模型进行系统化评估与比较。它帮助回答的不只是“哪个模型最好”，而是“在特定用例和约束下哪个模型最好”。适用于比较 LLM、分类器或自定义模型，确保评估方法可靠、结论可信。

主要能力

评估覆盖完整维度：预测性能、计算效率、鲁棒性、公平性、校准和生产就绪度。

核心工作流包括：

设计评估协议：定义评估目标（主要目标、次要约束、需测试的失败模式、需模拟的真实条件）；按任务类型选择指标（分类：Accuracy、F1、AUC-ROC，辅以 Precision、Recall、混淆矩阵；回归：RMSE、MAE、R-squared，辅以残差分析、预测区间；排序：NDCG、MRR、MAP，辅以 Precision@k、Recall@k；生成：BLEU、ROUGE、BERTScore，辅以人工评估、Faithfulness；LLM：任务特定准确率，辅以延迟、成本、一致性）；设计测试集（留出测试数据、边缘案例集合、对抗样本、分布偏移测试）；规划统计方法（显著性所需样本量、置信区间、多重比较校正）。
执行比较评估：准备评估基础设施（提供 ModelEvaluator 类示例代码，包含 evaluate 与 compare 方法）；在各模型上一致地运行评估；计算置信区间；检验统计显著性；生成比较报告。
LLM 专项评估：定义评估维度（任务准确率、响应质量、安全与对齐、效率）；创建评估数据集（代表性提示、真实答案、人类偏好数据）；实现评估（自动指标、LLM-as-judge、人工评估协议）；跨维度分析结果并给出带权衡的建议。

使用方式

通过自然语言触发，例如：设计评估（“How should I evaluate [model type]”）、选择指标（“What metrics for [task type]”）、比较模型（“Compare these models: [list]”）、LLM 评估（“Evaluate LLM performance”）、统计检验（“Is this difference significant”）、偏差评估（“Check model for bias”）。

高级技术包括：多维度评估（跨准确率、延迟 p50/p99、内存、每千次成本、鲁棒性、公平性打分）、LLM-as-Judge 协议（用 LLM 按准确率、有用性、清晰度 1-5 分评分）、A/B 测试框架（提供 ABTest 类示例代码）、校准分析（ECE、可靠性图、Brier 分数分解、温度缩放）。

最佳实践

使用多个指标；报告置信区间而非仅点估计；展示子群体表现；在贴近生产的数据上测试；考虑方差（多随机种子、Bootstrap 置信区间、正确统计检验）；考虑全部成本（延迟、吞吐、内存、API 成本、维护负担）；测试鲁棒性（输入扰动、分布偏移、对抗样本、缺失或畸形输入）；公平比较（相同测试数据、一致预处理、等效调参投入）。

适用场景

比较 LLM、分类器或自定义模型；设计评估协议；选择评估指标；进行统计显著性检验；检查模型偏差；执行 A/B 测试与校准分析。

限制与常见陷阱

需避免：通过反复评估过拟合测试集；忽略统计显著性；对任务使用不当指标（如对不平衡类别用准确率）；在过于接近训练数据的数据上评估；忽略计算成本；不测试分布偏移鲁棒性；在 A/B 测试中混淆相关与因果；未考虑多重比较。

关于收费、价格、平台支持等具体信息，资料中暂未提供。

技能介绍