用途：Model Evaluator 用于严格评估与比较机器学习模型，回答的不只是“哪个模型最好”，而是“在特定用例与约束下哪个模型最合适”。适用于对比 LLM、分类器或自定义模型。
主要能力：设计评估协议（明确目标、约束、失败模式、待模拟的真实条件）；按任务类型选择指标，如分类用 Accuracy、F1、AUC-ROC，回归用 RMSE、MAE、R-squared，排序用 NDCG、MRR、MAP，生成用 BLEU、ROUGE、BERTScore，LLM 用任务准确率及延迟、成本、一致性；设计测试集（留出集、边界案例、对抗样本、分布偏移）；规划统计方法（样本量、置信区间、多重比较校正）。支持多维度评估（准确率、延迟分位、内存、成本、鲁棒性、公平性）、LLM-as-judge、A/B 测试与校准分析（ECE、可靠性图、Brier 分解、温度缩放）。
使用方式：通过自然语言触发，如“如何评估某类模型”“某任务用什么指标”“比较这些模型”“评估 LLM 表现”“差异是否显著”“检查模型偏差”。核心评估流程为：对模型在测试数据上预测，按指标计算得分，保存结果，再进行统计比较并生成报告。
最佳实践与限制：使用多指标并报告置信区间与子群体表现；评估数据应与生产分布一致且模型未见；考虑随机性，多随机种子与 bootstrap；计入推理延迟、吞吐、内存、API 成本与维护负担；测试噪声、分布偏移、对抗样本与畸形输入；确保各模型使用相同测试数据、一致预处理与等价调参。需避免：反复评估导致测试集过拟合、忽略统计显著性、指标选择不当、评估数据与训练数据过近、忽略算力成本、不做鲁棒性测试、在 A/B 测试中混淆相关与因果、未处理多重比较。原文未提供具体安装命令、收费、价格或平台信息。