AI Evaluation and Fine-Tuning Methodology Skill 是一个面向 LLM、智能体、负责任 AI 与多模态系统的评估方法论技能。它的定位是：领域技能负责“测什么”，本技能负责“测量控制”，用于校准评分器、推导发布门禁，并比较评估或适配方法。其核心判断是：训练损失只是遥测，留出集行为才决定适配是否真正改进了系统。
用途与主要能力
该技能覆盖评估全流程，包括：构建（问题，理想答案）集并调优；组合评估数据集；防止评委给自己的输出打高分；选择与接入评估框架；可辩护地选择指标与通过阈值；区分波动运行与真实回归；判断“A 优于 B”是否真实并确定集合规模；最大化 LLM 表现；决定是否以及如何微调；在实时/生产流量上评估；将用户行为转化为评估与偏好数据；评估拒答、越狱与危害；评估负责任或多模态 AI；超越单一评委；评估检索、知识库或记忆系统；衡量记忆技能是否改进智能体；衡量幻觉。
使用方式
工作流强调：先把模糊需求转化为可验证目标；先建数据集再建评分器；选择能工作的最便宜评分器（确定性检查 > LLM 评委 > 人工）；若使用 LLM 评委，先控制其偏差；用重复试验、低评委温度、固定种子和留出测试集控制波动与泄漏；从标注校准集推导阈值；用统计方法判断“A 优于 B”；只有在基线证明必要后才微调；应用完整优化阶梯而非单一方法；门禁要“响亮失败”，报告跳过或隔离的用例；在系统需要时扩展到安全/红队评估和在线生产评估。
适用场景
适用于需要设计可信评估的团队，例如：构建 LLM 或智能体评估集、校准 LLM 评委、推导发布门禁、比较微调与提示/RAG/工具方案、评估检索与记忆系统、衡量幻觉、进行安全红队评估、评估负责任 AI 或多模态系统、以及将生产流量与用户反馈纳入评估闭环。
限制与注意事项
资料明确列出多项限制：评估框架 API（inspect-ai、lighteval、Ragas、DeepEval、promptfoo、Braintrust）会随版本变化，推荐具体调用或标志前需核对官方文档；arXiv 优化方法论文常为预印本且对基准敏感，未复现方法应视为“验证”而非“推广”；评委偏差发现虽可复现，但其幅度（长度偏差的方向）依赖评委与提示，需自行重测；微调评委模型与越狱攻防结果变化快，需核实当前模型、许可证与基准一致性；间接提示注入是主要智能体攻击类别，任何“智能体对注入安全”的说法都需要新的自适应测试；统计方法稳定，但复制调用前需核实 scipy/statsmodels 的确切 API。此外，资料未提供收费、价格、平台或具体效果数据。