用途:eval-descent 是一个改进循环的名称,并非计算梯度。它用于在已验证评估的基础上,通过有边界、与证据关联的实验改进 AI 应用,目标可以是降低错误、成本或延迟指标,或在保护约定护栏的前提下提升质量指标。适用于质量、延迟、成本优化或模型迁移场景。
主要能力与流程:先明确目标与护栏,若缺少可信基线,可用 eval-build 建立,或先补齐缺失用例、校准与运行证据,不能把未验证分数当作优化目标。实验前审计基线,重算分数,检查执行错误、评分器验证、信号规模及所提杠杆是否真正作用于应用。一次性约定目标、受保护指标、可编辑文件与设置、禁区行为、最大轮次或平台期条件及付费预算;默认在边界内自主工作,可按需逐项评审,不自动部署或合并。
每轮流程:基于开发证据诊断失败并复用已评审的失败分类及证据链接,必要时用 eval-error-analysis 分组;提出一个带支持用例、预期收益与可能回归的因果假设;应用限定补丁并保存 diff、理由与配置指纹;对运行器或评分器的改动需评审测量影响;冒烟测试后按约定重复次数运行固定可比集合,保留原始结果与计费错误;重算比较、检查护栏后保留或回退,并记录决策与不确定性。选择用验证分数,诊断用开发轨迹,不得反复在所谓“最终测试”集上选择。
停滞与交接:将剩余失败分类为能力/内容缺失、评分器分歧、基础设施、信息/结构不可达或变异,修复瓶颈而非堆砌提示词;评分器修正后需重评所有可比变体并保留旧判定。达到约定上限或出现未解决的护栏回归即停止,超预算前先提出延期,提议不等于批准。交接时恢复所选版本或基线,运行最终未触碰确认,报告目标与护栏差值、不确定性、可测总花费、代表性前后证据及尝试内容,区分必需兼容修复与可选调优;仅在获授权时交付本地补丁或提交,发布为独立动作。
限制:需先有可信基线;不得自动部署或合并;不得把未验证分数作为优化目标;具体安装命令与本地工具细节资料中未提供。