eval-build 用于为 AI 应用构建或续建可信的评测(evals),目标是从已有证据推进到可复现的基线。它强调复用已完成的可信工作,先自行检查、只询问检查无法解决的信息。
用途与流程:先确认当前状态,检查应用入口、支持的输入形态、模型/提供商、工具接线和现有评测命令,读取已保存的工作流状态;选定一个功能与真实产品结果,判断其是否已上线、是否已追踪请求、是否已有数据集、人工复核的失败案例和已验证的评分器。随后盘点证据位置与访问权限,如日志、trace 导出、支持案例、数据集、标注、测试脚本和现有看板,记录可用与仅被提及的资源。
按缺失里程碑推进:无可运行应用时编写真实场景并确定最小执行;无可检查执行时用 eval-trace 获取一条本地检查的真实 trace;有 trace 无复核记录用 eval-discover;有标注但失败分类不清用 eval-error-analysis;有失败但无可信用例用 eval-dataset;有用例但无可信检查用 eval-grade;已有评测管线用 eval-audit 先验证;有可信评测但无基线用 eval-run;有可信基线且要改进用 eval-descent;有可信基线且需维护用 eval-maintain。
交付标准:完成人工复核的用例与可信参考、针对具体失败的评分器并经人工判断校准、可重跑的本地命令或已验证的托管运行配置、带原始结果与配置标识的测量基线。若缺少执行、人工复核、凭据或付费运行授权,则完成独立准备并标注结果不完整。
限制:资料未提供具体安装命令、价格、平台支持范围与效果数据;本地 UI 的构建与维护成本需向用户说明。