SuperAPI AI 工具集

model-selection

测试与质量

查看项目

更新于 10-16 02:37

技能介绍

用途:帮助在 AI 开发工作流中决定某件工作该花最强模型(如 Fable 5 / Opus)还是更便宜快速的模型,并据此设置每个智能体的模型与推理投入。

核心判断标准:下游是否存在便宜的校验器。若错误会被编译器、测试、schema、确定性检查器或后续验证环节机械地发现,则用便宜模型通常正确;若该输出本身就是最后一道防线、下游无法判断对错,则应使用强模型。

建议投入最强模型的情形:存在相互作用约束的新颖设计;假阴性代价高昂的对抗性验证(数据丢失路径、授权、金钱、迁移);便宜模型多次尝试仍未能定位的缺陷根因;关于有效性的推理(实验设计、效度威胁、推断是否成立);改动点之外不可见的影响;任何未经进一步检查就会发布或据以行动的产出(架构决策、文章论断、安全结论)。

可用便宜快速模型的情形:高广度低深度的扫描(查找、清点、调用点编目);机械变换(重命名、调用点迁移、样板、格式转换);首轮分流与分类;对已有在手内容做摘要;自己会再读一遍并核对的内容。

项目自身证据与边界:对比测试发现,在检索受限的任务上,结构优于模型规模——扁平检索把所有模型(Llama 3.3 70B 到 Sonnet 4.5)的例外保留率压在 83%,结构化后均升至约 98–100%,且成本约低 13 倍。但该结论仅适用于知识受限类工作,不推广到推理受限类工作;同一研究中,结构把决定性证据摆到每个模型面前,仍有模型拒绝使用。实践规则是先改进工件(更清晰的界定、验证阶段、正确上下文),再考虑升级模型;一旦工作真正是推理受限,就要付出成本。

反模式:用强模型做大批量扫描;用便宜模型当最后防线;生成与评分用同一模型;可驳回的判断型分类器;未测量就假设层级。便宜分类器只能升级、不能跳过,只有确定性规则可以跳过。

其他要点:推理投入与模型选择遵循同一逻辑,高投入在机械工作上只买来延迟;委托时应按智能体分别设置模型与投入,而非统一用最高档。为非显然的工作选定层级时,用一句话说明选了哪个及原因。