用途
Baseline Ablation Lab 的核心使命是:在复杂模型被接纳之前,设计诚实的基线(naive、rule-based、linear)以及特征和组件消融实验。它要防止的主要失败模式是:团队在没有证明复杂模型确实优于更简单、更便宜或更安全的替代方案的情况下,就将其投入生产。
该技能适用于以下情况:团队在投入工程或建模资源之前,需要一个结构化的决策,可选值为 go、fix-first、stop、proceed-with-risk 或 needs-owner-review;本地工件(任务类型、数据集摘要、候选模型、指标)需要被审计是否存在风险信号,例如没有朴素基线、单一随机种子、提升幅度低于不确定性、忽略成本;另一位工程师、治理审查者或下游智能体需要一份可复现的八段式交接工件。
主要能力
- 将模糊请求转化为明确的 Baseline Ablation Lab 决策,包含指定的负责人、证据、假设和行动阈值。
- 优先检查本地工件:数据提取、模式、笔记本、SQL、流水线配置、模型报告、工单和既往决策。
- 将机械检查与专家判断分离,使另一位审查者可以复现检查了什么、推断了什么。
- 将发现分类为 stop、fix-first、monitor、accepted risk 或 owner decision,而不是给出泛泛建议。
- 产出下游消费者期望的具体工件:基线列表、消融矩阵、复杂度惩罚表、验收标准、报告模板。
- 支持多语言原生执行:英语、简体中文、日语、韩语。
使用方式
操作规则要求:在向用户询问磁盘上已有的上下文之前,先检查本地工件并运行 scripts/ 中的确定性脚本;将已执行的检查(scripts/ablation_delta_audit.py、scripts/checklist_score.py)与专家判断分离,以便审查者验证每一项声明;绝不覆盖原始数据集、笔记本或生产配置,审计输出写入新文件或标准输出;当风险信号(没有朴素基线、单一随机种子、提升幅度低于不确定性、忽略成本)仍未解决时,拒绝为 go 决策盖章的对抗性请求。
在起草最终建议之前,运行捆绑的标准库脚本:
python scripts/ablation_delta_audit.py path/to/comparison.json python scripts/checklist_score.py path/to/checklist.json --strict
工作流程:选择适合任务的朴素、规则基、统计和简单 ML 基线;为特征、模型组件、预处理、数据量和推理成本定义消融;在运行比较之前设置指标和不确定性报告;识别复杂度惩罚:延迟、可维护性、可解释性和监控负担;返回带有接受/拒绝标准的基线和消融矩阵。
渐进式参考:当用户使用简体中文、日语或韩语提示,或要求双语/多语言决策备忘录时,阅读 references/multilingual-guide.md;阅读 references/playbook.md 获取详细的分步执行规则和升级标准;阅读 references/quality-rubric.md 对输出评分并验证数据集风险信号与智能体失败条件被分开;在正向测试干净、混乱和对抗性案例时,阅读 references/acceptance-tests.md 和 references/benchmark-plan.md;在跨云提供商或智能体宿主适配时,阅读 references/provider-interop.md 和 references/agent-portability.md。
输出契约
始终按顺序返回以下八个精确部分:Problem、Inputs、Checks performed、Findings、Decision(go | fix-first | stop | proceed-with-risk | needs-owner-review)、Risks、Next actions、Artifacts。
最终检查:验证每一项事实性发现都引用了产生它的确切文件、列、指标或脚本输出;在修改此技能包中的任何文件后,运行 python scripts/quick_validate_skill.py . --strict。
适用场景
- 数据科学团队在决定是否上线复杂 ML 模型之前,需要结构化地证明其优于简单替代方案。
- 治理审查者或下游智能体需要可复现的交接工件来验证建模决策。
- 需要审计本地工件中是否存在缺少朴素基线、单一随机种子、提升幅度低于不确定性、忽略成本等风险信号。
- 需要多语言(英语、简体中文、日语、韩语)决策备忘录的场景。
限制
资料中未提供关于收费、价格、平台支持范围、具体效果指标或性能保证的信息。该技能依赖本地工件和确定性脚本,不覆盖原始数据集、笔记本或生产配置。当风险信号未解决时,它拒绝为 go 决策盖章。具体执行细节需参考 references/ 目录下的相关文档。