用途
review-ml-experiment 是 evaluate 之后的一个可选循环步骤,用于对已完成的机器学习实验进行事后评审(post-evaluate review)。它读取已存储的实验报告,然后为每个候选方向写出一个 markdown 想法文件,并在日志中为每个候选写一行 Ideas 记录。是否记录最终结果(record-outcome)由调用方负责,本技能只产出想法文件及其 Ideas 行。被评审的实验对象即本次的 stem(实验标识)。技能会检查结果是否随报告一同存储,以便审计读取。
触发时机
在 evaluate 成功之后触发;当用户说「review this stem」时触发;或当 review consent 的值为 audit 或 proceed 时触发。
主要能力
- 读取设计说明(design note)、EDA 摘要、最后一行 History 以及摘要(digest)。
- 针对每一行
Issues:/Tips:生成一个候选。设计说明中指出、但本次运行未测试的方法学缺口,也算作一个候选。 - 为每个候选写出一个文件,路径为
journal/ideas/<stem>-<slug>.md,内容包含 Experiment、Source(形如audit:<stem>:checks.<code>或design:<stem>)、Triageopen、Question、Why now、What changes、Open gaps;不写验收标准(acceptance criteria)。 - 在
journal/JOURNAL.md中为每个文件 upsert(更新或插入)一行## Ideas记录,列为 Question、Status、Experiment、Source。 - 返回摘要、
python -m skore_skills audit finding --stem <stem>的 JSONfinding、python -m skore_skills loop locator --stem <stem>返回的 locator,以及各想法文件路径。
使用方式
- 运行
python -m skore_skills status和python -m skore_skills review consent --stem <stem>,以 JSON 中的action为权威依据。stop:不存在scratch/results/<stem>/report.html,则指出该文件并停止;不审计,不 record-outcome。audit:报告存在但 digest 不存在,加载已安装的audit-ml-pipeline;该技能只运行一次materialize.py,不执行审计文件。proceed:digest 已在磁盘上,除非用户要求重新审计,否则不要再次运行materialize.py;重新审计会加载audit-ml-pipeline,该技能运行一次materialize.py。否则基于现有 digest 刷新想法文件。
- 缺少审计技能时:输出一行跳过,返回
n/a — audit not run,不写任何想法文件,不打开 Project,也不调用report.*。 - 读取设计说明、EDA 摘要、最后一行 History 和 digest。每行
Issues:/Tips:对应一个候选。 - 为每个候选在
journal/ideas/<stem>-<slug>.md写一个文件。若为 check 候选,读取该行上的文档 URL,并在 What changes 中应用该页面的建议。刷新时保留已有文件的Triage值和对应 Ideas 状态;新候选为open。 - 在
journal/JOURNAL.md中为每个文件 upsert 一行## Ideas。若该表缺失,则插入到 History 与 Backlog 之间。只编辑该表。 - 返回 digest、finding、locator 及想法文件路径。
适用场景与限制
适用于在实验评估完成后、需要把审计结果或设计缺口转化为可追踪想法条目的流程。限制包括:不写 History、Backlog、Status 或设计说明,Ideas 表是唯一允许修改的 JOURNAL.md 位置;不调用 skore.evaluate 或 project.put;不挑选获胜想法;不虚构缺失子项的处理流程;不发明论文、指标或胜者。用户想法或文献查询不在此处作为候选,应由 shape-user-idea 或 search-ml-literature 在用户要求时写入。仅当 status.skills.research-ml-practice 为 true 且审计或设计候选需要来源时,才加载 research-ml-practice,否则输出一行跳过。面向人类的文字要求见 setup-workspace 的 references/human_facing_prose.md;想法文件描述的是本报告与后续步骤,而非技能 id、cells run 或包装 CLI。
暂未提供的信息
关于该技能更详细的安装命令、价格或收费方式,资料中暂未提供。