SuperAPI AI 工具集

review-ml-experiment

数据与分析

查看项目

更新于 10-16 11:08

技能介绍

用途

review-ml-experiment 是 evaluate 之后的一个可选循环步骤,用于对已完成的机器学习实验进行事后评审(post-evaluate review)。它读取已存储的实验报告,然后为每个候选方向写出一个 markdown 想法文件,并在日志中为每个候选写一行 Ideas 记录。是否记录最终结果(record-outcome)由调用方负责,本技能只产出想法文件及其 Ideas 行。被评审的实验对象即本次的 stem(实验标识)。技能会检查结果是否随报告一同存储,以便审计读取。

触发时机

在 evaluate 成功之后触发;当用户说「review this stem」时触发;或当 review consent 的值为 audit 或 proceed 时触发。

主要能力

  • 读取设计说明(design note)、EDA 摘要、最后一行 History 以及摘要(digest)。
  • 针对每一行 Issues: / Tips: 生成一个候选。设计说明中指出、但本次运行未测试的方法学缺口,也算作一个候选。
  • 为每个候选写出一个文件,路径为 journal/ideas/<stem>-<slug>.md,内容包含 Experiment、Source(形如 audit:<stem>:checks.<code> 或 design:<stem>)、Triage open、Question、Why now、What changes、Open gaps;不写验收标准(acceptance criteria)。
  • 在 journal/JOURNAL.md 中为每个文件 upsert(更新或插入)一行 ## Ideas 记录,列为 Question、Status、Experiment、Source。
  • 返回摘要、python -m skore_skills audit finding --stem <stem> 的 JSON finding、python -m skore_skills loop locator --stem <stem> 返回的 locator,以及各想法文件路径。

使用方式

  1. 运行 python -m skore_skills status 和 python -m skore_skills review consent --stem <stem>,以 JSON 中的 action 为权威依据。
    • stop:不存在 scratch/results/<stem>/report.html,则指出该文件并停止;不审计,不 record-outcome。
    • audit:报告存在但 digest 不存在,加载已安装的 audit-ml-pipeline;该技能只运行一次 materialize.py,不执行审计文件。
    • proceed:digest 已在磁盘上,除非用户要求重新审计,否则不要再次运行 materialize.py;重新审计会加载 audit-ml-pipeline,该技能运行一次 materialize.py。否则基于现有 digest 刷新想法文件。
  2. 缺少审计技能时:输出一行跳过,返回 n/a — audit not run,不写任何想法文件,不打开 Project,也不调用 report.*。
  3. 读取设计说明、EDA 摘要、最后一行 History 和 digest。每行 Issues: / Tips: 对应一个候选。
  4. 为每个候选在 journal/ideas/<stem>-<slug>.md 写一个文件。若为 check 候选,读取该行上的文档 URL,并在 What changes 中应用该页面的建议。刷新时保留已有文件的 Triage 值和对应 Ideas 状态;新候选为 open。
  5. 在 journal/JOURNAL.md 中为每个文件 upsert 一行 ## Ideas。若该表缺失,则插入到 History 与 Backlog 之间。只编辑该表。
  6. 返回 digest、finding、locator 及想法文件路径。

适用场景与限制

适用于在实验评估完成后、需要把审计结果或设计缺口转化为可追踪想法条目的流程。限制包括:不写 History、Backlog、Status 或设计说明,Ideas 表是唯一允许修改的 JOURNAL.md 位置;不调用 skore.evaluate 或 project.put;不挑选获胜想法;不虚构缺失子项的处理流程;不发明论文、指标或胜者。用户想法或文献查询不在此处作为候选,应由 shape-user-idea 或 search-ml-literature 在用户要求时写入。仅当 status.skills.research-ml-practice 为 true 且审计或设计候选需要来源时,才加载 research-ml-practice,否则输出一行跳过。面向人类的文字要求见 setup-workspace 的 references/human_facing_prose.md;想法文件描述的是本报告与后续步骤,而非技能 id、cells run 或包装 CLI。

暂未提供的信息

关于该技能更详细的安装命令、价格或收费方式,资料中暂未提供。