SuperAPI AI 工具集

review-ml-experiment

数据与分析

查看项目

更新于 10-16 05:40

技能介绍

用途

review-ml-experiment 是机器学习实验流程中 evaluate 之后的可选循环步骤,用于对已完成的实验进行复盘审查。它读取已存储的报告,为每个候选想法生成一个 markdown 想法文件,并在日志的 Ideas 表中写入对应行。记录结果(record-outcome)仍由调用方负责,本技能只负责写想法文件及其 Ideas 行。

主要能力

  • 运行 python -m skore_skills status 和 python -m skore_skills review consent --stem <stem>,并以返回的 JSON action 为准。
  • 根据 action 分支处理:
    • stop:不存在 scratch/results/<stem>/report.html 时,指出该文件并停止,不审计、不记录结果。
    • audit:报告存在但 digest 不存在时,若已安装则加载 audit-ml-pipeline;该技能运行一次 materialize.py,且不执行审计文件。
    • proceed:digest 已在磁盘上时,除非用户要求重新审计,否则不重跑 materialize.py;否则基于现有 digest 刷新想法文件。
  • 缺少审计技能时,输出一行跳过说明,返回 n/a,不写想法文件,也不打开 Project 或调用 report.*。
  • 读取设计说明、EDA 摘要、最后一行 History 和 digest,为每个 Issues:/Tips: 行生成一个候选;设计说明中已命名但本次运行未测试的方法学缺口也算一个候选。
  • 每个候选在 journal/ideas/<stem>-<slug>.md 写一个文件,包含 Experiment、Source(audit:<stem>:checks.<code> 或 design:<stem>)、Triage open、Question、Why now、What changes、Open gaps,不写验收标准。
  • 对检查类候选,读取该行上的文档 URL,并在 What changes 中应用该页面的建议。
  • 刷新时保留已有文件的 Triage 值和匹配的 Ideas 状态;新候选为 open。
  • 在 journal/JOURNAL.md 中为每个文件 upsert 一行 ## Ideas 行;若该表缺失,则插入到 History 与 Backlog 之间。列为 Question、Status、Experiment、Source。Question 为文件的 Question 纯文本而非链接;Status 为 open、discarded 或 aside,与 Triage 一致;已提升的文件没有 Ideas 行;Experiment 为本次运行的 stem;Source 原样复制。只编辑该表。
  • 返回 digest、python -m skore_skills audit finding --stem <stem> 的 JSON 结果、python -m skore_skills loop locator --stem <stem> 的定位符以及想法文件路径。

使用方式

在成功执行 evaluate 之后调用。先运行 status 和 review consent 命令,依据返回的 JSON action 决定后续步骤。用户想法或文献查询不属于本技能的候选:本技能返回后,由 shape-user-idea 或 search-ml-literature 在用户要求时写入相应文件及其 Ideas 行。仅当 status.skills.research-ml-practice 为 true 且审计或设计候选需要来源时,才加载 research-ml-practice;否则输出一行跳过。

适用场景

适用于机器学习实验评估后的复盘审查,尤其是需要将审计发现或设计缺口转化为可追踪想法文件的场景。

限制

  • 不写 History、Backlog、Status 或设计说明;Ideas 表是唯一对 JOURNAL.md 的编辑。
  • 不调用 skore.evaluate 或 project.put。
  • 不挑选获胜想法。
  • 不编造论文、指标或获胜者。
  • 不虚构缺失子项的过程。
  • 在 proceed 时,除非用户要求重新审计,否则不重跑 materialize.py。
  • 缺少审计技能时返回 n/a,不写想法文件。

暂未提供

关于收费、价格、平台支持、具体效果或更详细的使用步骤,资料中暂未提供。