SuperAPI AI 工具集

experiment-knowledge-harness

写作与研究

查看项目

更新于 10-15 20:33

技能介绍

用途:为 ML/DL/Quant 研究项目建立基于文件的实验记忆,管理假设、运行、结论及由此形成的信念,避免重复失败的实验、浪费算力。与 project-knowledge-harness(软件工作记忆)互补:工程杂事留 TODO.md,调试陷阱留 pitfalls/。

主要能力与五个界面:experiments/LEDGER.md 记录当前信念、成败与编号发现 F-001…;ROADMAP.md 按 payoff/cost/category/depends-on 分优先级;INBOX.md 收集未定价的原始想法;experiments/<NNN>-<slug>/REPORT.md 记录具体运行与结论(含前置元数据和溯源);README.md 自动渲染 Mermaid 地图与索引表。每个实验只设一个消融轴,对照命名基线,结果表须声明可比性规格(成本模型/费率/评估窗口版本),不同规格数字不共表。

使用方式:脚本位于 scripts/。初始化:scripts/init.sh --target /path/to/project --project-name "My Project",幂等。设计前先 grep LEDGER 和索引,引用已有发现。新建实验:scripts/new-experiment.py --title "..." --question "..." --axis "..." --baseline "#001" --from-roadmap "...",运行前填写预注册(假设、成功标准、决策规则)。记录发现:scripts/log-finding.py --statement "..." --evidence "#002" [--overturns F-004]。刷新索引:scripts/render-index.py。整理 inbox:scripts/sweep-inbox.py(--formalize/--batch)。重排序:scripts/retriage.py。溯源:scripts/snapshot-provenance.py --cmd "..."。

适用场景:需要回答“是否试过 X”、追踪方向成败、定位结果、管理依赖翻转、要求可复现或整理零散实验文件夹时。

限制:不用于单次临时计算、无假设的工程任务(走 TODO.md)或运行级指标流(属 MLflow/W&B 领域,本工具只存结论与引用,不存原始遥测)。长期运行需写入持久完成标记并做真实调度依赖,状态 running 本身不是证据。具体收费、价格、平台支持等资料暂未提供。