SuperAPI AI 工具集

experiment

写作与研究

查看项目

更新于 10-15 19:54

技能介绍

用途:以爬山方式改进一个可测量的产物。循环流程为尝试改动、测量单一目标指标、若更好则保留否则回退,并记录全过程;在 git 分支上运行并保留变更轨迹。完整流程见 references/sops/experiment-loop.md,已有示例与用例卡片在 experiments/ 目录。

主要能力:基于 CARD.md 定义目标、指标与方向、唯一可变面、预算、自主性与负责人;新实验可复制 experiments/forecast-tuning/。使用 tools/experiment_log.py add <results.tsv> --id ... --metric ... --status keep --note baseline 记录基线与每次结果。简单且指标持平视为保留;可中断或预算耗尽时停止,将胜出结果与轨迹交给人。

使用方式:先通过自主性闸门,确认三项后才可无人值守循环——指标客观、廉价、可自动化(代码几秒至几分钟算出);环境可回退(git 分支、临时数据或 .tmp);不涉及受保护健康信息、机密数据、外部发送或生产部署。任一不满足则改为人在环:每次改动需提议并获批准,不得通宵运行。随后选定或编写实验的 CARD.md,执行 git checkout -b experiments/<tag>,先跑基线并记录,再进入编辑唯一可变面、运行只读评测、记录、改进则提交否则 git reset 的循环。

适用场景:适合有明确自动指标、可反复试错并可回退的产物优化。限制:评测工具是只读事实标准,不得为刷分而修改;仅允许一个可变面以保证差异可审查;结果文件 results.tsv、run.log、data/ 被 git 忽略,评测工具、可变面和 CARD 为受跟踪蓝图;不得从循环中发布受监管或生产变更。受监管或生产结果只能进入人工评审流程,绝不自动部署。