用途:在 NeMo-RL 仓库中按用户给定的目标(准确率、奖励、吞吐、延迟、稳定性或特定 recipe 指标)运行迭代式自动研究实验,以 git 分支作为研究台账,记录假设与结果。
主要能力:自动完成实验全生命周期,包括检查 git 状态、创建共享前缀分支、阅读目标 recipe 及其父级和相关代码路径(如 examples/run_grpo.py、nemo_rl/models/、nemo_rl/algorithms/、nemo_rl/environments/、docs/,NeMo-gym recipe 还需查看 examples/nemo_gym/ 入口、配置与启动脚本)、验证数据与检查点、建立 TSV 日志、运行基线、逐实验分支与提交、提取主指标并记录到日志,最后按 keep、discard、crash 标记结果。
使用方式:需配合 nemo-rl-session-memory 技能,在分支前启动或恢复会话记录,并在形成计划、编辑前后、长时间任务启动、方向变更及交接前做检查点。每个实验放在共享前缀下的独立分支,分支至少一个体现假设的提交。运行命令示例:LOG_DIR=reports/auto_research/<campaign>/<experiment>;mkdir -p "$LOG_DIR";uv run <entrypoint> > "$LOG_DIR/run.log" 2>&1。按用户给的单次实验时限强制超时;有 recipe 级超时则优先,否则用外部 timeout,两者都存在取更紧者。
停止规则:用户显式给出的停止条件优先。计数类按尝试过的实验数计;时间预算转为绝对截止时间持续检查。未给出停止条件时,运行基线加最多三个低风险实验,然后总结最佳结果并询问是否继续。
限制与安全:该技能会创建 git 分支、写盘、执行 shell 命令及可能消耗 GPU 的训练任务。创建分支或启动任务前必须与用户确认。不得在未获明确批准时执行破坏性 git 操作(reset、force-push)或启动高算力任务。不要用欠采样的冒烟运行判断训练想法失败;不要为紧迭代反复支付批调度启动开销。资料未提供具体性能数值、收费方式与平台支持细节。