SuperAPI AI 工具集

nemo-rl-brev-etiquette

智能体与模型

查看项目

更新于 10-16 04:33

技能介绍

用途:为在 Brev 实例上运行 NeMo-RL 的智能体提供工作区操作规范,使代码仓库保持小巧、可复现、易检查,同时把体积大的实验状态放到 /ephemeral。

主要能力与规则: 存储划分:代码修改、小型配置变更、已提交的实验假设和简洁的复现记录放在 /home/ubuntu/RL;生成的实验资产放在 /ephemeral,包括检查点、运行日志、Ray 临时目录、W&B 离线文件、性能剖析(profiler)轨迹、评估输出、rollout 样本和每次实验产物。可复用缓存按用户放在共享 /ephemeral 缓存根下,而非每个实验各一份,涵盖 Hugging Face 模型、数据集缓存、PyTorch、Triton、uv、pip 缓存。不要在 git 检出目录留下大文件、缓存目录或生成输出;若工具默认写到仓库,运行前覆盖其输出/缓存路径。

密钥处理:/home/ubuntu/RL/.env 作为本地密钥存储,可能含 WANDB_API_KEY、HF_TOKEN 或 HUGGING_FACE_HUB_TOKEN。运行需要外部认证前,若该文件存在则加载;切勿打印、cat、记录、提交或总结密钥值。若文件缺失或加载后仍缺键,提醒用户先补上再启动认证任务。资料给出的加载写法为: if [ -f /home/ubuntu/RL/.env ]; then set -a . /home/ubuntu/RL/.env set +a else echo "Missing /home/ubuntu/RL/.env; add required keys such as WANDB_API_KEY or HF_TOKEN before authenticated runs." fi

自动研究模式:使用 nemo-rl-auto-research 时,git 账本留在仓库,重证据放 /ephemeral。资料给出的路径组织与缓存导出片段包含 BREV_ROOT=/ephemeral/nemo-rl/${USER:-ubuntu}、CACHE_ROOT=$BREV_ROOT/cache、CAMPAIGN_ROOT=$BREV_ROOT/nemo-rl-auto-research/<campaign>、EXP_DIR=$CAMPAIGN_ROOT/<experiment>,并通过 mkdir -p 建立 logs、checkpoints、artifacts、ray、tmp、wandb 以及共享缓存子目录;同时导出 HF_HOME、HF_HUB_CACHE、HF_DATASETS_CACHE、TRANSFORMERS_CACHE、TORCH_HOME、TRITON_CACHE_DIR、UV_CACHE_DIR、PIP_CACHE_DIR、XDG_CACHE_HOME、WANDB_CACHE_DIR、RAY_TMPDIR、TMPDIR、WANDB_DIR 等变量。在 nemo-rl-auto-research 的 TSV 字段中记录绝对 /ephemeral 路径;若 TSV 可能变大,完整 TSV 放 /ephemeral,仓库只留小型指针或摘要。

必要用法(启动清单):先用 df -h /home/ubuntu/RL /ephemeral 检查容量,/ephemeral 缺失或接近满时不要启动;在编辑配方或启动作业前选定唯一的 /ephemeral 运行根;跨实验复用共享缓存根;把配方输出、日志器、检查点和临时路径改到实验目录;把缓存路径改到共享缓存根;将 stdout/stderr 流式写入 $EXP_DIR/logs/run.log 或 /ephemeral 下等价文件;长跑期间周期用 df -h /ephemeral 检查,接近耗尽时优雅停止;结束时在仓库账本总结关键指标与路径,不把大体积产物拷回 /home/ubuntu/RL。

限制与清理:只清理属于当前 campaign 或实验的文件;优先剪除 /ephemeral/nemo-rl/... 下命名清晰的实验目录;无明确指示不得删除共享缓存或他人的运行目录;在 /ephemeral 被清理后,仓库中要保留足够的小型元数据以复现结果。官方文本暂未提供;除上述规则外未给出其他功能、平台或价格信息。