SuperAPI AI 工具集

experiment-registry

通用与其它

查看项目

更新于 10-15 23:32

技能介绍

用途:管理 ML 实验的元数据层,即记录跑了什么、用什么配置、得到什么结果;不管理训练代码、检查点或日志。每个实验对应一个 YAML 文件,作为其“身份卡”,随训练步骤累积基准结果,便于汇报或决策时跨实验比较。

主要能力:注册实验、列出与筛选(按状态、类型、系列)、查看详情、添加基准、比较实验、更新状态与发现。ID 如 exp07a/exp07b 会自动归入系列 exp07,可用 exp list --series exp07 查看同一实验想法的全部变体。list/show/compare 均支持 --json 输出。

使用方式:先安装 exp CLI:pip install exp-registry。若项目无 exp.config.yaml,需先运行 exp init(不要静默初始化,应让用户确认项目根目录)。常用命令:exp init;exp list;exp list --status completed;exp list --type rl;exp list --series exp07;exp show <id>;exp show <id> --json;exp register <id> --type rl --model Qwen3-VL-8B;exp add-benchmark <id> --dataset mmlu --eval-mode cot --samples 100 --step 50 --extra acc=0.72;exp compare <id1> <id2> --dataset mmlu;exp update <id> --status completed;exp update <id> --finding "key insight"。比较前先用 exp show 发现共享数据集与 eval_mode,再按共享维度比较;若无共同基准应告知用户,不要静默输出空比较。

配置与结构:exp.config.yaml 位于项目根目录,含 registry_dir、paths_template、defaults、types 等;配置从当前工作目录向上查找,无配置时使用默认 registry_dir: experiments/。每个实验为 <registry_dir>/<exp_id>.yaml,必填字段 id、name、type、series、date、status;series、paths、date 自动生成。基准按数据集与步骤组织,记录性能随训练的变化。

适用场景:ML 研究中的实验登记、训练过程基准记录、会议或报告前的实验比较、按系列查看变体。

限制:仅管理元数据,不涉及训练代码、检查点与日志;需先安装 exp CLI 并初始化配置;YAML 损坏需人工直接修复。常见错误包括重复 ID、ID 不存在、比较时数据集错误、必填字段缺失。