用途:监控正在运行的实验,检查进度、收集结果,适用于用户提出“check results”“is it done”“monitor”或需要实验输出时。
主要能力:通过 SSH 检查服务器或 Vast.ai 实例上的 screen 会话;用 screen hardcopy 抓取每个会话最后若干行输出;查找并读取结果目录中的 JSON 文件;当 CLAUDE.md 中 wandb 为 true 时,通过 Python API 拉取 W&B 运行列表、指定 run 的指标历史与 summary,提取训练损失曲线、评估指标、学习率、GPU 显存与运行状态,并给出 W&B 仪表盘链接;最后以对比表汇总各实验指标、相对基线的差值与状态,并做解读、标记异常、建议下一步;若配置了飞书,可发送 experiment_done 通知。
使用方式:按工作流依次执行。检查运行:ssh <server> "screen -ls";Vast.ai 实例需从 vast-instances.json 读取 ssh_host、ssh_port,执行 ssh -p <PORT> root@<HOST> "screen -ls",并用 vastai show instances 查看实例状态。收集输出:ssh <server> "screen -S <name> -X hardcopy /tmp/screen_<name>.txt && tail -50 /tmp/screen_<name>.txt",hardcopy 失败时改查日志或 tee 输出。检查 JSON:ssh <server> "ls -lt <results_dir>/*.json 2>/dev/null | head -20",再 cat 最新文件。W&B 步骤在未启用时完全跳过。
限制与注意:需具备目标服务器 SSH 访问权限;W&B 拉取依赖已安装 wandb 并配置好实体与项目;结果解读前必须先展示原始数字,并与相同配置的基线对比;实验仍在运行时需注明;结果异常应先查训练日志中的错误;监控 Vast.ai 实例时需报告运行成本(小时数 × vast-instances.json 中的 $/hr),若实例上所有实验已完成,提醒用户运行 /vast-gpu destroy <instance_id> 以停止计费。飞书配置缺失或模式为 off 时跳过通知。具体收费、平台支持范围等资料暂未提供。