SuperAPI AI 工具集

ruview-model-training

智能体与模型

查看项目

更新于 10-16 04:04

技能介绍

RuView Model Training 是 RuView 项目的模型训练技能,用于训练多种类型的 RuView 模型。根据目标选择对应训练路线,所有路线均可在笔记本上运行,并提供可选的 GPU 路径。

一、用途 该技能覆盖从数据采集、训练、评估到发布模型的完整流程,面向基于 CSI(信道状态信息)与摄像头数据的姿态估计、嵌入检索、域泛化和边缘自适应等任务。

二、主要训练路线

Track A — 无摄像头姿态(WiFlow),无摄像头、无标签 从 10 路传感器信号训练 17 关键点姿态。速度快、完全无监督、精度适中。 命令: cd v2

在原始 CSI 上预训练(对比学习)

cargo run -p wifi-densepose-sensing-server -- --pretrain --dataset data/csi/ --pretrain-epochs 50

训练姿态头,保存 RVF 产物

cargo run -p wifi-densepose-sensing-server -- --train --dataset data/mmfi/ --epochs 100 --save-rvf model.rvf 在 M4 Pro 上约 84 秒。基准测试:node scripts/benchmark-wiflow.js,评估:node scripts/eval-wiflow.js。

Track B — 摄像头监督姿态(ADR-079)→ 92.9% PCK@20 使用网络摄像头 + MediaPipe 作为真值,与 ESP32 CSI 配对。笔记本上约 19 分钟。

1. 采集配对数据(摄像头 + CSI)

python scripts/collect-ground-truth.py # MediaPipe 姿态关键点 python scripts/collect-training-data.py # CSI 采集,时间同步 node scripts/align-ground-truth.js # 对齐摄像头 ↔ CSI 时间戳

2. 训练(通过 sensing-server / train crate 的摄像头监督路径)

cd v2 cargo run -p wifi-densepose-sensing-server -- --train --dataset data/paired/ --epochs <N> --save-rvf model.rvf

3. 评估

cd .. && node scripts/eval-wiflow.js # 报告 PCK@20 需要 data/pose_landmarker_lite.task(MediaPipe 模型)。参见 docs/adr/ADR-079-camera-ground-truth-training.md。

Track C — RuVector 对比嵌入(AETHER,ADR-024) 将 CSI 子载波幅度/相位转换为嵌入,用于重识别与检索(M4 Pro 上 171K emb/s)。由 wifi-densepose-train + wifi-densepose-ruvector(RuVector v2.0.4)驱动。频谱图嵌入见 ADR-076。 cd v2 cargo check -p wifi-densepose-train --no-default-features # 健全性检查 cargo run -p wifi-densepose-sensing-server -- --model model.rvf --embed cargo run -p wifi-densepose-sensing-server -- --model model.rvf --build-index env

Track D — 域泛化(MERIDIAN,ADR-027) 使模型无需重新训练即可跨环境迁移。通过训练流水线的域泛化选项配置;参见 ADR-027 及 wifi-densepose-train + ruview_metrics。

Track E — 本地 SNN 环境自适应 脉冲神经网络,可在 30 秒内适应新房间,在设备端或 Cognitum Seed 上运行: node scripts/snn-csi-processor.js --port 5006 参见 docs/tutorials/cognitum-seed-pretraining.md、ADR-084/085(RaBitQ 相似度传感器)、ADR-086(边缘新颖性门控)。

三、GCloud 上的 GPU 训练 项目 cognitum-20260110 具有 L4 / A100 / H100 配额。 gcloud auth login gcloud config set project cognitum-20260110 bash scripts/gcloud-train.sh --dry-run # 冒烟测试,合成数据 bash scripts/gcloud-train.sh --gpu l4 --hours 2 # 原型验证 bash scripts/gcloud-train.sh --gpu a100 --config scripts/training-config-sweep.json bash scripts/gcloud-train.sh --sweep # 完整超参数扫描 除非使用 --keep-vm,训练后 VM 会自动删除。费用:L4 约 $0.80/小时,A100 40GB 约 $3.60/小时。 本地 Mac 训练:bash scripts/mac-mini-train.sh。模型基准:python scripts/benchmark-model.py。

四、发布训练好的模型 python scripts/publish-huggingface.py # 或:bash scripts/publish-huggingface.sh 将 RVF 产物 + 模型卡推送到 Hugging Face。参见 docs/huggingface/。

五、数据布局

  • data/recordings/:原始 CSI 采集(*.csi.jsonl),过夜运行
  • data/csi/:用于预训练的 CSI 数据集
  • data/mmfi/:MM-Fi 数据集(ADR-015)
  • data/paired/:摄像头 ↔ CSI 配对样本(ADR-079)
  • data/ground-truth/:MediaPipe 姿态关键点
  • data/pose_landmarker_lite.task:MediaPipe 模型文件
  • models/:训练产物 采集更多数据:python scripts/record-csi-udp.py(从实时节点进行 UDP CSI 采集)。

六、训练变更后的验证 cd v2 && cargo test --workspace --no-default-features # 1,400+ 通过,0 失败 cd .. && python archive/v1/data/proof/verify.py # VERDICT: PASS 然后交给 ruview-verify 生成见证包。

七、参考 ADR:015(MM-Fi + Wi-Pose 数据集)、016(RuVector 训练集成 — 已完成)、017(RuVector 信号 + MAT)、024(AETHER)、027(MERIDIAN)、076(频谱图嵌入)、079(摄像头真值)、084/085(RaBitQ)、095/096(ESP32 上时序建模、稀疏 GQA)。 Crate:wifi-densepose-train、wifi-densepose-nn、wifi-densepose-ruvector、wifi-densepose-sensing-server。 脚本:scripts/gcloud-train.sh、mac-mini-train.sh、benchmark-wiflow.js、eval-wiflow.js、benchmark-model.py。

八、适用场景与限制 适用于基于 CSI 的姿态估计、嵌入检索、跨环境迁移和边缘自适应等研究/工程场景。需要 Rust 工具链、Python 环境、MediaPipe 模型文件及相应数据集;GPU 训练依赖 GCloud 配额并产生费用。部分路线(如 Track D)的具体配置细节需参考对应 ADR 文档。