SuperAPI AI 工具集

tao-train-action-recognition

设计与创作

查看项目

更新于 10-16 08:11

技能介绍

用途:从视频序列中做动作识别,对视频片段的时序动作进行分类,支持 rgb(RGB)、of(光流)和 joint(多流)三种输入类型。

主要能力:提供 train、evaluate、inference、export 等动作。model.backbone 默认 resnet_18,作为空间特征提取器;model.rgb_seq_length 与 model.of_seq_length 分别控制 RGB 与光流输入的每片段帧数;dataset.label_map 为类别名到索引的映射;train.optim.lr 默认 5e-4。评估指标为 val_acc,数据集类型为 action_recognition,格式 default。

训练与 AutoML:该模型在模型层启用 AutoML。默认 automl_policy: auto 时,训练经 tao-skill-bank:tao-run-automl 路由,需 schemas/train.schema.json 与 references/spec_template_train.yaml 存在且可解析。用户若明确表示关闭 AutoML、禁用 AutoML、无 HPO 或普通训练,则本次运行设为 automl_policy: off,改走直接训练。若启用 AutoML 但缺少 schema,则报告为当前不可运行。evaluate、inference、export、deploy 等非训练动作仍在本技能内处理。

数据源要求(每次动作均须构造数据源路径并写入 spec_overrides):train 需 dataset.train_dataset_dir(train.tar.gz)与 dataset.val_dataset_dir(test.tar.gz);evaluate 需 evaluate.test_dataset_dir(test.tar.gz);inference 需 inference.inference_dataset_dir(如 test/smile.tar.gz)。训练常用覆盖包括 train.num_epochs、train.checkpoint_interval、train.validation_interval、train.num_gpus、dataset.batch_size 与 dataset.label_map。

并行与硬件:由 Lightning 管理启动,单进程派生 worker;train.num_gpus 默认 1,train.gpu_ids 默认 [0],策略 auto,面向单节点。最少 1 块 GPU,推荐 2 块,每块 16GB 以上显存;显存随序列长度与输入分辨率变化,batch_size=2 对视频数据较为保守。

常见错误:序列长度不匹配,需确保视频片段帧数满足 rgb_seq_length 或 of_seq_length。

限制:未提供价格、收费、平台与具体效果信息;引用映射(encryption_key、checkpoint、results_dir、PTM 等)由运行器在 create_job() 前应用,不应写回 config.json 或修改生成的 runner 脚本猜测检查点路径。运行时不依赖 ~/tao-core。