用途:该技能使用 ST-GCN(Spatial Temporal Graph Convolutional Network,时空图卷积网络),从姿势关键点数据中将骨架序列分类为动作类别,通常基于骨架数据从零开始训练。
主要能力:打包的 PyTorch Pose Classification CLI 支持 dataset_convert、train、evaluate、export 和 inference。dataset_convert 为条件性操作,仅当输入为原始 DeepStream BodyPose JSON 时运行;若数据集已转换为 TAO 可用的 .npy / .pkl 文件,则直接以 train 开始,并在验证报告中标记为未运行数据集转换。该模型不提供 deploy、prune、quantize 或独立的 retrain 操作。恢复/重训通过 pose_classification train -e ... 并填充 train.resume_training_checkpoint_path 实现。
使用方式:数据源覆盖对每次运行都是必需的,需依据各操作的数据集要求构造路径并写入 spec_overrides。典型覆盖涵盖 dataset.num_classes(默认 6)、model.graph_layout(nvidia / openpose,决定关节连接)、model.graph_strategy、train.optim.lr(默认 0.1,SGD)、model.dropout,以及 train.num_epochs、checkpoint_interval、validation_interval、num_gpus 等。导出需显式指定 export.onnx_file;推理必须设置 inference.output_file 为可写路径。
适用场景:骨架动作识别,如将姿态关键点序列分类为多种动作类别,适合轻量级模型部署。
限制:训练需要数据文件 train_data.npy、train_label.pkl、val_data.npy、val_label.pkl;评估与推理需 val/test 数据。监视指标为 val_loss。最低 1 块 GPU,建议 1 块,每 GPU 显存 8GB 以上,仅支持单节点。需注意图布局不匹配、标签范围或 label_map 缺失、检查点交接等问题。AutoML 在模型层启用,若 schemas/train.schema.json 与 references/spec_template_train.yaml 缺失则无法运行,需报告。运行时不预期存在 ~/tao-core。部分参数默认值与硬件细节以实际打包资料为准,暂未提供更详细收费信息。