SuperAPI AI 工具集

tao-train-ocrnet

智能体与模型

查看项目

更新于 10-16 04:34

技能介绍

用途:OCRNet 用于场景文字识别,从已裁剪好的文本区域图像中识别文字内容,支持 CTC 和基于注意力的解码器。

主要能力:提供 dataset_convert、train、retrain、evaluate、inference、export、prune、quantize、gen_trt_engine 等动作;其中 evaluate、inference、export 及部署流程留在本模型技能内,训练动作在满足条件时默认路由到 tao-skill-bank:tao-run-automl。

使用方式:数据集类型为 ocrnet。若使用原始图像加 gt 文件,需先运行 dataset_convert 生成 LMDB。设置 train.pretrained_model_path 加载预训练 OCR 权重。每个动作都必须在 spec_overrides 中按资料给出的表格构造数据源路径,例如 train 需提供 dataset.train_dataset_dir、dataset.val_dataset_dir、dataset.character_list_file。charactor_list 决定输出词表大小,训练数据中的所有字符必须出现在 character_list 文件中。model.prediction 选择 CTC 或 Attn,model.backbone 默认 ResNet,train.optim.lr 默认 1.0(Adadelta),dataset.batch_size 默认 16。

AutoML:模型层通过 references/skill_info.yaml 中的 automl_enabled 声明启用。运行前读取该文件并解析 automl_policy(显式值或用户请求)。诸如“关闭 AutoML”“disable AutoML”“no HPO”“plain training”视为本次运行的 automl_policy: off,否则默认 auto。当 automl_policy 为 auto、automl_enabled 为 true 且 schemas/train.schema.json 与 references/spec_template_train.yaml 均已打包时,训练默认经 tao-run-automl 路由;仅当 automl_policy: off 或缺少打包的 train schema/模板时才直接训练,后者应报告 AutoML 已启用但暂不可运行。

多 GPU:由 Lightning 管理,单 Python 进程启动。train.num_gpus 默认 1,train.gpu_ids 默认 [0],train.distributed_strategy 默认 auto;无显式 num_nodes,面向单节点。

硬件:至少 1 块 GPU,推荐 1 块,每块 8GB 以上显存,文字识别模型较轻量。

部署:涉及 TAO Deploy 的 TensorRT 动作(gen_trt_engine、TensorRT 评估与 TensorRT 推理)前,先阅读 references/tao-deploy-ocrnet.md,部署 spec 模板位于该技能的 references/ 文件夹,前缀为 spec_template_deploy_*.yaml。

限制:若缺少打包的训练 schema 与模板,AutoML 无法运行。推理映射应写在本技能说明中,不要写回 config.json,也不要修改生成的 runner 脚本去猜测检查点路径;父模型应通过 parent_job_id 传入。缺失信息:未提供具体安装命令、收费与价格说明。