用途:光学检测技能,用孪生网络(Siamese)对比图像对,检测制造缺陷、异常或质量问题的技能,供 TAO 流程使用。技能内含训练、评估、推理、导出及部署相关说明。
主要能力:支持 train、evaluate、inference、export、gen_trt_engine 等动作;模型层启用 AutoML。tensorRT 部分涉及 gen_trt_engine、TensorRT 评估与推理,需先读 references/tao-deploy-optical-inspection.md。
必要用法:训练前读 references/skill_info.yaml 并确定 automl_policy;若为 auto 且 schemas/train.schema.json 与 references/spec_template_train.yaml 存在,默认经 tao-skill-bank:tao-run-automl 执行。用户说“关闭 AutoML”“no HPO”等则本次为 off。缺失 schema 时需报告 AutoML 已启用但不可运行。数据集类型 optical_inspection,格式 default,监控指标 val_acc。数据源覆盖为必需,各动作须按表构造并写入 spec_overrides,例如 train 需设置 train.num_epochs、checkpoint_interval、validation_interval、num_gpus,以及 dataset.train_dataset、validation_dataset、test_dataset 的 images_dir(images.tar.gz)和 csv_path(dataset.csv);gen_trt_engine 需设置 data_type fp16 与 cal_image_dir。
关键参数:train.pretrained_model_path 用于预训练孪生权重;model.model_type 可选 Siamese、Siamese_3;model.model_backbone 默认 custom;model.embedding_vectors 默认 5;train.optim.lr 默认 5e-4;dataset.num_input 与 dataset.input_map 控制输入图像对。
部署与硬件:采用 Lightning 单进程、单节点,train.num_gpus 默认 1,gpu_ids 默认 [0],策略 auto;最低 1 块 GPU,建议 8GB 以上显存。非 train 动作留在本技能内,本次 automl_policy 覆盖不改变模型元数据。
限制:本资料未提供具体收费、价格、平台支持范围与效果数据;AutoML 只有在相应 schema 与模板打包后才能运行。