SuperAPI AI 工具集

getitune-running-inference

测试与质量

查看项目

更新于 10-16 02:39

技能介绍

用途:该技能用于使用 getitune(Geti 训练库)运行推理与评估。engine.predict() 返回逐项预测,engine.test() 在测试子集上计算指标。无论 engine 持有 PyTorch 模型还是导出的 OpenVINO/ONNX 模型,调用方式相同,后端由传入 model= 的内容决定。所有操作在 library/ 目录下执行。

主要能力:PyTorch 推理使用模型名或检查点,例如 create_engine(model="efficientnet_b0", data="/path/to/dataset"),随后调用 engine.test() 或 engine.predict()。OpenVINO/ONNX 推理传入导出的 .xml 或 .onnx 路径,会构建 OVEngine 并通过 ModelAPI 加载模型,同样支持 test() 与 predict()。

使用方式:先选择模型入口(PyTorch 用模型名/检查点,部署推理用 .xml/.onnx),确认 create_engine(...) 返回预期引擎类型;将 data= 指向含测试子集的数据集;运行 test() 获取指标或 predict() 获取逐项输出;验证导出时对比 PyTorch 与 OpenVINO/ONNX 指标,允许小幅数值漂移。CLI 示例:getitune predict --data_root /path/to/dataset --model efficientnet_b0;getitune test --data_root /path/to/dataset --model /path/to/exported_model.xml。

适用场景:模型评估、导出模型验证、部署前推理测试。

限制:需在 library/ 目录运行;数据集须包含测试子集;导出模型指标与 PyTorch 可能存在小幅数值差异。相关技能包括导出模型、优化模型(INT8 量化推理)与准备数据集。