SuperAPI AI 工具集

export

部署与运维

查看项目

更新于 10-16 08:13

技能介绍

用途

该技能用于将 PyTorch 模型导出为 ExecuTorch 所需的 .pte 格式。当需要转换模型、将模型下沉(lowering)到边缘设备,或生成 .pte 文件时使用。

主要能力

  • 提供从 PyTorch 模型到 .pte 文件的基础导出流程。
  • 覆盖模型导出、边缘转换与下沉、序列化写出等关键步骤。
  • 针对特定模型提供专用导出脚本。
  • 提供导出过程中的调试手段。

使用方式

基础模式如下:

from executorch.exir import to_edge_transform_and_lower
from torch.export import export

exported = export(model.eval(), example_inputs)
edge = to_edge_transform_and_lower(exported)
with open("model.pte", "wb") as f:
    f.write(edge.to_executorch().buffer)

模型专用脚本:

模型 脚本
Llama examples/models/llama/export_llama.py
Whisper examples/models/whisper/
Parakeet examples/models/parakeet/export_parakeet_tdt.py

调试

  • 草稿导出:export(model, inputs, strict=False)
  • tlparse:TORCH_LOGS="+dynamo,+export" python script.py 2>&1 | tlparse

相关指南

torch.export 基础——涵盖 torch.export.export()、动态形状、严格模式与调试。

适用场景

适用于需要将 PyTorch 模型部署到边缘设备、生成 ExecuTorch 可执行文件,或对 Llama、Whisper、Parakeet 等模型进行导出的场景。

限制

资料未提供关于支持平台、性能表现、收费方式或版本兼容性的具体说明,暂未提供。