SuperAPI AI 工具集

coreml-optimizer

部署与运维

查看项目

更新于 10-15 17:35

技能介绍

用途:为 Apple CoreML 框架优化机器学习模型,适用于将 PyTorch/TensorFlow 模型转换为 CoreML、压缩模型体积与推理延迟、面向 Neural Engine 调优、排查推理慢或计算单元问题,以及量化、调色板压缩、剪枝和 Instruments 性能分析。

主要能力:通过 MLModelConfiguration.computeUnits 选择 .all、.cpuAndNeuralEngine、.cpuAndGPU、.cpuOnly;用 coremltools.optimize 做 8 位/4 位量化、palettization 与剪枝,并可组合压缩;提供 Neural Engine 能力查询、MLComputePlan 预执行分析、MLOptimizationHints、MLState 有状态模型与 outputBackings 内存优化;给出张量形状建议与阻塞 Neural Engine 的算子清单。

使用方式:安装 pip install coremltools(最新 4 位特性可用 pip install coremltools==9.0b1)。转换时使用 convert_to="mlprogram"、minimum_deployment_target=ct.target.iOS16、compute_units=ct.ComputeUnit.ALL。量化示例:cto.coreml.OptimizationConfig(global_config=cto.coreml.OpLinearQuantizerConfig(mode="linear_symmetric", dtype="int8", granularity="per_channel")),再调用 cto.coreml.linear_quantize_weights。Swift 侧用 MLModelConfiguration 设置 computeUnits 并加载模型。

适用场景:iOS/macOS 端侧模型部署、体积与延迟优化、ANE 定向、精度下降排查、全流程性能剖析。

限制:资料未提供具体收费、价格与平台支持范围;部分 API 需 iOS 17.4 或 iOS 18 以上;同一 MLModel 实例需单线程或串行队列使用;动态形状、TopK、Scatter、GatherND、自定义层等可能回退 CPU/GPU;压缩可能带来精度损失,需在真机验证。