SuperAPI AI 工具集

axiom-ios-ml-coreml

智能体与模型

查看项目

更新于 10-16 00:22

技能介绍

用途:在 Apple 平台端侧部署自定义机器学习模型,处理 PyTorch 转 CoreML、模型过大、推理过慢、端侧 LLM、模型压缩与量化等场景。适用于自训练模型及图像、音频、传感器处理,Apple 内置智能与简单文本生成建议改用 Foundation Models。

主要能力:一是模型转换,使用 coremltools 将 torch.jit.trace 后的模型通过 ct.convert 转为 CoreML,务必设置 minimum_deployment_target 以启用最新优化。二是训练后压缩,包括调色板化(适合神经引擎,按分组通道)、线性量化(适合 Mac GPU,按块)与剪枝,可组合使用。三是训练时压缩与基于校准的压缩,在训练后精度损失过大时使用。

使用方式:有状态模型为 transformer 的 KV 缓存注册 buffer,转换时传入 ct.StateType,运行时用 model.makeState() 与 prediction(from:using:) 更新;多适配器用 MultiFunctionDescriptor 与 save_multifunction 合并共享权重,通过 config.functionName 加载;iOS 18 起可用 MLTensor 拼接流水线(操作异步,需 shapedArray() 落地);并发场景用异步 prediction 并限制并发数。

限制与反模式:不要在启动主线程加载模型或每次预测都重新加载;不要未经性能分析盲目压缩,应从 8 位逐步尝试并逐步验证精度;不要忽略部署目标版本。模型加载建议延迟异步并缓存,压缩后需逐级测试精度。