SuperAPI AI 工具集

apple-on-device-ai

智能体与模型

查看项目

更新于 10-16 05:52

技能介绍

用途:在 Apple Silicon 上架构并部署私有的端侧机器学习与本地大语言模型,重点是后端框架选型、架构设计、模型转换与 LLM 运行时。

框架选型路由:Apple Foundation Models(iOS 26+)适合文本生成、结构化输出与工具调用,无需在应用内打包权重,但需支持 Apple Intelligence 的设备;Core ML 适合计算机视觉、音频、分类与自定义 transformer,Neural Engine 卸载效果与功耗最优,但计算图固定,自回归文本生成较慢;MLX Swift 适合自定义开放权重 LLM/VLM(如 Llama、Mistral、Gemma),可完全控制架构与生成参数,但会占用用户存储与统一内存;llama.cpp 为跨平台 C++ 运行时,支持 CPU 回退与最广泛的量化格式(GGUF),功耗高于 Neural Engine 管线。

必要用法:Foundation Models 可用 LanguageModelSession 发起请求,let session = LanguageModelSession(),再用 @Generable 从提示中提取结构化数据。Core ML 侧用 Python coremltools 转换 PyTorch 与 Hugging Face 模型并保存为 .mlpackage。MLX Swift 用 LLMModelFactory 加载开放权重模型。

压缩优化:可通过 coremltools.optimize.coreml 做 4-bit(int4)或 8-bit(int8)量化以降低内存带宽瓶颈;也可用调色板化(palettization)与剪枝。

常见错误与限制:把超大 LLM 打进应用包会导致审核被拒或下载缓慢,应改用 Background Assets 或系统 Foundation Models;忽略设备内存限制,4-bit 7B 模型需超过 4GB RAM,在 6GB/8GB 统一内存设备上可能被 OOM 终止;自回归 LLM 未使用 KV-cache 会使生成随步数指数级变慢;持续 GPU/CPU 推理数分钟内会触发热降频,长时负载应走 Neural Engine。审查时应确认框架匹配延迟/功耗/存储约束、优先系统 Foundation Models、在最低支持真机上测内存、量化至 4-bit 或 8-bit,并用 MLComputePlan 或 Instruments 验证 Neural Engine 调度。Swift 侧 Core ML 推理与模型缓存属于 coreml 技能范畴,本技能只负责后端选择、架构、模型转换与 LLM 运行时。具体价格与平台支持细节暂未提供。