用途:为 Apple 平台(iPhone、iPad、Mac)构建私密、端侧运行的 AI 功能,指导在 Apple Foundation Models、Core ML、MLX Swift、llama.cpp 之间做框架选型、部署与性能优化。
主要能力与选型:Foundation Models 适合 iOS 26+/macOS 26+ 且启用 Apple Intelligence 的设备,用于文本生成、摘要、实体抽取、结构化输出(@Generable)与工具增强生成,无需 API Key 或网络请求,但不适合复杂数学、代码生成、事实准确性任务及旧系统。Core ML 用于部署自训练模型(视觉、NLP、音频),可用 coremltools 从 PyTorch/TensorFlow/scikit-learn 转换,支持 Neural Engine 优化与量化、调色板化、剪枝。MLX Swift 面向 Apple Silicon 上运行开源 LLM(Llama、Mistral、Qwen、Gemma),追求最高持续吞吐,适合研究与原型。llama.cpp 使用 GGUF 格式,适合跨平台(iOS+Android+桌面)推理与广泛设备兼容。
使用方式:Foundation Models 需先检查 SystemLanguageModel.default.availability 与 supportsLocale,再创建 LanguageModelSession 并调用 prewarm();会话有状态、一次只处理一个请求,需检查 isResponding 并串行化访问。Core ML 转换前须调用 model.eval(),使用 mlprogram(.mlpackage)格式,转换后需用固定样本做源模型与 Core ML 模型的一致性校验,再压缩并在真机分析。MLX Swift 通过 LLMModelFactory 加载 mlx-community 模型,需设置 Memory.cacheLimit 并在后台或内存压力时卸载模型、调用 Memory.clearCache()。多后端应用应通过 coordinator actor 串行化模型访问。
适用场景:端侧文本生成与摘要、图像分类与目标检测、自定义 NLP 分类、语音音频模型、开源 LLM 本地推理、跨平台推理等。
限制与注意事项:iOS 上内存不得超过总 RAM 的 60%;MLX Swift 与 llama.cpp 必须在真机验证,模拟器无法测试 Metal 相关推理与性能;不得将不可信用户内容放入 instructions;需为不支持设备提供降级 UI;避免使用已弃用的 neuralnetwork 格式。具体价格、收费与平台支持细节资料未提供。