SuperAPI AI 工具集

apple-on-device-ai

智能体与模型

查看项目

更新于 10-15 23:34

技能介绍

用途:帮助开发者在 Apple 设备上选择、部署并优化端侧机器学习模型,涵盖 Apple Foundation Models、Core ML、MLX Swift 和 llama.cpp 四类方案。

主要能力与选型:Foundation Models 适合 iOS 26+/macOS 26+ 且启用 Apple Intelligence 的设备,用于文本生成、摘要、实体抽取、结构化输出与短对话,无需 API 密钥、网络或模型下载;Core ML 用于部署自定义训练模型(视觉、NLP、音频),可通过 coremltools 从 PyTorch、TensorFlow、scikit-learn 转换;MLX Swift 用于在 Apple Silicon 上运行 Llama、Mistral、Qwen、Gemma 等开源 LLM,追求最高吞吐;llama.cpp 用于 GGUF 格式的跨平台推理。

必要用法:使用 Foundation Models 前必须检查 SystemLanguageModel.default.availability,并处理不可用分支;会话有状态、单会话一次仅一个请求,可用 session.prewarm() 预热;结构化输出用 @Generable 与 @Guide 约束;工具通过 Tool 协议注册。Core ML 新模型应使用 mlprogram(.mlpackage),PyTorch 追踪前须调用 model.eval(),并显式设置 minimum_deployment_target。MLX Swift 需限制内存占用(iOS 不超过总 RAM 60%)、设置 GPU 缓存上限并在后台卸载模型。

适用场景:端侧文本生成与分类、图像识别、自定义模型部署、开源 LLM 本地推理、多后端回退架构。

限制:Foundation Models 不擅长复杂数学、代码生成与事实准确性任务,且不支持 iOS 26 之前设备;护栏始终启用不可关闭;MLX 需要真机 Metal GPU,模拟器不支持;模型大小需匹配设备内存。具体收费、价格与平台细节资料未提供。