用途:在 Apple 平台上用 Foundation Models 框架实现端侧 AI 功能,例如文本摘要、分类、抽取结构化数据、工具调用与流式生成,也可用于排查上下文溢出、生成缓慢、输出异常等问题,并帮助判断何时应改用服务端大模型。
主要能力与模式:
- 基础会话(LanguageModelSession)支持多轮对话与 transcript 保留,用 instructions 定义角色、用 prompt 传入用户输入。
- @Generable 结构化输出:通过约束解码保证结构正确,避免手写 JSON 解析;可用 @Guide 设置描述、数值范围、数组数量与正则。
- 流式生成:streamResponse 配合自动生成的 PartiallyGenerated 类型,逐步更新 UI。
- 工具调用:实现 Tool 协议让模型获取外部数据,如 WeatherKit、MapKit、EventKit、Contacts,避免模型幻觉。
- 动态 schema 用于运行期结构。
必要用法:先检查 SystemLanguageModel.default.availability,仅在可用设备与受支持区域使用;不要在 instructions 中拼接用户输入;长生成用流式;必须处理 GenerationError 的上下文超限、护栏违规、不支持语言三类错误。
适用场景:摘要、抽取、分类、内容打标、外部数据整合、长内容生成。
限制:模型为约 30 亿参数,不适合世界知识与复杂推理,此类需求应改用 ChatGPT、Claude 等服务端模型;上下文窗口约 4096 tokens(含输入与输出);不支持数学计算;仅在启用 Apple Intelligence 的设备与区域可用。相关诊断技能为 axiom-foundation-models-diag,完整 API 参考为 axiom-foundation-models-ref。