SuperAPI AI 工具集

foundation-models-on-device

通用与其它

查看项目

更新于 10-16 04:56

技能介绍

用途:在 iOS 26+ 应用中使用 Apple 设备端语言模型构建 AI 功能,如文本生成、总结、从自然语言提取结构化数据、自定义工具调用,以及流式输出结构化响应;数据不离开设备,可离线工作。

主要能力:基础会话通过 LanguageModelSession 进行单轮或多轮对话,可用 instructions 设定角色、任务、风格和安全策略,结果经 response.content 获取。引导式生成用 @Generable 定义 Swift 类型并请求结构化输出,@Guide 支持 .range、.count 和 description 语义约束。工具调用通过实现 Tool 协议,让模型调用自定义代码执行搜索、计算等任务,并可用 LanguageModelSession.ToolCallError 处理工具错误。快照流式传输用 streamResponse 配合 PartiallyGenerated 类型,为 SwiftUI 实时 UI 提供逐次完整的局部状态快照。

使用方式:创建会话前先检查 SystemLanguageModel.default.availability,处理 deviceNotEligible、appleIntelligenceNotEnabled、modelNotReady 等不可用情况;多轮对话复用会话以保留上下文;发送新请求前检查 isResponding,避免并发请求;注意 4,096 Token 限制,大型输入需分块。

限制:设备端模型受 4,096 Token 上下文窗口约束;模型可用性取决于设备资格与系统设置,不可假设始终可用;会话每次只处理一个请求;结构化输出应使用 @Generable 而非解析原始字符串;复杂多步逻辑建议拆分为多个针对性提示词。具体性能、收费或定价信息暂未提供。