SuperAPI AI 工具集

privatelm-cross-platform-llm-client

智能体与模型

查看项目

更新于 10-15 23:24

技能介绍

PrivateLM 是一个基于 Flutter 的跨平台 AI 聊天客户端框架,用于构建可在本地推理与云端 API 之间切换的隐私导向 LLM 应用。

用途:面向需要在移动端运行本地大模型、同时保留云端回退能力的开发者。

主要能力:本地端侧推理通过 llama.cpp 执行 GPU 加速的 GGUF 模型(Android/iOS);云端支持 OpenAI、Anthropic Claude、Google Gemini、Kimi(Moonshot AI);多模态支持本地 Qwen2-VL 与云端模型的文本和视觉输入;离线优先架构,数据通过 Hive 本地持久化;自动检测设备 RAM/GPU 并配置推理参数;集成 Firebase Cloud Messaging 后台服务;跨平台(Android 完整支持,iOS 通过 Metal,Web 仅云端);持久化聊天会话与任务管理。

使用方式:在 Flutter 项目的 pubspec.yaml 中添加依赖(get、hive、dio、http、flutter_background_service、flutter_local_notifications、firebase_core、firebase_messaging、device_info_plus、path_provider、image_picker、permission_handler 等),开发依赖含 hive_generator、build_runner。Android 需在 build.gradle.kts 中设置 minSdk = 28、compileSdk = 34、ndkVersion = "25.1.8937393",abiFilters 仅 arm64-v8a;iOS 在 Podfile 中设置 platform :ios, '12.0' 并引入 MetalKit。初始化时依次调用 Firebase.initializeApp()、Hive.initFlutter()、HiveService.init(),再通过 Get.put 注册 DeviceInfoService、SettingsController、ModelController、ChatController。

适用场景:需要端侧隐私推理的移动 AI 聊天应用、本地与云端混合推理、多模态对话。

限制:Web 平台暂不支持本地推理,仅云端;本地推理依赖 llama.cpp 桥接;具体模型下载地址、API 计费与价格资料暂未提供。