SuperAPI AI 工具集

iblai-local-llm

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:让 vibe Next.js + Tauri 应用由用户本机模型(Ollama 或 Windows Foundry Local)提供聊天服务,而非托管后端。当传入的 localLLMProps 中 isAvailable 为 true 且 ollamaStatus.model_installed(或 foundryStatus.has_models)报告模型就绪时,SDK 自动启用本地推理。

主要能力:定义应用必须实现的契约,包括 React 层调用的 Tauri #[command] 名称、监听的 Tauri 事件名、React hook 返回结构,并指向安装流程、磁盘布局与失败模式的参考文档。技能仅提供 assets/nextjs/types/tauri.ts(公共 API 常量与 TypeScript 接口),不含参考实现,本地 LLM 支持在现有应用中为闭源。

使用方式:需先通过 /iblai-ops-build 接入 Tauri shell(src-tauri/ 已存在),安装 Rust 工具链与 Tauri 系统库,并通过 /iblai-auth 配置 ibl.ai providers。将 types/tauri.ts 放入项目,在 src-tauri/src/ 实现 TAURI_COMMANDS 中的命令(如 install_ollama、check_ollama_status、download_model、ollama_chat_stream 等)并注册到 invoke_handler。SDK 提供 useModelDownload(),其输出重命名为 on* 回调后传入 localLLMProps;该 prop 由 UserProfileDropdown / UserProfileModal 读取,而非 Account 或 Chat。聊天路由自动完成,无需逐界面接线。

适用场景:macOS、Linux、Windows x64 默认用 Ollama(默认模型 Phi-3 Mini);Windows ARM / Copilot+ PC 用 Foundry Local(默认 qwen2.5-0.5b)。

限制:不要给 SDK 组件添加自定义样式。Linux 上 install_ollama 需 root,非 root 应用可能静默失败。服务端渲染应用不能用默认静态导出,需保留 output: 'standalone' 并让 Tauri dev 指向本地 Next 服务。下载建议走守护进程 HTTP API 而非 CLI。内存告警应取 max(ram_total, vram_total),因 nvidia-smi 在集成显卡、Apple 统一内存与 AMD/Intel GPU 上返回 0。其余细节暂未提供。