SuperAPI AI 工具集

local-llm

智能体与模型

查看项目

更新于 10-16 08:41

技能介绍

用途:在本地部署大语言模型,并将其接入 Home Assistant,用于隐私优先的语音助手与家居自动化。

主要能力:支持 Ollama 与 LocalAI 两种本地推理后端;提供生成、对话与流式接口调用示例;可配置 Home Assistant 的 Ollama 对话代理与 home-llm 自定义组件;支持通过函数调用让模型输出 JSON 动作来控制设备;给出模型选型、量化格式与性能优化参考。

使用方式:Ubuntu/Debian 可用 curl -fsSL https://ollama.com/install.sh | sh 安装,并以 systemctl 启动服务;也可用 Docker Compose 部署 Ollama 或 LocalAI。拉取模型示例:ollama pull llama3.2:3b。API 默认地址为 http://localhost:11434,LocalAI 为 http://localhost:8080/v1。Home Assistant 中可在 configuration.yaml 配置 ollama 与 conversation 平台,或通过 HACS 安装 home-llm。自定义模型可用 ollama create ha-assistant -f ha-assistant.modelfile 创建。

适用场景:本地语音助手、智能家居设备控制与状态查询、LLM 驱动的自动化流程。

限制:资料未提供具体收费、价格与效果数据;实际性能取决于硬件显存与所选量化格式,显存不足时需改用更小量化或更小模型。