Local AI 是一款面向本地 AI 模型实验的原生应用，旨在简化整个实验流程，无需复杂的技术设置，也无需 GPU。它免费且开源，使用 Rust 后端，因此内存高效且体积紧凑，在 Mac M2、Windows 和 Linux .deb 上均小于 10MB。
用途： Local AI 主要用于在本地离线、私密地实验 AI 模型。它提供本地 AI 管理、验证与推理能力，适合希望在没有 GPU 或不想进行复杂配置的情况下体验 AI 模型的用户。
主要能力：
- CPU 推理：支持 CPU 推理，可自适应可用线程。
- 量化支持：支持 GGML 量化 q4、5.1、8、f16。
- 模型管理：将 AI 模型集中在一个位置进行跟踪，可选择任意目录；支持可恢复的并发下载、基于使用频率的排序、目录无关、嵌套目录、自定义排序和搜索。
- 摘要验证：通过 BLAKE3 和 SHA256 摘要计算确保下载模型的完整性；提供已知良好模型 API、许可证与使用标签、BLAKE3 快速检查、模型信息卡。
- 模型推荐：提供模型推荐功能。
- 推理服务器：两步即可启动本地流式服务器——加载模型，然后启动服务器；提供流式服务器、快速推理界面、推理参数和远程词汇表。
使用方式： 根据官方资料，使用推理服务器时，只需加载模型，然后启动服务器即可。模型管理允许用户选择任意目录来存放模型，并支持下载、排序和搜索。摘要验证功能可对下载的模型进行完整性校验。
适用场景： 适合需要在本地离线、私密环境中实验 AI 模型的用户，尤其是没有 GPU 或希望避免复杂技术设置的人群。也适合需要管理多个模型、验证模型完整性、或快速启动本地推理服务器的场景。
限制与即将推出的功能： 当前版本支持 CPU 推理，GPU 推理和并行会话为即将推出的功能。其他限制暂未提供。
