lilbee 是一个把整套本地 AI 栈装进单个可执行文件的工具：它自行运行和管理本地模型，并把这些模型用作可对话的搜索引擎，针对文件、笔记、代码和网页给出带来源引用的回答。
用途 lilbee 面向消费级硬件和不想维护基础设施的用户。它不是一个供外部应用连接的模型服务器，而是一个内置模型运行器的本地搜索引擎。主要用途有两个：一是把文档和保存的网页建成库，然后在终端里阅读并就其提问；二是作为代码的参考层，将项目、依赖和 API 文档指向它，让编码智能体基于真实内容回答并给出 文件:行号 引用，而不是猜测函数名。
主要能力
- 自运行模型：内置基于 llama.cpp 的模型管理器与多 GPU 调度，可浏览 Hugging Face、下载模型、赋予角色（聊天、嵌入、视觉、重排），并在 Metal / Vulkan / CUDA 上运行。模型过大无法放入单卡时，可用 gguf-parser 与 tensor-split 自动跨卡切分，也可手动固定。
- 检索式问答：在本地文件上构建索引，答案引用来源行，可点击跳转到具体文件的对应行；当答案不在库中时，lilbee 会直接说明，而不是编造。
- 格式与语言：支持 90 多种格式、150 多种语言，覆盖文档、扫描页、电子表格、电子书、网页和源代码。
- 分块策略：散文与代码采用不同切分方式，以保留每块含义。
- 搜索排序：对每个结果按其回答问题的程度进行排序，提供 50 多个可调参数并配有合理默认值。
- 网页抓取：可将网站抓取进本地库。
- 多接口：终端 TUI、CLI、MCP 服务器、HTTP REST API、Python 库。支持 MCP 的编码智能体可调用 lilbee_search / lilbee_add 获取带引用的片段，并可通过 lilbee_settings_set 动态调整设置。
- 兼容已有环境：无需 Ollama 或 LM Studio，也可指向已有安装继续使用其中模型，这些模型会出现在同一选择器中。
使用方式 安装后运行 lilbee 即可。首次运行可从目录中选择适合本机硬件的聊天模型，然后索引文件、搜索并聊天，全程无需离开 TUI。设置界面可调整所有检索参数（搜索深度、距离阈值、重排器、分块等）。也可通过 CLI 和 HTTP API 进行脚本化或无头运行。检索默认值已较合理，几乎所有设置都可通过环境变量或 config.toml 调整，多数也可从 TUI、MCP 与 HTTP API 调整。
安装路径分两种：
- 自包含打包版（推荐起点）：独立二进制，以及 Homebrew / AUR / Nix / Docker / Flatpak / Snap / Scoop 包装版，自带 Python 运行时、llama.cpp、模型引擎与可选扩展，无需另装组件。代价是下载体积较大，首次自解压有少量冷启动开销。
- 通过 pip 或 uv 安装进自己的 Python（3.11 至 3.14）：开发者路线，作为库安装，模型引擎与索引是需单独指定的扩展。
平台差异
- NVIDIA：默认 Vulkan 构建可用，另有更快的 CUDA 构建，可避开 Windows 上 iGPU + dGPU 的 Vulkan 加载器崩溃；CUDA 运行时已打包，只需 NVIDIA 驱动。
- AMD：默认 Vulkan 构建可用，另有更快的 ROCm 构建（仅 Linux，支持 MI100、MI200、MI300、MI350、RDNA2、RDNA3、RDNA3.5 APU、RDNA4）；ROCm 7 不为 MI50 提供 GEMM 内核，故该卡需用 Vulkan 构建。
- 较旧 CPU（早于 AVX2）：正常构建会在启动时崩溃，可用 lilbee-compat 构建。
- Linux 运行时：x86_64 的 wheel 与二进制自带 Vulkan 加载器，但 GPU 检测仍依赖系统加载器，缺少 libvulkan1 时会按仅 CPU 处理。
适用场景
- 把个人文档与保存网页建成可提问的私有库。
- 为编码智能体提供基于真实项目、依赖与 API 文档的引用式参考层。
- 在自有消费级硬件上运行本地模型，不依赖云、无令牌预算、文件不出本机。
限制与注意事项
- lilbee 处于活跃的 Beta 开发阶段，PyPI 上每次发布均为预发布，安装必须使用 --pre（或 uv 的 --prerelease=allow）；接口、命令名与磁盘格式可能在 Beta 之间变化。
- 最低要求：Apple Silicon Mac，或 2013 年及以后的 64 位 Intel/AMD CPU（更旧 CPU 见上文），或 ARMv8 Linux 机器；8 GB 内存，2 GB 磁盘。
- 开发路线中 [engine] 扩展实质必需，否则首次需要模型时会报错并提示对应命令。
- 扫描 PDF / 图片 OCR 为可选项，需要 Tesseract 或 GGUF 视觉模型，暂未提供更多细节。
- 隐私方面：文件、索引、嵌入、提问与回答都留在本机，不发送遥测、无需账号；仅当你为某云提供商设置 API 密钥时，才会联系该云，先校验一次密钥，之后只将你的问题发送给你选定的云模型。
- 具体收费、价格、平台授权等未在资料中提供，暂未提供。
