Shimmy 是一个本地推理服务器，核心目标是让现有 AI 工具通过 OpenAI 兼容接口直接接入本地模型，实现本地、私密、免费的使用方式。项目由 Michael A. Kuykendall 独立维护，采用 MIT 许可证，并明确承诺永久免费。
【用途与定位】 Shimmy 作为服务器层，底层运行于 Airframe（v0.4.0）——一个纯 Rust 的 WebGPU（WGSL）Transformer 引擎。它被描述为约 5MB 的 Ollama 替代方案，强调零依赖、100% Rust、单一二进制文件。用户可将现有的 AI 工具指向 Shimmy 即可工作。
【主要能力】
- OpenAI SDK 兼容：支持聊天补全、文本补全、流式输出以及模型端点，可与使用该接口面的 OpenAI SDK 和工具配合。
- 模型格式支持：原生支持 GGUF，文件按原样加载，无需重新编译、无需按模型硬编码常量；SafeTensors（.safetensors）格式可通过 safetensors_native 加载，但 Airframe 原生的 SafeTensors 完整推理仍属于路线图工作。
- 硬件支持：通过 WebGPU 使用 WGSL 计算着色器，覆盖 NVIDIA、AMD、Intel、集成 GPU 及 Apple Silicon。
- 精度与确定性：采用 F32 累加精度，输出具有确定性（相同模型 + 种子 + 参数产生相同输出）。
- 模型规格自动推导：模型规格从 GGUF 元数据自动推导。
- 扩展上下文：通过 SHIMMY_MAX_CTX 启用 YaRN RoPE 缩放以扩展上下文。
- TurboShimmy INT4 KV 缓存：在测试配置中 KV 缓存内存降低约 7 倍，可在 4 GB GPU 上运行 Llama-3.2-3B。
- 认证体系：12 个模型家族、26 个经认证的模型/量化组合，每个模型通过 MATH + INFERENCE + DETERMINISM 三项认证流程，认证针对具体的模型/量化组合，架构识别不自动等同于认证。
- 启动速度：实测启动时间小于 1 秒（RTX 3060、Shimmy v2.6.0、TinyLlama-1.1B，实际结果因硬件而异）。
- MOE 支持：混合专家模型的 CPU 卸载在 Airframe 路线图中。
【使用方式】 Shimmy 以单一二进制文件形式分发，无需 Python 运行时或 C++ 工具链。具体安装步骤、模型获取、GPU 与显存规划、平台特定构建方式详见 docs/quickstart.md。文档中提及“然后在另一个终端中”运行相关命令。从 v1.x 迁移方面，v2.0+ 已移除 llama.cpp、MLX、HuggingFace 和 RustChain 后端，Shimmy 现为纯 Airframe 产品。因资料未提供完整的安装命令与运行步骤，此处不展开。
【适用场景】 适用于希望以本地、私密、免费方式运行 GGUF 模型的用户，尤其是已使用 OpenAI SDK 或兼容接口的 AI 工具链，希望将请求指向本地推理服务器的场景。也适合不愿引入 Python 运行时或 C++ 工具链、偏好单一二进制部署的环境。
【限制与注意事项】 SafeTensors 的 Airframe 原生完整推理尚未完成，属于路线图工作。MOE 的 CPU 卸载也在路线图中。认证仅适用于明确列出的模型/量化组合。启动性能数据基于特定硬件，实际结果因硬件而异。其余未在资料中说明的功能、收费、价格、平台或步骤，暂未提供。
【许可证与支持】 MIT 许可证。项目通过 GitHub Issues 收集缺陷报告，GitHub Discussions 进行讨论，并有安全政策。提供赞助层级：5 美元/月 Coffee 层级、25 美元/月 Supporter、100 美元/月 Corporate backer、500 美元/月 Infrastructure partner。当前赞助者为 ZephyrCloudIO 和 alistairheath。企业开票可发送邮件至 michaelallenkuykendall@gmail.com。
