用途
FreeToken 是一个边缘原生的 Mixture-of-Experts（MoE）推理服务引擎，定位为在个人与消费级硬件上运行前沿规模开放权重模型。它希望把数据中心级的模型服务能力带到用户已有的桌面硬件上，从而在本地运行大规模模型，并提供快速、高效的推理体验。据官方介绍，它能在游戏 PC 上本地运行 290B+ 参数的前沿 MoE 模型，并达到较快的交互速度。
主要能力
- 快速边缘原生运行时：提供高效的 MoE 服务，包含带宽自适应的 CPU–GPU 协同执行（$q^\star$ 策略）、全层双缓冲预填充流式处理、全局 LRU 专家缓存、图兼容执行，以及 FTW 快速权重格式。
- 语义感知缓存：具备面向循环状态与 KV 缓存的语义锚点检查点，能够让智能体上下文编辑（例如工具调用、思考块）避免冗余的上下文重计算。
- 弹性内存管理：支持运行时在专家缓存与 KV 内存之间动态重新分配显存，无需重启引擎或重新加载权重。
- 广泛的 MoE 与生态支持：支持多种前沿开放权重 MoE 模型（如 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2），覆盖不同参数规模与量化格式（如 MXFP4、NVFP4、FP8、BF16），并提供 Anthropic/OpenAI 兼容 API，便于与实际的编码和工具调用智能体（如 Codex、Claude Code、OpenCode、OpenClaw、DeepSeek Harness）无缝集成。
- 多样化的消费级硬件：可扩展运行于消费级笔记本、游戏台式机与工作站 GPU，原生支持 NVIDIA RTX 30、RTX 40、RTX 50 系列 GPU。
使用方式
- 可在 flashml.ai 下载适用于 Windows 或 Linux 的 FreeToken。安装程序会为用户设置好引擎，并提供用于运行模型、聊天以及调优引擎的图形界面。
- 推荐使用 uv 或 pip 安装 FreeToken，也可从源码构建。具体安装命令、支持模型列表以及修复旧 FTW 检查点的说明，官方文档中提供了更详细的页面。
- 官方仓库页面提供了下载、论文、开发者 Slack、社区 Discord、社区微信等入口。
适用场景
- 在个人电脑或工作站上本地运行前沿规模的开放权重 MoE 模型。
- 与编码、工具调用类智能体（如 Codex、Claude Code 等）配合使用，通过 Anthropic/OpenAI 兼容 API 接入。
- 需要动态显存调整、语义感知缓存以避免重复计算的研究或开发场景。
限制
资料未说明具体支持的上下文长度、吞吐量或延迟的具体数值，也未提供收费、价格与平台可用性等细节。实际可运行的模型规模与速度取决于本地硬件配置。FreeToken 使用 Apache License 2.0 许可。若在研究中使用了 FreeToken，官方请求引用其论文。该项目受到 mini-sglang 的启发，并学习或复用了 SGLang、vLLM、FlashInfer、flash-linear-attention、LightLLM、llama.cpp 等项目的设计与代码。
