SuperAPI AI 工具集

Mirai

Mirai 是 Mirai Labs 推出的端侧(on-device)人工智能项目,核心是面向 iPhone、iPad 和 Mac 的 Rust LLM 推理引擎 uzu,并提供 4-bit/8-bit 的 Qwen、LFM 与 Muse-Glimmer 模型,与 MLX、llama.cpp 进行了基准对比。其目标是让端侧 AI 实现交互式、环境式与连续性的体验,以 1000 t/s 的生成速度把模型变成真正的界面层。

访问官网

工具介绍

Mirai 由 Mirai Labs 打造,定位为“端侧人工智能的未来”。其核心理念是:下一代 AI 产品将围绕连续交互构建,而不是孤立的提示词和聊天模板;只有当延迟消失时,这种体验才可能实现。

一、主要产品与能力 Mirai Labs 构建了 uzu——一个面向 iPhone、iPad 和 Mac 的 Rust LLM 引擎。同时提供 4-bit/8-bit 的 Qwen、LFM 和 Muse-Glimmer 模型,并针对 MLX 和 llama.cpp 进行了基准测试。官方称提供的是“让端侧 AI 变得可交互、环境化且连续的模型、运行时与基础设施”。

二、产品理念:从 App 网格到单一界面 官方认为,过去十年每个服务都有一个独立 App,用户为了完成一件事要在数十个界面之间切换(银行、日历、文件、消息等)。下一个十年会把 App 网格折叠为一个界面:一条指令、多个服务、零次 App 启动。助手在单次交互中、在设备本地私密地解决所有任务,例如同时处理 Chase、日历、文件、Uber 等。

三、延迟与性能主张 官方提出“1000 t/s 是模型变成界面的临界点”。他们认为当模型过慢时用户体验就会崩溃;现在的 AI 界面只是聊天框,用户输入请求后等待,而人们不喜欢超过 200ms 的加载状态。用户只看到 1 条回复,模型内部却要生成 100 多个步骤,包括解析、验证、工具调用、推理等。官方主张 AI 应当快到让人完全察觉不到。

四、技术路线:全栈自研 官方表示,要实现 1000 t/s 需要不同的执行栈。交互式 AI 不是单次响应,而是持续循环:解析、验证、排序、渲染,每一步都有延迟预算,任何一步超时都会破坏体验。为此他们从零构建每一层。官方还解释了为何不能直接在设备上跑云模型:端侧不是缩小版的云,而是完全不同的系统。性能来自全栈协同设计。在设备上每个请求都是单独处理的,没有批处理、没有并行,Mirai 针对这一约束在 Apple Silicon 上对模型与运行时进行协同设计,目标是:最小化内存占用、最大化算术强度、最大化神经加速器利用率。

五、定位与愿景 官方将 Mirai 定位为端侧 AI 的前沿实验室:芯片已经就位,20 亿台设备正在等待,软件才是尚未解决的问题,而这正是他们要解决的。

六、限制与未提供信息 以上为官方页面所陈述的内容。关于具体收费方式与价格、模型许可协议、下载与安装命令、支持的具体系统版本、API 接口、评测数据的具体数值等,资料中暂未提供,需以官方后续披露为准。