用途
uzu 技能用于操作 trymirai/uzu——Mirai 的 Rust 原生本地推理引擎,面向受支持的 Apple Silicon 或 CPU 导向的源码目标。适用于主机与工具可用性检查、使用已发布的 mirai CLI、固定到已审阅提交的源码检出、本地聊天或 OpenAI 兼容服务、本地基准测试,以及模型资源与许可证决策。
该技能不是通用本地 LLM 路由器:若请求点名 llama.cpp 或 LM Studio,应转至对应产品的技能;若涉及任意 GGUF 转换,应转至转换专用技能。
主要能力与使用方式
选择路径前先运行无副作用的辅助脚本:
python3 .agent-skills/uzu/scripts/preflight.py --json
从已安装的技能根目录运行:
python3 "$SKILLS_ROOT/uzu/scripts/preflight.py" --json
仅当存在本地检出时,才添加 --repo PATH --expect-commit d76d468a1898cacc9c4920accf8f5ff099967107。该辅助脚本从不运行 Rust、Mirai、模型、网络或服务命令,runtime_verified 保持为 false。
在 Apple Silicon macOS 上,当 mirai 已可用且用户已确认模型时,优先使用已发布的 mirai 路径;否则仅在具备 cargo 与 rustc、源码位于已审阅提交、且对任何构建或下载副作用有明确批准时,使用源码路径。
执行该分支前应阅读 references/upstream.md,其中包含固定的命令、基准测试、目标、模型/许可证与资源矩阵,是精确命令与引用的权威来源。
源码操作与模型操作应分开。cargo tools setup 可能安装 rustup、uv、pnpm、目标与 Metal 工具链,绝不应作为探测手段调用。首次 mirai 或源码 CLI 运行可能下载检查点,须先获得同意并评估磁盘/RAM 或统一内存容量。
服务默认保持绑定回环地址(127.0.0.1)。发起一次 chat-completions 请求前先检查 /v1/models。仅在具有明确的安全目标与控制措施时才暴露其他接口。
适用场景示例
- “Uzu 能在这台 Mac 上运行吗?”运行辅助脚本,报告操作系统/架构以及 mirai 与源码 cargo/rustc 的可用性,并将 Metal/运行时激活标记为未验证,不安装任何内容。
- “从固定检出服务我已下载的模型。”使用 --repo 与 --expect-commit 预检,然后按参考中的源码服务命令操作,保持 localhost 并记录模型/主机/提交元数据。
- “对两个模型做基准测试。”使用参考中的 bench 命令与固定任务文件及本地路径,仅报告实测的特定主机结果,不将目录页数字当作可复现证据。
- “记录 Uzu 对 CUDA/GGUF/LM Studio 的支持。”拒绝不支持的前提,并将点名产品或转换工作流转至他处。
最佳实践
- 将预检结果与运行时证据区分:ok 表示离线检查通过,不代表模型已加载、Metal 已加速或服务已应答。
- 在下载或再分发权重前,固定确切的 Uzu 提交,并厘清模型仓库/模型卡、LICENSE 与基础模型许可证。
- 每次运行记录模型标识、修订/量化、主机、Uzu 提交、任务文件、生成设置与输出路径。
- 内存受限时一次只加载一个模型/会话;将近似大小作为预算提示,并重新核对当前模型卡元数据。
- 按顺序排查:检出/提交与工具可用性、目标/后端、模型标识/格式,最后是回环端点。不要通过更换推理引擎来掩盖 Uzu 的限制。
限制
需明确说明平台不确定性:Apple Silicon macOS 是主要 Metal 路径;Intel macOS、Linux、Windows、WASM 及其他非 Apple 源码目标为 CPU 导向和/或标记为进行中。预检不能声称 CUDA、Linux GPU 加速或生产就绪。Uzu 的自定义模型格式是硬边界:模型卡的许可证适用于其权重,Uzu 的 MIT 源码许可证不会重新许可这些权重,也不隐含任意 GGUF 兼容性。
参考资料
- 固定操作参考(命令、端点形态、基准元数据、平台矩阵、模型/许可证矩阵与来源引用)
- 固定仓库 README:https://github.com/trymirai/uzu/blob/d76d468a1898cacc9c4920accf8f5ff099967107/README.md
- 固定平台矩阵:https://github.com/trymirai/uzu/blob/d76d468a1898cacc9c4920accf8f5ff099967107/.config/platforms.toml
- Mirai 文档聊天快速入门:https://docs.trymirai.com/quick-start/chat.md