SuperAPI AI 工具集

nightrun

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:NightRun 是单个 no_std Rust UEFI 应用,启动后直接进入量化本地 LLM 的对话提示,无需 Linux、内核、浏览器或网络栈。模型经内联 CRC-32 校验流式载入内存,加载后存储封存,推理完全在 CPU 上运行(x86_64 用 AVX2+FMA+F16C,Pi 5 用 NEON)。本技能驱动构建→转换→测试→烧录工作流。

主要能力:构建 BOOTX64.EFI 或可启动 nightrun.img;用 nrconvert 将 GGUF 转为 .nrm 容器;在主机上运行/调试推理引擎 nrhost;在 QEMU/OVMF 中启动(cargo xtask run)截图或脚本验证;通过 install.sh 烧录 USB 或树莓派 5 SD 卡;对照 llama.cpp 参考夹具诊断分词器/一致性失败。

使用方式:先克隆仓库并阅读 CLAUDE.md。nr-boot 只能通过 cargo xtask 构建(nightly + -Zbuild-std + 自定义硬浮点目标),禁止 cargo build --workspace / cargo test --workspace,禁止添加 ExitBootServices() 或从 AP 工作代码调用固件服务。按最小可用模式选择:主机引擎用 cargo test 或 cargo run --release -p nrhost;模型转换用 cargo run --release -p nrconvert -- path/to/model.gguf models/model.nrm;固件构建用 cargo xtask build;完整镜像与 QEMU 验证用 cargo xtask image 后 cargo xtask run;真实硬件烧录用 ./install.sh。Qwen 需 6 GB QEMU 内存,其他模型 4 GB。包装脚本 scripts/nightrun.sh 提供 doctor/build/convert/qemu 引导式非破坏性试运行,doctor 只报告前置条件状态。

适用场景:裸机/无 OS 约束下的本地 LLM 启动、模型转换、QEMU 验证与真实介质烧录。

限制:不适用于一般本地 LLM 服务、无关的 Rust 工作区重构,或 x86_64 UEFI / 树莓派 5 以外的交叉编译;仅支持 UEFI,无传统 BIOS。烧录前必须先通过 QEMU 启动,install.sh 拒绝非可移动磁盘并要求逐字输入 FLASH /dev/sdX,不得脚本绕过确认。一致性破坏应视为引擎缺陷,llama.cpp 夹具为准。分词器或格式变更后需重新生成模型。