Local model ops 介绍如何把 LM Studio 提供的本地 GGUF 模型接入 Hermes，并处理上下文下限、显存预算、别名和无密钥网页搜索等运行时细节。文中强调：运行时相关细节来自被检查过的安装环境，升级后需要重新核对；历史测量数据只是示例，不保证适用于其他模型或机器。
一、为什么选择本地推理
是否本地运行，应按实测的质量、速度、预算和隐私需求来决定。本地推理可能带来：模型选择自由，可选用适合成人、红队或黑暗虚构类工作的模型（具体行为仍取决于模型与运行框架）；本地推理，只有在辅助组件、回退路由和工具也都是本地或已禁用时，提示词才真正留在本地；不占用托管推理配额，配置完成后可离线推理，但本地服务器仍可能因过载而拒绝请求。托管方案可在 token 效率方面另行比较，不要预设哪条路线更便宜或更快。
二、Hermes 原生支持 LM Studio
lmstudio 是 Hermes 的一等 provider，而不是通用的 OpenAI 兼容端点，因此具备自定义 provider 没有的行为：默认路由为 http://127.0.0.1:1234/v1，可用 LM_BASE_URL 覆盖；无需凭据配置，Hermes 自带占位密钥，绝不要在 lmstudio provider 块中写入真实密钥，因为这里没有需要认证的对象；支持显式预加载，Hermes 会在第一轮对话前自行把模型加载进 LM Studio，设置 model.lmstudio_load_mode: jit 可跳过该步骤，改为由 LM Studio 在首次请求时加载；lmstudio 会刻意绕过磁盘上的上下文缓存，因为本地模型重新加载后其已加载上下文会变化。
三、字典形式的 models 不会收窄列表，而是复制列表
应把 provider 的模型目录交给 discover_models: true，不要在其下写 models: 块。两者不是恰好重叠的替代方案：Hermes 把列表或字符串形式的 models: 视为收窄发现的允许列表，而把字典视为与之并列合并的已保存目录（model_switch.py 中 if isinstance(value, dict): return False）。因此字典形式是新增条目而非过滤，选择器会把模型显示两次——一次来自发现，一次来自声明。其征兆是：在未加载任何模型时看起来正常，因为发现还没有内容可贡献；一旦在 LM Studio 中加载模型就会翻倍。若确实想固定一份字典形式的目录，应设置 discover_models: false。若希望列表跟随当前已加载的模型（经常切换模型时的常见需求），则保持发现开启并删除该块。
随后要检查所有位置的 id，而不只是 model.default。过期的本地模型名往往同时出现在五六处：model.default、provider 自身的 model:、model_aliases.<name>.model，以及每个 moa.*.aggregator.model。据维护者机器 2026-08-26 的测量：共六处引用，没有一处与服务器实际提供的 id 匹配。可用如下命令检查：
Select-String -Path "$env:LOCALAPPDATA\hermes\config.yaml" -Pattern '^\s*model:'
过期名称可能失败，也可能按路由和运行时回退到 fallback_providers。在把意外缓慢或走托管的响应判定为本地推理失败之前，应先检查解析出的端点和日志。
四、上下文下限是最容易出问题的地方
Hermes 通常在启动时强制 64,000 token 的上下文下限。32K 窗口可能在第一轮对话前就抛出硬性 ValueError。在被检查的运行时中，provider 为 lmstudio 且 model.context_length 为显式正整数时，允许更小的窗口；较旧的运行时可能拒绝。更小的窗口需要精简的工具/配置范围和有界结果；应测量压缩频率和任务质量，而不是预设它不可行。当显存允许时，65,536 是经过测试的大上下文目标。正常下限拒绝的是低于 64,000 的值，而不是等于 64,000 的值。应优先为权重加 KV 缓存做预算；在合适时使用显式的本地例外。把选定的上下文保存在 LM Studio UI（或其按模型配置）中，并通过不带显式上下文参数加载来确认它已生效：LM Studio 报告的已加载上下文必须是新值而非旧值。手动带参数加载一次并不能证明什么——下一次冷启动会使用保存的默认值，而 Hermes 的预加载会采用该默认值。
五、别名：固定路由，不要靠猜
存在两种别名形式，二者并不等价。model_aliases 是字典形式，在目录解析之前检查，也是唯一能固定 base_url 的形式：
model_aliases: local: model: <the id LM Studio reports at /v1/models> provider: lmstudio base_url: http://127.0.0.1:1234/v1
model.aliases 是字符串形式（name: provider/model），没有位置放 base_url，且在名称冲突时输给 model_aliases。托管模型用前者，本地模型用 model_aliases。模型 id 就是 LM Studio 对外提供的那个，应从服务器读取，不要从文件名推导。用 hermes model local 切换，用 hermes model <hosted-alias> 切回。
六、容量规划：先权重，再 KV，最后看剩余
应从 GGUF 头部读取真实数字，而不是相信标签——references/gguf-metadata.md 中有解析器和 KV 计算示例。三条经得起硬件检验的规则：权重超过显存必然导致部分卸载，任何上下文设置都改变不了这一点；混合专家模型比稠密模型更能容忍这种情况，因为每个 token 只运行少数专家。KV 缓存随上下文线性增长，并在权重之上额外计费；上下文翻倍可能多花数 GB。在放弃上下文之前先把 KV 缓存量化为 q8_0，它大致能把 fp16 缓存存储减半；应验证任务质量和运行时支持，而不要承诺无损量化。要留出真实余量，占用 94% 的显卡没有空间再开浏览器，更别说游戏；设置 TTL 让模型空闲时卸载。LM Studio 的 --estimate-only 只报告权重，并自标 Confidence: LOW，它不建模 KV 缓存，因此不要用它来估算上下文变更。应实际加载并读取显存占用。
七、免费网页访问，无需 API 账单
模型本身不浏览网页。是 Hermes 通过自己的 web_search / web_extract 工具浏览，并把结果交给正在驱动的模型，本地模型因此才获得互联网能力。这与托管 provider 自带的网页插件机制不同，后者可能按次搜索计费。被检查的 Hermes 版本提供跨公共免费层的无密钥回退环（web.keyless_fallback）和救援重试（web.keyless_rescue）。应检查已安装版本的默认值和当前厂商限制；无密钥不保证无限或永久免费。即使使用本地模型，搜索也会把查询发送给这些外部服务。可通过把可选的 ddgs 包安装进 Hermes 环境，加入 DuckDuckGo 作为与厂商无关的兜底；它完全不需要账号，并在子进程中运行查询，因此挂起的原生调用不会卡死智能体。只有在免费环变得不稳定时才用 web.search_backend 固定它——固定会禁用轮换。要验证模型确实使用了它：问一个答案最近有变化的问题，并检查引用的 URL。本地模型可能正确调用工具却误读结果：一个 35B 模型基于真实搜索结果作答时，报告了一个与来源页面矛盾的过期版本号。管道工作正常不等于答案正确。
八、同一模型供聊天前端使用
一个服务器可以同时供给智能体 CLI 和聊天 UI，但两者对可接受范围的判断不一致。聊天 UI 可以用 32K，而 Hermes 的正常下限会拒绝它；上文提到的显式 LM Studio 例外可能允许精简的智能体配置。如果权重、缓存和并发都允许，就按 65,536 加载，然后测试两个客户端。SillyTavern 有两种行为看起来像连接断开，其实不是：它要求非空 API key，而本地服务器会忽略该 key；推理模型在 Response Length 较小时会返回空消息，因为思考 token 出自同一预算。references/sillytavern.md 中有测量数据、SillyTavern 源码中的确切防护逻辑，以及如何为它提供无密钥网页搜索。
九、检查清单
模型 id 从运行中的服务器读取，而非从文件名猜测；保存的上下文符合显存预算和运行时下限/显式例外，并通过不带上下文参数加载确认；仅本地的意图也要覆盖辅助组件、回退和外部工具；model_aliases 条目固定 model + provider + base_url；任何 lmstudio 配置块中都不写入 API key；显存是在生成时测量，而非空闲时；设置空闲 TTL 让显卡自行释放；网页搜索已针对你自己核对过的来源做端到端验证；聊天前端：响应预算要足够大，以容纳推理 token。