用途
本技能用于选择并运营本地或自托管的 LLM 工作流，适用于隐私、离线访问或低摩擦实验比大规模集群服务更重要的场景。它覆盖：面向笔记本、工作站和小型自托管环境的本地运行时选择；面向团队的本地或私有聊天界面；单二进制或最小依赖的模型打包；在完整训练或集群级服务之前的轻量适配路径；以及本地栈成为产品依赖之前的评估与升级规则。
主要能力
技能提供运行时与界面选择的快速参考：快速运行本地模型默认用 Ollama；共享自托管聊天 UI 用 Open WebUI；免安装演示或便携二进制用 llamafile；Apple Silicon 设备端推理用 MLX（mlx-lm）；面向非技术用户的 GUI 模型浏览与切换用 LM Studio；Windows/企业 SDK 优先的本地推理用 Microsoft Foundry Local；纯 CPU、单板机、手机或浏览器场景用 llama.cpp（GGUF）、OpenVINO、ONNX Runtime、MLC-LLM。
技能还给出本地与托管 API 的判断框架：本地通常在数据驻留或离线要求、稳定流量摊薄硬件成本、延迟敏感任务、以及本地可运行模型达到质量门槛的窄任务上占优；托管 API 通常在前沿级推理或长上下文、突发/低量流量、或本地运维开销高于 API 账单时占优。技能提醒：前沿规模的开源权重模型（数百亿总参数的 MoE 发布）无法在单张消费级 GPU 或单张 80GB 卡上以可用量化运行；本地推理可行不等于本地训练或微调可行。
使用方式
默认工作流为：先定义真实约束（隐私、离线、成本上限、硬件上限或演示便携性）；选择匹配该约束的运行时或 UI 层；在更大范围推广前固定模型 ID、量化选择与提示词/评测集；决定该栈仅用于本地还是将成为产品或团队工作流的一部分；若需要更强的服务、路由或监控，转交相邻技能而非过度拉伸本地优先设置。
操作规则包括：保持模型 ID 与量化选择显式且带版本；将本地和自托管端点视为敏感服务，而非随意暴露到互联网的默认项；在把本地模型换入面向用户的工作流前，用小型真实评测集测量质量；将运行时选择与产品集成分开。
硬件适配门槛要求先估算再下载：权重 ≈ 总参数 × 每权重比特数 / 8，加上真实上下文下的 KV 缓存，加上运行时开销；MoE 模型需要为其总参数准备内存，活跃参数只预测速度。参数取自模型卡，bpw 取自实际量化文件，再与可用内存比较（Apple Silicon 上为统一内存中可被 GPU 寻址的份额）。需在目标机器上测试确切的模型产物、量化、上下文分布、并发以及工具或 schema 契约，记录峰值常驻内存、提示与生成吞吐、p95 首 token 时间、持续温度或降频行为、输出质量回归以及取消后的恢复情况。只有当完整工作负载在有余量且存在具名回退方案时才批准本地运行。
适用场景
适合需要隐私或离线访问的本地模型实验、团队私有聊天界面、便携演示、Apple Silicon 设备端推理、非技术用户的 GUI 模型比较、Windows/企业 SDK 优先推理，以及纯 CPU、单板机、手机或浏览器推理。
限制
技能列出已知陷阱：把笔记本原型当作工作流生产就绪的证明；模型 ID、量化级别和系统提示词保持隐式；在没有明确威胁模型和访问控制的情况下暴露 Ollama、Open WebUI 或临时反向代理（Ollama 默认绑定回环且 API 无认证，绑定 0.0.0.0 必须是有意选择并置于认证代理、防火墙或 VPN 之后）；假设精致的聊天 UI 能解决治理问题；用轻量本地适配替代评估纪律；使用已弃用的 vLLM 引擎特性或旧教程中的标志；将厂商加速数据当作中立基准；假设投机解码在高并发下有帮助（收益集中在 batch size 1）；按活跃参数估算 MoE 模型；在未确认加速器被使用的情况下运行 NPU 推理。
常见反模式包括：在决定哪个约束真正重要之前安装多个本地运行时；把本地模型当作托管模型的直接替代而不重新检查工具使用、结构化输出和长上下文行为；在消费级硬件上交付团队工作流却没有容量包络、备份路径或重启流程；仅以“本地”作为栈选择的理由。
升级边界：需要集群级服务或吞吐调优时转交 ai-llm-inference；需要完整微调策略、数据集设计或评估时转交 ai-llm；需要在应用中实现产品 UX、流式聊天或结构化输出时转交 software-ai-integration；需要部署、监控或运营治理时转交 ai-mlops。
参考与模板
技能附带参考文档：runtime-selection.md（运行时、UI 与打包选择规则）、desktop-runtime-landscape.md（Ollama vs LM Studio vs Microsoft Foundry Local 详细比较）、adaptation-and-packaging.md（轻量适配、便携交付与评估交接规则）、model-sizing-matrix.md（规模公式、内存类别、带宽受限解码速度、Apple Silicon 与独立 GPU 说明、本地 vs API、本地训练与推理可行性差异）、quantization-format-table.md（GGUF Q4_K_M/Q5_K_M/Q8_0、AWQ、GPTQ、FP8、EXL2、KV 缓存量化、投机解码、NPU/加速器层级、决策树）、small-model-tier-table.md（按参数计数的小模型层级）、edge-cpu-optimization.md（纯 CPU、单板、手机与浏览器推理）。模板包括 ollama-setup-recipe.md 和 openwebui-deployment-recipe.md。