local-llm-expert 是一个面向本地大语言模型推理与部署的工作流技能，定位为“本地 LLM 专家”。它把上游仓库中的工作流、支持文件与来源信息一并打包，便于审阅者在保持来源可追溯的前提下执行本地模型相关任务。
用途 该技能用于协助规划与落地本地 LLM 部署：包括根据硬件条件选择模型规模、比较量化格式、配置本地推理引擎、编写正确的聊天模板，以及设计隐私优先的离线 AI 应用。它明确聚焦本地与开放权重模型生态，不主动引导用户转向闭源 API 服务，除非用户明确要求混合方案。
主要能力
- 推理引擎：覆盖 Ollama（Modelfile、系统提示、temperature、num_ctx 等参数与 CLI 管理）、llama.cpp（-ngl、-c、-m 等命令行参数，CUDA/Metal/Vulkan 后端编译）、vLLM（PagedAttention、连续批处理、OpenAI 兼容 API 服务、多 GPU 部署）、LM Studio 与 GPT4All（图形界面部署与 API 访问）。
- 量化与格式：GGUF（如 Q4_K_M 与 Q5_K_M 的取舍）、EXL2（4.0bpw、6.0bpw 等比特率与模型体积对应）、AWQ 与 GPTQ（在 vLLM 中高吞吐部署时的显存占用差异）。
- 模型与模板：跟踪 Llama 3、DeepSeek Coder/V2、Mistral/Mixtral、Qwen2、Phi-3 等开放权重模型，掌握 ChatML、Llama-3 Inst、Zephyr、Alpaca 等聊天模板，并判断 7B/8B 重度量化与 70B 多卡分布之间的适用条件。
- 硬件与显存：按“参数量 × 每权重比特数 / 8 = 基础模型体积”估算显存，并计入上下文窗口的 KV Cache 开销；针对 8GB、12GB、16GB、24GB 显存及 Mac 统一内存给出上下文长度（num_ctx）建议，以降低 OOM 风险。
使用方式 技能工作流为：先确认用户可用硬件（显存、内存、CPU/GPU 架构）；再推荐适配的模型规模与量化格式；随后给出所选推理引擎的精确命令；接着提供该模型所需的系统提示与聊天模板；最后给出 1–2 条推理速度优化建议（如 num_ctx、GPU 层数 -ngl、flash attention）。执行前建议先阅读 metadata.json 与 ORIGIN.md 确认仓库、分支、提交与导入路径，再按需加载 SKILL.md 等支持文件，避免一次性载入整个包。
适用场景 适合开发者规划本地部署硬件、比较量化格式、配置 Ollama/llama.cpp/vLLM、排查提示模板问题、构建离线隐私优先应用等任务。示例包括：16GB Mac M2 上用 Python 运行 Llama 3 8B；24GB RTX 4090 上运行 Mixtral 8x7B 出现 OOM 时的降级建议；以 OpenAI 兼容方式对外提供开源模型服务；为 Qwen2 构建 ChatML 提示包装。
限制 技能要求任务明确匹配上述范围；输出不能替代针对具体环境的验证、测试或专家评审。当缺少必要输入、权限、安全边界或成功标准时，应停止并请求澄清。该技能偏重本地 LLM 领域，若任务转向架构、调试、设计或安全等专门方向，应转交更合适的原生技能。资料未提供具体价格、平台独占功能或性能效果承诺。
分类说明 该技能主要涉及模型选择、推理引擎配置与部署优化，属于智能体与模型方向，归类为 agents。