用途:该技能面向 Meta Llama 系列开放权重模型(Llama 3 / 3.2 / 3.3),提供微调、部署与提示格式方面的辅助,适合本地与私有化 LLM 部署、量化推理、领域数据微调以及嵌入式与移动端边缘 AI 等场景。
主要能力:涵盖 LoRA/QLoRA 参数高效微调(可配合 Unsloth 或 Axolotl)、vLLM 高吞吐 OpenAI 兼容部署、GGUF(llama.cpp)与 AWQ/GPTQ 量化推理,以及 Llama 3 官方聊天模板格式化。
使用方式:可用 vLLM 启动兼容 OpenAI 接口的服务,例如:vllm serve meta-llama/Llama-3.2-3B-Instruct --port 8000 --max-model-len 8192 --gpu-memory-utilization 0.90。本地推理可用 llama-cpp-python 加载 GGUF 模型,通过 n_gpu_layers=-1 将全部层卸载到 GPU,并用 create_chat_completion 传入 messages。微调方面可用 peft 的 LoraConfig 与 get_peft_model 构建适配器,target_modules 常设为 q_proj、v_proj、k_proj、o_proj。提示格式建议用 tokenizer.apply_chat_template 生成,遵循 <|start_header_id|>...<|end_header_id|> 结构。
限制与注意事项:需先在 Meta/Hugging Face 申请模型访问权限并提供 token,否则会出现 403 无法访问仓库;生成重复时需配置停止标记 <|eot_id|> 与 <|end_of_text|>;vLLM 显存不足时应降低 --gpu-memory-utilization 或 --max-model-len;消费级 GPU 上不建议运行未量化的 16 位模型;需注意 n_ctx 上下文长度设置。具体收费、价格与平台支持情况暂未提供。