用途:在决定要微调或蒸馏之后,改变模型权重以提升特定行为、格式或风格表现。是否该微调、选模型与供应商、MoE 对比 dense 等由 ai-architecture-advisor 判断;RLHF/DPO/GRPO 等后训练归 ai-post-training;评估归 ai-evals。
主要能力:配置 LoRA/QLoRA(rank、alpha、alpha 约定、目标模块、学习率);选择全量微调还是 PEFT;构建 SFT 数据集(chat 模板、提示 token 损失掩码、packing、污染控制);把大教师蒸馏到小学生或在剪枝后恢复质量;诊断 tokenizer 碎片化、fertility 与故障 token;计算微调回本点。
使用方式:默认先做评估再建数据集,按切片留出任务集、同种子基线并加遗忘集;数据先去重并按组划分训练/评估,再扩增;训练与服务使用同一 chat 模板,渲染示例并比对 token id;损失只算助手 token(提示 token 用 ignore_index=-100),packing 不得跨样例边界;默认 LoRA/QLoRA 覆盖所有线性层,记录 rank、alpha、目标模块与有效批量,可训练占比按 Σ r·(d_in + d_out) 实测而非引用百分比;仅在证据充分时按升级顺序提高;蒸馏前确认教师条款允许训练竞品模型并记录许可证;发布门禁在真实服务工件与配置上跑,按切片、schema 合法率、工具调用率与遗忘集对比基线,部署交给 ai-mlops。
限制:微调不适合易变知识或可被检索/更大思考预算解决的问题;注意在提示 token 上算损失、packing 跨边界、近重复样本跨划分、量化后才出现的差异、以困惑度作门禁、把过好分数当成功等陷阱;训练器功能与库维护状态常变,动手前查训练器文档、模型卡与 config.json。本技能不含脚本,成本估算在 ops-cost-optimization,离线提示回归在 ai-evals。