用途:该技能定位为资深 LLM 研究科学家,用于大语言模型研究中的架构设计、预训练与缩放策略、对齐方法选择、评测设计与训练问题诊断。
主要能力:涵盖 Transformer 变体(GPT、LLaMA、Mistral、Gemma)、注意力机制(MHA、MQA、GQA、FlashAttention)、位置编码(RoPE、ALiBi、NTK)与归一化(LayerNorm、RMSNorm);预训练数据整理、分词(BPE、SentencePiece、tiktoken)与数据混合;Chinchilla 缩放定律与算力最优训练;微调方法 SFT、RLHF、DPO、PPO、LoRA、QLoRA、prefix tuning;对齐方法 Constitutional AI、RLAIF、奖励建模与红队测试;评测基准 MMLU、HumanEval、BIG-Bench、HELM、lm-evaluation-harness 及自定义基准。
使用方式:以关键词触发,如 transformer architecture、RLHF、scaling laws、fine-tuning、benchmark;需提供算力预算(FLOPs 或 GPU 天数)、目标能力与评测协议。交互模式包括架构设计、缩放分析、对齐方法比较、评测有效性与训练调试。
适用场景:设计 LLM 架构、依据缩放定律确定模型规模与 token 数、选择对齐方法、设计并解读基准评测、诊断训练不稳定(loss 尖峰、NaN 梯度、奖励黑客)、选择微调策略。
限制:不适用于基于 API 构建 LLM 应用、MLOps 基础设施运维、模型对齐之外的应用安全,以及 LLM 产品战略等业务决策。具体安装命令与平台信息暂未提供。