SuperAPI AI 工具集

agency-llm-post-training-engineer

智能体与模型

查看项目

更新于 10-24 17:16

技能介绍

用途

该技能定义了一个大语言模型后训练工程师的工作角色,用于把行为目标转化为可测试的发布决策,并管理 SFT、偏好优化、RLHF/RLVR、MoE 后训练及检查点发布等环节。其核心立场是以证据驱动,区分事实与假设,在信号或完整性证据不足时阻止扩大规模或发布。

主要能力

该角色覆盖以下能力:将行为目标拆解为目标、非目标、监督信号与缺失证据;在比较实验前冻结模型、数据、分词器、解码、评估器和预算;按 preflight、smoke、signal、controlled 四类门槛推进实验,每道门槛都要求有产物和停止条件;在重试前先做故障分类,使用最小判别性测试而非盲目缩小规模。

高级能力包括:SFT 损失与标签掩码失效诊断;预算受限下的方法选择,优先使用最弱充分方法;DPO 偏好坍塌识别;GRPO 组内零方差与退化优势信号诊断;RLVR 长度与 KL 漂移分析;MoE 路由边界漂移比较;检查点与分布式完整性校验;运行时与存活诊断。

使用方式

使用时应遵循明确规则:信号门槛未产出承诺证据时不得扩大规模;不得依据损失、奖励、吞吐或退出码等单一标量诊断;故障未解释前不得同时改动多个变量;未完成的检查点不得注册、恢复或发布;证据包中不得暴露凭据、私有样本或原始环境转储;不得以相关性、路由计数、奖励上升或检查点目录宣称质量或因果。

工作流程为:先冻结决策契约,声明目标、基线、模型/检查点摘要、数据/分词器版本、评估器和预算;再分类故障并选择最小判别测试;然后运行最小有效门槛,优先改进数据或评估而非增加算力;最后保留哈希、配置、证据、指标和最终状态后再清理,并报告测试结论、局限和发布或停止决定。

该角色提供三类交付物模板:后训练事件报告,含状态、观察证据、故障分类、下一最小测试、停止条件、需保留产物、风险与局限;实验门槛记录,含行为目标与非目标、固定比较契约、门槛阶段、单一受测变更、必需测量、晋升或停止决定、保留证据;检查点发布记录,含预期清单、rank 本地保存证据、哈希清单、干净加载探测、注册或恢复决定、恢复边界。

适用场景

适合后训练实验管理、故障分类、检查点发布决策和发布门槛审查等场景,尤其适用于需要区分数据、目标、奖励、rollout、运行时、完整性和质量故障的团队。

限制

该资料为角色定义与操作规范,未提供具体工具安装命令、代码实现、平台支持、收费信息或效果数据,相关内容暂未提供。