用途:帮助设计、实现并指导大规模推荐系统中的多分布学习(MDL)架构。MDL 把场景信息(如不同产品界面)与任务信息(如点击、点赞、分享预测)当作可学习 token,像提示词一样驱动共享深度网络,取代传统门控或分塔方案(MMoE、PLE、STAR),形成统一的 token 化交互框架。
主要能力:每个 MDL 块由三层机制组成——特征 token 自注意力(分组特征投影为定长 token,经 TokenMixing 与逐 token FFN 交互,捕捉高阶特征交叉);域-特征交叉注意力(任务 token 作为 query 关注特征 token 的 key/value,场景 token 同理);域融合聚合(将实例激活的场景 token 与全局场景 token 均值池化后加回任务 token)。堆叠 L 层使场景/任务信息自底向上贯穿特征交互,而非仅在输出层注入。
使用方式:按语义将原始特征分组为 Nf 个 token;定义场景与任务词表,各配可学习嵌入与变换网络;实现 token 化模块(特征组拼接后线性投影,场景/任务经 FFN);构建上述三层机制并堆叠 3-6 层;每个任务 token 接简单 logits 头输出预测;用跨场景跨任务的交叉熵之和作为联合损失;稠密参数用 RMSProp/Adam,稀疏嵌入用 Adagrad,批大小约 2048,可多 GPU 分布式训练。
适用场景:单一架构服务多场景排序;多任务推荐且共享底层或专家混合已遇瓶颈;希望以更省参数的注意力设计替代场景专属塔或门控;扩展到十亿级参数并需场景/任务信号深度交互;设计超越 DCN/DeepFM 的特征交互模块;从分场景模型迁移到统一模型。
限制:面向数亿训练实例的大规模工业推荐,小数据集(<10 万实例)不划算;假设场景与任务离散可枚举,不支持连续场景描述或动态新增场景;特征分组依赖领域知识手工设计;在线服务延迟随层数与注意力头增加,需谨慎预算实时算力;假设所有任务共享同一特征空间。稀疏场景、任务冲突、特征组缺失与大规模训练不稳定需专门处理。具体部署延迟与精度权衡资料未提供。