用途:解释 X 推荐系统所用的 Phoenix 机器学习模型架构,回答关于嵌入、Transformer、预测方式与模型细节的问题。
主要能力:说明推荐流水线的两个阶段。第一阶段检索采用双塔模型,用户塔编码用户特征与互动历史得到归一化嵌入,候选塔为语料库中所有帖子预计算嵌入,通过点积相似度与近似最近邻搜索把数百万候选缩小到数千。第二阶段排序使用基于 Grok-1 的 Transformer,对检索出的候选打分并预测多种互动行为。
模型配置要点:PhoenixModelConfig 包含 TransformerConfig、emb_size、num_actions(18 种行为)、history_seq_len 默认 128、candidate_seq_len 默认 32、product_surface_vocab_size 默认 16 以及 HashConfig。输入 RecsysBatch 含用户哈希、历史帖子/作者哈希、历史行为、历史产品界面,以及候选帖子/作者哈希与候选产品界面。
嵌入方式:使用多个哈希函数把 ID 映射到嵌入表,用户、帖子、作者各哈希 2 路,优点是内存固定、可处理新实体、通过碰撞平均降低影响。各实体类型有 reduce 函数把哈希嵌入拼接后投影到维度 D。历史行为以带符号向量编码,做过为 +1、未做为 -1;产品界面用标准嵌入查表。
注意力与输出:最终输入为用户、历史、候选的拼接序列,采用候选隔离注意力掩码,候选之间不能互相注意,只能注意用户与历史,从而保证打分不受批次组成影响并可并行打分。输出形状为 [B, num_candidates, num_actions],每个值为对数概率,可用 probability = exp(log_prob) 转为概率。
限制:资料仅描述模型架构与代码结构,未提供训练数据、性能指标、部署方式或使用步骤;相关技能包括 /x-algo-engagement、/x-algo-scoring、/x-algo-pipeline。