推荐技术面对千万级推荐，如何压缩模型最高效？这是腾讯看点新框架( 二 )
本文插图
分解为两个低阶矩阵
【推荐技术面对千万级推荐，如何压缩模型最高效？这是腾讯看点新框架】
本文插图
， 其中
本文插图
d_j是第j个块的因式分解维度（也称为秩） 。 由于高频率的推荐项应具有更高的表达能力 ， 因此随着簇的索引增加 ， 减小对应的d_j 。 相应地 ， 每个推荐项的嵌入表示与通过原始的 look-up 操作的嵌入表示是不同的 。 给定推荐项标签 ID x ， 用下列的等式来表示其嵌入向量 为：
本文插图
其中
本文插图
表示第j个块的第g行的嵌入向量 ，
本文插图
。 通过这种因式分解 ， 能将输入嵌入层的参数量从
本文插图
减少到
本文插图
。 当
本文插图
， 输入嵌入层的参数量会明显减少 。 上图 (c) 阐述了这个分解过程 。
基于分块自适应分解的输出 softmax 层
在输出 softmax 层 ， 文中指出直接的在输出 softmax 层运用与输入层相同的策略会造成模型性能降低的问题 。 为了解决这些问题 ， 通过二层树结构来构造这些块 ， 其中每个树节点代表一个簇 。 上图 (d) 显示了输出 softmax 层的分块嵌入的范例 。 文中在输出 softmax 层中使用与输入嵌入层类似的分块嵌入的聚簇配置 。 一个主要的不同是输出层的第一个块矩阵被扩展为
本文插图
, 其中n-1表示叶子节点所属的父类的数量 。 第一个簇的标签集合被扩展为
本文插图
, 其中k_1+1到
本文插图
对应于第 2 个到第 n 个簇的父类标签 。 在输出 softmax 层的其它的块矩阵为
本文插图
, 其中
本文插图
。 对比于原始的 softmax 层 ， 该方法能将输出 softmax 层的参数量从
本文插图
减少到
本文插图
。
论文中提到 ， 在训练过程中 ， 对于给定上下文向量
推荐阅读
- |荷兰企业推出全新半导体技术，并承诺对华投资！中国光刻机获突破
- 辰宜科技|区块链技术与应用专题分享交流会
- 吴铭园|华为概念机设计图首次曝光，居然采用屏下摄像头技术
- 数码与拖拉机维修技术|经典性价比机型再升级：TS-453Dmini 2.5GbE NAS拆解体验
- |《5G技术助力国产机器人完成全球首场骨科实时远程手术》公示材料
- 投资|舍弃现金奶牛，面对群狼环伺，好想你49亿卖掉未来
- 兰州新闻网|创新驱动 情报先行——记兰州市科学技术情报研究所
- 速回收CC|选对不选贵，6月手机购买推荐
- 最极客网|原创 中兴推5G视频手机，衰颓之后还能凭技术回归主流吗？
- CSDN|牛！2020年，这项技术将获得99000000000元人民币“国家领投”！