微信开发工程师带你一文了解推荐领域最新工作( 五 ) _微信开发

文章插图

中，就可以得到多个向量特征。这些特征进一步用来选出前 N 个备选商品，用于推荐系统的下一阶段的 ranking 工作。
与其他工作的联系与区别：

YouTube DNN：两种方法都采用了 deep learning 的优势，通过深度学习可以获取较好的高阶特征表示。但是 YouTube 仅仅使用一个向量来表示用户行为，本文中的 MIND 使用多个向量来表示一个用户。所以 MIND 可以看做 DNN 的一种泛化模型。
DIN：二者都利用到了用户的不同的性却特征。DIN 仅仅使用了商品层面上的注意力机制，简单来说就是对商品 ID 的一些相似度计算；而本文利用了动态路由算法产生的兴趣网络来提取兴趣层面的信息。DIN 将 ranking 阶段融合在一起，而 MIND 实际上不是端到端的，他通过将两部分拆解开来，为整个系统提供了更好的稳健性。

模型评估：

文章插图

CTR 预测：

文章插图

胶囊网络的兴趣提取示例：

文章插图

从第一个表格我们可以看出，所有与 Multi-interest 结合的模型对比起原始模型或者其他模型都得到了更好的效果。利用多兴趣网络确实可以得到不同客户的多种兴趣表征，能够筛选出更加有效的待推荐商品，从而提升推荐系统的准确度。在天猫的数据上，这种提升更加明显，因为大多数的人在购物时候的兴趣是由多种类型的。对于不同数据之间客户群体兴趣类别个数的比较，可以根据每个数据最好的超参数 K 的比较结果来确定。
在 CTR 预测上，MIND 也有明显的效果提升。
对于多兴趣特征的提取有效性，可以从图 5，图 6 中分析。图 5 中，上下两块代表了两个 user，每一行代表针对每个 user 训练得到的 interest，横轴上代表的是 user 的挑选商品行为，可以很明显的看出每种 Interest 所关联的商品类型是高度相近的，这反映了 interest capsules 得到的 multiple interest 都具有较好的聚合性。图 6 则表示在系统服务阶段，根据第一个 user 的 interest 来进行待推荐商品的选择。可以看到其中的商品相似度是很高的，最后一行代表的是 Youtube DNN 的商品相似度，对比发现，multi-interest 分出的多种兴趣效果十分明显。
3. Feature Engineering：AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
在整个推荐系统中，特征工程方面最常遇到两个问题：

输入特征的维度过高而且稀疏性很强；
有效的点击率预测都要基于高度准确的交叉特征，人为地构造交叉特征是一件十分耗时耗力的操作。

因此，寻找一种高效的特征提取方法是提升推荐系统表现效果的关键步骤。本文利用了深度学习的抽象特征提取的优势，通过 Multi-head attention 层进行高阶的特征组合。这种方法对于数值型特征与分类特征都很适用。
之前的工作也有考虑过交叉特征的文章，有的将全部的特征进行外积展开得到一组非常高稀疏性的特征，这类特征在进行模型训练的过程中十分容易造成过拟合的现象。寻找有意义的高阶交叉特征一般都是需要有经验的人进行人为构建，但是穷举出所有潜在的可能性是很难的，所以需要借助深度学习类的方法来进行有效的特征的低维表示学习。
深度学习类的方法虽然可以提取出高阶的特征，但是也有很大的局限性:

全连接神经网络已经被证实过在学习交互特征的过程中效率很低；
对提取出来的特征很难具有解释性；

本文提出的这种 AutoInt 方法就是针对上述两个问题对深度学习网络进行调整加以改进。
首先将数值变量与分类变量都进行低维嵌入，得到一个低维空间的向量表达，也是为了解决分类变量与数值变量之间没有良定义的内积这类算子的问题。随后将低维嵌入的特征向量输入到本文提出的 Interacting Layer，目的是为了得到具有交互性的新的特征。在每一层的 Interacting Layer 里，每一个特征都会通过 multi-head attention 机制和其他特征进行变换组合，这就是产生交叉特征的原理。而且由于 multi-head attention 可以把一个特征向量映射到多个不同的空间中，因此在经过 multi-head attention 变换后的特征的组合方式也是具有多种形式的。在经过一层的 Interacting Lyaer，特征经过了一阶的交叉组合，多次叠加 Interacting Layer 就可以得到高阶复杂的特征交叉组合。对于特征的解释性，由于注意力机制模块主要是利用变量之间的相似度，因此高度相似的特征进行组合时很容易得到较好的解释。