江苏龙网

  1. 首页 > 人文 > >

KDD Cup 2020多模态召回比赛季军方案与广告业务应用( 五 )


KDD Cup 2020多模态召回比赛季军方案与广告业务应用
本文插图
图7 广告创意业务中的多模态学习
搜索广告系统分为广告触发、创意优选 ， 点击率预估（广告粒度）等模块 。 其中 ， 创意优选阶段对于每个广告结果有超过十张的图片候选 ， 线上服务的计算量是点击率预估（广告粒度）的十倍以上 ， 对性能有更高的要求 。 而为了缩短耗时而减少模型复杂度又必然导致模型精度的的下降 。
为了平衡模型的性能和效果 ， 我们借鉴了知识蒸馏的思路来处理这一难题 ， 借用了高表达能力的广告粒度预估模型 。 如上图7所示 ， 左侧模型为复杂的广告粒度点击率预估模型 ， 可以作为教师网络；右侧为简单的创意粒度优选模型 ， 作为学生网络 。 学生网络的目标损失函数中 ， 除学生网络自身输出Logit的Logloss以外 ， 还加入了其Logit和老师网络输出Logit之间的平方误差 。 这一辅助Loss能够迫使学生模型的输出和老师模型的输出更接近 。 因此 ， 学生模型可以学得与老师模型更接近 ， 从而达到保持相对简单网络规模的同时、提升精度的目的 。
除此以外 ， 底层共享Embedding的设计 ， 也使得学生模型的底层参数可得到老师模型的训练 。 并且 ， 在提升精度的同时 ， 多模块之间的一致性（例如CTR预估与创意优选）也是系统精度提高的一个关键 ， 在目标与表达学习的Teacher-Student联合训练有利于多阶段的目标统一 。 基于精度提升与多阶段目标的一致性 ， 我们取得线上业务效果较为显著的提升 。
KDD Cup 2020多模态召回比赛季军方案与广告业务应用
本文插图
图8 广告创意业务中的蒸馏学习
总结与展望
KDD Cup是同工业界联接非常紧密的比赛 ， 每年赛题紧扣业界热点问题与实际问题 ， 其中历年产出的Winning Solution对工业界有很大影响 。 例如 ， KDD Cup 2012产出了FFM （Feild-Aware Factorization Machine）与XGBoost的原型 ， 在工业界取得广泛应用 。
今年的KDD Cup主要关注在自动化图表示学习以及推荐系统等领域上 。 自然界的信息常常是多种模态混合的 ， 对多模信息的处理和处理是近年来的一大研究热点 。 同时在工业界的搜索引擎或推荐系统中 ， 涉及到的多模信息处理等 ， 正变得越来越重要 。 特别是随着直播、短视频等业务形态的兴起 ， 多模态学习已变得不可或缺 。
本文主要介绍了KDD CUP 2020的多模态竞赛情况以及美团搜索广告算法团队的解决方案 。 对数据进行充分探索后 ， 我们分析出竞赛数据的三大特点 ， 同时定位了赛题有两大挑战 ， 即训练集和测试集分布不一致和复杂多模信息匹配 。 我们通过多样化负采样策略、蒸馏学习和预训练与Finetune等技术处理了分布不一致问题 ， 并通过细粒度匹配网络处理复杂多模信息匹配问题 ， 两方面思路均取得了效果的显著提升 。
同时 ， 本文还介绍了多模态学习相关技术在搜索广告业务中的实际应用情况 ， 包括创意优选模型中的图片和用户偏好联合学习、蒸馏学习在创意模型中的应用等 。 通过比赛高强度、快频率的迭代 ， 团队在多模态学习方面有了更深的理解 。 在未来的工作中我们会基于本次比赛取得的经验 ， 深入更多的多模态业务场景中进行分析和建模 ， 发挥数据的价值 。
参考文献
[1] Teney, Damien, et al. ''Tips and tricks for visual question answering: Learnings from the 2017 challenge.'' Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
[2] Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. ''Distilling the knowledge in a neural network.'' arXiv preprint arXiv:1503.02531 (2015).
[3] Pennington, Jeffrey, Richard Socher, and Christopher D. Manning. ''Glove: Global vectors for word representation.'' Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014.


推荐阅读


上一篇：篮球|新秀希罗37+6+3，没有人永远20岁，但永远有人20岁

下一篇：奥尼尔|NBA这些人你一定不能惹，否则你会怀疑人生