表情|想不到，那些让我半夜偷偷收藏的沙雕表情包，竟是出自AI之手
点击上方 "Python人工智能技术" 关注，星标或者置顶
22点24分准时推送，第一时间送达
来自：公众号 机器之心 | 编辑：真经君
文章图片
码农真经(ID:coder_experience)第 165 次推文 图源：百度
上一篇：美国要彻底切断华为芯片供应链，中方将强力反击，不排除对苹果、波音下手
正文
要是收藏夹里没几个独家沙雕表情包，当代网民都无法在朋友圈立足。但有一些「妙不可言」的图片，也许是 AI 生成的结果。
一般人很难读出「meme」这个词，它通常译为「模因」，起源于 1976 年，本意为「模仿传递行为」。
但读音和来源或许没那么重要，重要的是每个网上冲浪的人都见过它，甚至沉迷于它。在中文里，它大概被称为「网络梗图」、「沙雕图片」、「表情包」等等……
比如这个：
文章图片
还有这个：
文章图片
这个金发蓝衣的快乐男孩，你难道不眼熟吗？
作为机器学习研究者，你可能还偷偷在收藏夹里保存了这些：
文章图片
这是一张在深度学习社区流传很广的图，表达的是新的预训练方法如何比之前的 SOTA 方法更优越。当然，新 SOTA 方法是层出不穷的，这样的图片收集起来甚至能形成一个完整的系列。
图的创建通常只有两步：选一张时兴的 meme 模版（即图像），然后配上「精妙绝伦」的说明文字，制造出一种别有韵味的幽默感。
.
这种图像、文字和幽默感的奇妙组合，在信息传递方面极具穿透力和感染力，比如当你看到这张图时：
文章图片
虽然这只是一张静态图片，句子也不成句子，但你的眼前已经浮现出了七人共舞的场景。
当代网友人人都用表情包，甚至还会自制。比如：
文章图片
然而，表情包除了自制，还可以由 AI 生成。你可能想不到，某个平平无奇的表情包背后竟然隐藏着「神秘力量」。
今天，我们就来了解一下 meme 自动生成。
meme 自动生成一直是深度学习领域的课题之一。以往的生成方法要么是从一堆 meme 字幕中选择最适合的一个，要么是基于给定图片和模版来生成 meme 字幕，似乎有点不够「便捷」。
近日，来自美国亚利桑那州立大学的研究者对 meme 图生成方法进行了改进提升。在这篇论文中，研究者提出了一种根据给定的输入语句来生成匹配图片的方法。这是一项很有挑战性但有趣的 NLP 任务。
文章图片
论文地址：https://arxiv.org/abs/2004.14571v1
通过对 meme 图生成机制的深入了解，研究者决定将 meme 图生成与自然语言翻译结合起来。
在自然语言翻译工作中，为了将输入的语句转换为目标语言，必须对语句的完整含义进行解码，分析其含义，然后将源语句的含义编码为目标语句。
类似地，此处也可以将源语句的含义编码为图像和字幕对，使之传达与源语句相同的含义或情感，从而将语句翻译成「梗」。
受该方法的启发，研究者提出了一种端到端的编码-解码模型「memeBot」，可面向任意给定的语句生成 meme 图。同时在训练的过程中，研究者创建了首个大型 meme 图字幕数据集。
文章图片
给出句子「I am curiously waiting for my father to cook supper tonight」，memeBot 使用 meme 模板选择合适的图，然后用字幕生成器生成恰当的字幕，从而生成 meme 表情包。
如何用 memeBot 制作表情包？
「memeBot」是一种端到端的神经与概率架构。该模型共有两个组成部分，如下图所示，首先是使用 meme 模版选择模块，根据输入语句确定用哪张图；然后是 meme 字幕生成器，生成合适的字幕。
文章图片
meme 模版选择模块
基于 BERT、XLNet、Roberta 等 trans-former 架构的预训练语言表征被广泛用于自然语言理解任务。这些模型在针对相应任务微调之后，均达到了新的 SOTA 水平。
该研究在 meme 模版选择任务上，使用线性神经网络对预训练语言表征模型进行了微调。在训练过程中，通过使用公
文章图片
将依据给定语句选择正确模版的概率最大化。其中θ_1 表示 meme 模版选择参数，T 表示模版，S 是输入句。
meme 字幕生成
研究者借鉴了降噪编码器的方法，通过破坏输入字幕来训练 meme 字幕生成器，并使用词性标注器（POS Tagger）来提取输入字幕的词性。研究者使用 POS 向量来对输入字幕进行遮罩，仅把名词短语和动词短语作为输入传递给 meme 字幕生成器。
推荐阅读
- 希林娜|陈卓璇抢希林娜依·高台词时,谁注意学员们表情比宫斗戏还精彩
- 现状|黄晓明赵丽颖言语互斗，无意间提到杨颖，黄晓明表情透露感情现状
- 节目中|黄晓明直言喜欢冯绍峰，我唯独注意身旁赵丽颖表情，这波糖好甜
- 表情|赵丽颖与黄晓明互怼，却因冯绍峰败下阵来，表情暴露了一切
- 今日事|赵丽颖与黄晓明互怼，却因冯绍峰败下阵来，表情暴露了一切
- 嘉宾|新手驾到：嘉宾首次科目二模拟考，把车撞坏，吴宣仪表情凝重
- 出奇制胜|王嘉尔脑回路清奇，划拳游戏出奇制胜，王一博表情管理失控
- 赵丽颖|黄晓明怼赵丽颖：我喜欢冯绍峰跟你没关系！颖宝转过头，表情好甜
- 张雨|孟佳观众喜爱排名第一, 镜头扫过张雨绮, 看清表情, 笑到肚子抽筋
- 说好的六点见|一期和二期生快要毕业 | 盘点SNH48那些出色的后起之秀