机器之心重磅！百度多模态模型ERNIE-ViL刷新5项纪录，登顶权威榜单VCR( 三 )

本文插图
模型分析
百度研究者通过构建多模态完形填空测试实验，验证了 ERNIE-ViL 更强的跨模态知识推断能力：给定一组图片 - 文本对齐数据，分别将文本中的物体、关系或属性词掩码，让模型根据上下文和图片进行预测。实验表明，在对文中表述细粒度语义的词（物体、属性、关系）进行预测时， ERNIE-ViL 表现更为优越，准确率分别提升 2.12%、1.31% 和 6.00% 。

本文插图
同时，论文中给出了完形填空测试的若干实例，从下图中可以看出， ERNIE-ViL 往往能够更精确地预测出被掩码的物体、属性和关系，而基线模型往往只能预测出原有词的词性，但是很难准确预测出具体的词。

本文插图
结语
听懂、看懂、理解环境是人工智能的重要目标之一，实现该目标的首要任务是让机器具备多模态语义理解能力。此次百度提出的知识增强多模态模型 ERNIE-ViL ，首次将场景图知识融入多模态模型的预训练过程，在视觉问答、视觉常识推理等 5 个任务上刷新纪录，为多模态语义理解领域研究提供了新的思路。除了上述公开数据集效果突破外， ERNIE-ViL 技术也逐步在真实工业应用场景中落地。未来百度将在该领域进行更深入的研究和应用，使其发挥更大的商业和社会价值。

机器之心重磅！百度多模态模型ERNIE-ViL刷新5项纪录，登顶权威榜单VCR( 三 )

推荐阅读

熙攘体育|国乒名将却惨遭无视，无惧张本智和！刘国梁钦点两人可与其抗衡

清爽可可焦糖核桃葡萄干面包

描写儿童的诗句还有什么?带有儿童的诗句

薛之谦■歌手的首张专辑名见人品？薛之谦自恋，蔡徐坤有野心，毛不易朴实

「中国质量万里行」【315】“中国移动”疑似变相诱导客户消费

期货|国内商品期货早盘开盘纯碱涨超2%

前是什么意思(前在文言文中的意思)

『茅台』周末利好来袭，A股下周2950点稳了？

九游网|不朽之旅怎么加腕力腕力及各属性提升技巧

什么是市场营销专业，市场营销专业就业前景分析

qq3d厘米秀怎么关闭厘米秀怎么关闭

微微一笑很倾城,电视剧,偶像电视剧|日本将翻拍国产剧《微微一笑很倾城》

沏出壶好乌龙茶的沏茶工序步骤

『秀外娱乐』柳岩一身红裙惊艳全场，柳岩和沙溢一起参加节目拍摄

海武爱科技“海南版”iPhone手机出来了，问题来了，国产手机还卖得动？

鹿晗|初代四大流量如今已塌半壁江山了，目前杨洋还能打，鹿晗处于佛系养老中

饭圈dbq是什么的缩写饭圈dbq什么意思

薰衣草的繁殖方法详解

升级又后悔？56万5G用户退回4G网，原因就是5G的3大缺点

减肥食谱表格一周，健康瘦身营养食谱?