『』CVPR 2020 | 看图说话之随心所欲：细粒度可控的图像描述自动生成( 四 )

本文插图
图5. 基于自动采样的ASG生成多样化图像描述示例
生成的描述有效地按照给定ASG进行句子生成，由于ASGs的多样性使得我们的模型能产生显著多样化的图像文本描述。
3. 消融实验。
为验证ASG2Caption模型中不同部件的贡献，我们在表3中提供了大量的消融实验结果。所提出的不同模块均对性能具有帮助。

本文插图
表3. ASG2Caption模型各组件贡献的消融实验。
4、总结
现有大部分图像描述工作都是被动地生成句子，完全由训练集中数据的样式来决定可能生成的句子的样式，不能与用户交互自由控制，而且往往多样性也很低。
因此，在这篇论文中，我们探索了一种细粒度的控制信号ASG ，用于控制生成的图像描述应该关注图像中的哪些物体、关系、描述的详细程度等，并提出ASG2Caption模型基于图控制生成图像描述。通过这种细粒度控制，我们不仅可以实现更好的交互性、可解释性，同时也使得生成的描述更具有多样性。
文章代码已开源：https://github.com/cshizhe/asg2cap

『』CVPR 2020 | 看图说话之随心所欲：细粒度可控的图像描述自动生成( 四 )

推荐阅读

国际纵横：被盟友痛批是现代海盗！特朗普耍无赖：就是不希望其他人得到口罩

『小熙聊』峡谷哪个法师位移强? 不是火舞, 她: 无限位移，王者荣耀:

唐朝发生了什么重要的事?唐朝因为什么而灭亡

养心闲人|禅宗的棒喝法：船子和尚是如何逼着夹山禅师开悟的？

金融|消费金融公司中报业绩整体缩水巨头逆势布局

射门中国|明年或可披国足战袍，高拉特归化资格问题迎转机

晚婚|对职场女性而言，早婚早育和晚婚晚育哪个更利于女性的职业生涯发展？

黄磊|黄磊孙莉一家：人淡如菊的背后

动物园|虎妈妈不喂奶动物园找狗喂虎崽：拉布拉多犬变身“奶妈”

金丝玉是什么玉？值钱吗？

珠海斗门：“登记患者为255人”系工作人员操作不当

安倍|安倍卸任即“拜鬼”，在暗示什么？

北晚新视觉网|惊动英国战机护航，一场虚惊！客机上一无主手机

感情星|如果中年女人在婚姻里想要保住自己的魅力，原创

live照片是什么意思，实时照片是什么意思？

「高云翔被澳洲房产商起诉」高云翔被澳洲房产商起诉发生什么事了？

「3DMGAME」喜加一！《杀手》首季完整版PS英u002F澳服免费领

南北馋美食老干妈和鱼豆腐这样一搭配，你别说，味道还真不错

新华社|资源税法9月1日起施行，对企业生产有何影响？

上海市城市管理行政执法局网站|青浦城管：居民楼竞成爬虫宠物仓库？白鹤城管立即介入查处