余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架( 二 )
【余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架】图3. Newsgroup 实验结果
图4. IEMOCAP/MOSI(部分)实验结果
图5. ADNI 实验结果
我们的方法 TCGM(Total Correlation Gain Maximization)在不同的标注比例下的半监督+多模态学习中都取得较好效果 。 在训练中 , 不仅单个模态的分类器表现得到提升 , 在利用所有分类器来预测标注的情况下 , TCGM 也好于其他方法 。
4
总结在本文中 , 我们提出了一个基于信息论的半监督多模态框架 。 在所有模态关于真实标注条件独立的假设下 , 我们通过在未标注数据上最大化全相关增益来融合各个模态之间的信息 。 理论和实验结果都证实了这个框架的有效性 。
参考文献
[1] Peng Cao, Yilun Xu, Yuqing Kong and Yizhou Wang: Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds. In ICLR 2019.
推荐阅读
- 穿搭|2020秋季出门这样穿西装,你就是街上最亮的仔
- 基尔摩斯|2020年中报最有料的瓜,一文看尽
- 2020年底|加码非油业务中石化开跨境闪购店
- 在开放合作中共赢——跨国公司看2020年服贸会
- 文汇报|AI“神器”上岗无人车搬行李,同济大学迎2020级本科新生
- 科技日报|2020服贸会:一场超乎想象的科技盛景
- 2020年|德方纳米:松禾创投解除质押331万股
- 大河客户端|布局战队,导师各有妙招,《2020中国好声音》收视率蝉联第一
- 封面新闻|7年投入近7000万 鼓励8253人 阿里巴巴发布2020年度正能量报告
- 央视新闻|试卷自动批改、标注……在线教育企业成2020服贸会教育服务展主力军
