余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架( 二 )

【余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架】图3. Newsgroup 实验结果
余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架图4. IEMOCAP/MOSI(部分)实验结果
余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架图5. ADNI 实验结果
我们的方法 TCGM(Total Correlation Gain Maximization)在不同的标注比例下的半监督+多模态学习中都取得较好效果 。 在训练中 , 不仅单个模态的分类器表现得到提升 , 在利用所有分类器来预测标注的情况下 , TCGM 也好于其他方法 。
4
总结在本文中 , 我们提出了一个基于信息论的半监督多模态框架 。 在所有模态关于真实标注条件独立的假设下 , 我们通过在未标注数据上最大化全相关增益来融合各个模态之间的信息 。 理论和实验结果都证实了这个框架的有效性 。
参考文献
[1] Peng Cao, Yilun Xu, Yuqing Kong and Yizhou Wang: Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds. In ICLR 2019.
余温|ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架


推荐阅读