忆梦|如何减少噪声标签的影响？谷歌提出一种鲁棒深度学习方法( 二 ) 【新智元导读】近日

最后，研究人员提出了三个有关网络标签噪声的新发现：
1 深度神经网络可以更好地概括网络标签噪声
2 接受网络标签噪声训练后，深度神经网络可能不会先学习模式
3 当网络经过微调时， ImageNet架构会在嘈杂的训练标签上进行概括
针对以上发现，作者对在噪声数据上训练深度神经网络提出了建议：
【忆梦|如何减少噪声标签的影响？谷歌提出一种鲁棒深度学习方法】
处理噪声标签的一种简单方法是微调在干净的数据集（如ImageNet）上预先训练的模型。预训练的模型越好，则可以更好地推广到下游的训练任务上。