江苏龙网

  1. 首页 > 人文 > >

暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO( 二 )


5、RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr
暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO微调一个预训练好的深度卷积网络 ， 可帮助从大型数据集学到的知识转移给目标任务 。 当目标任务数据集较小时 ， 虽然这种方法可以提升效果 ， 但由于反向传播带给深层卷积层的更新较小 ， 迁移学习得到的模型经常被限制在预训练模型附近 。 百度AI在该论文中提出一种应用于迁移学习的简单策略RIFLE ， 来加深反向传播 ， 通过在微调过程中周期性地重新初始化全连接层 。 RIFLE给卷积网络的深层带来有意义的更新 ， 提升低层次特征的学习 ， 同时在整个学习过程中 ， 全连接层随机初始化后很容易重新收敛 。 实验结果表明使用RIFLE显著提升了迁移学习效果 ， 且超过已有的同类方法如Dropout、Dropconnect、Stochastic Depth, Disturb Label、Cyclic Learning Rate ， 在多个数据集上效果提升0.5%-2% 。 百度AI还通过经验学习和消融学习进一步证明RIFLE给网络深层带来了有意义的更新 。
6、On the Noisy Gradient Descent that Generalizes as SGD
暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO随机梯度下降(SGD)的梯度噪音被认为在深度学习的强泛化能力中扮演重要角色 。 先前研究中 ， 确认了梯度噪音的大小和协方差结构对于正则化非常关键 ， 但仍不清楚噪音分布的种类是否重要 。 该论文研究提供了一个否定的答案 ， 说明了SGD中使用不同类型的噪音仍能有效对梯度下降做正则化 。 百度AI基于针对SGD噪音结构 ， 探索出了一个新发现 ， 即SGD噪音是梯度矩阵和小批量采样所带来噪音的乘积;并且采样噪音统一了两种属于高斯类型的梯度正则化噪音：一种是使用费雪分布协方差 ， 另一种是SGD梯度协方差作为协方差 。 最终 ， 依据噪音选取的灵活性 ， 提出了一种算法来实施泛化能力好的有噪音的梯度下降 ， 其变种还能使得大批量SGD训练不损失泛化能力 。
7、Scalable Differential Privacy with Certified Robustness in Adversarial Learning
暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO在该论文中 ， 百度AI旨在开发一种可扩展的算法,可在深度神经网络对抗学习中保护差分隐私 ， 其中对抗样本具有经过验证的鲁棒性 。 通过利用差分隐私中的顺序组合理论(sequential composition theory) ， 将输入和隐空间随机化 ， 以增强经过认证的稳健性界限 。 为了兼顾模型效用 ， 隐私丢失和鲁棒性这三者 ， 基于差分隐私中的后处理属性设计了原始的对抗目标函数 ， 以加强模型的敏感性 。 通过避开差分隐私深度神经网络中的传统逐批迭代训练 ， 一种新的随机批处理训练被提出并应用于大型深度神经网络和数据集的机制中 。 端到端的理论分析和评估表明 ， 这种机制显著提高了差分隐私深度学习网络的鲁棒性和可扩展性 。
另外 ， 这次ICML 2020大会 ，经过激烈角逐 ， 百度成功申请到举办3场EXPO的资格 ， 这是大会主办方给予百度AI的极大肯定 。 在这次的ICML EXPO中 ， 百度分享了产业级深度学习平台飞桨、自动化深度学习、搜索广告等多个领域的最新技术创新和应用进展 ， 以下是百度在ICML EXPO中基本情况：
EXPO 1：PaddlePaddle – An Industry-grade End-to-End Deep Learning Platform
暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO该报告中 ， 百度展示了源自于产业实践的飞桨开源开放的深度学习平台 ， 飞桨包含灵活易用的用户编程 ， 大规模并行训练 ， 多端多芯片部署 ， 官方模型库四大特色 ， 围绕着飞桨的核心能力 ， 在EXPO上演讲者也展示了PaddleRec、Fleet、PaddleServing、PaddleFL、ERNIE等工业级开源代码库的内容 。 AIStudio给飞桨的开发者带来了全面的课程和教程 ， 丰富的中文社区材料也是该教育平台的一大特色 。 此外 ， 飞桨企业版BML和EasyDL ， 面向企业提供深度学习应用开发的全栈流程 ， 零基础、入门以及专业的开发者都能在飞桨企业版产品中获得益处 ， 吸引了较多参会人员的注意 。


推荐阅读


上一篇：金牛座的赵小鹿|确认过眼神，是微胖的女生

下一篇：谁，那些流淌在文字里的香气