暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO
ICML 2020会议论文投稿量再创新高 ， 接收率下降至21.8%左右 。 百度AI在激烈的投稿竞争中 ， 成功入选论文7篇 ， 涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域;同时 ， 百度AI积极申办ICML EXPO ， 获得3场举办资格 ， 这是主办方对百度AI技术实力的肯定 ， 也展示出百度AI在全球人工智能产业的行业领先地位 。
近年ICML等顶级人工智能大会广泛受到学界、业界重视 ， 文章评选门槛逐年抬高 ， 录选文章含金量大幅提升 。 今年 ， ICML 2020会议论文投稿量再创新高 ， 4990篇有效投稿中 ， 仅1088篇被成功收录 。 相较2019年的接收率22.6% ， 今年接收率再次下行 ， 约为21.8%左右 。 在投稿竞争逐年激烈、论文接收率四年连降之时 ， 百度作为中国科技企业代表 ， 突出重围 ， 成功入选论文7篇 ， 涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域 ， 彰显中国企业在AI技术领域的深厚科研实力 。 以下为百度ICML 2020入选论文的亮点集锦：
1、Non-Autoregressive Neural Text-to-Speech
该论文提出了“ParaNet”的概念 ， 即可通过使用非自回归seq2seq模型将文本转换为声谱 ， 采用了完全卷积的结构 。 相较DeepVoice3 ， ParaNet在合成时达到了46.7倍的提速 ， 并且获得了很好的语音质量 。 通过逐层迭代地提高注意力 ， ParaNet在具有挑战性的测试句子集上实现了文本和语音之间的稳定对齐 。 除此之外 ， 该论文构建了并行文本到语音系统 ， 同时测试了各种并行的神经声码器 。 这些声码器可通过一次前向传递 ， 直接从文本中合成语音 。 论文还根据VAE探索了一种新全新方法 ， 用以训练基于逆自回归流(IAF)的并行声码器 。 与先前的方法相比 ， 新方法仅需训练一个模型 ， 从而避免了单独去训练WaveNet的繁琐 。
2、WaveFlow: A Compact Flow-based Model for Raw Audio
该论文发布了WaveFlow ， 即通过体积非常小的生成流对原始语音进行建模 ， 并采取了最大似然估计的方法进行训练 。 WaveFlow使用了扩张的二维卷积架构来处理一维波形中的长距离结构 ， 同时使用了自回归函数来描述段距离结构 。WaveFlow提供了针对一维数据的似然模型的统一视图 ， WaveNet和WaveGlow皆可看作其特殊情况 。 相较WaveNet ， WaveFlow生成了可与之媲美的语音 ， 与此同时取得了高达几个数量级的提速 。 此外 ， 它可以显著降低自回归模型与流模型之间的似然差距 。 最后 ， 轻型WaveFlow仅含有591万个参数 ， 相比WaveGlow小了15倍 。 在单V100 GPU上 ， 可以生成22.05 kHz的高质量音频 ， 提速42.6倍 。
3、Optimal Estimator for Unlabeled Linear Regression
【暖夏少年|ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO】4、Lower complexity bounds for finite-sum convex-concave minimax optimization problems
该论文研究了n个独立光滑的凸-凹型函数有限和形式的鞍点问题的一阶算法复杂度的下界 。 百度AI考察的PIFO算法可在每次查询中获取到函数对应的梯度算子和Proximal算子的结果 。 对于强凸强凹型的函数 ， 证明了PIFO算法不能在少于(n+kappa)log(1/epsilon)的迭代步数内得到epsion-鞍点 ， 其中kappa是目标函数的条件数 。 这个下界在一些特殊的双线性问题上可以和一些一阶增量Proximal算法完全匹配 。 论文设计了一种新的方法来处理 Proximal 算子 ， 将矩阵的行进行分解,并非同往常在IFO框架下进行堆叠 。新方法对于处理Proximal算子和梯度算子皆很友好 ， 进而将一般的凸-凹型函数也做了对应的下界分析 。
推荐阅读
- 少年|《再见，少年》上影节双喜临门 张子枫张宥浩演绎少年殊途
- 健康陕西人|2020年陕西省青少年篮球锦标赛在铜川开赛
- 舞台|《少年之名》三公舞台团魂燃烧，伙伴情义全网泪目
- 身世|从地狱到天堂？！这个身世凄惨的少年，竟意外成了家喻户晓的明星
- 上观新闻|激励少年强国梦，致敬革命老战士
- 木槿暖夏|明年就通车，南宁将迎来“无人驾驶”地铁：耗资164亿设站17座
- 勇敢得伤感少年|柯凡解说湖人的比赛了，事到如今詹密对他释怀了没有
- 勇敢得伤感少年|够狠！曝曼联变黑店酝酿1换1，尤文重击意甲兄弟太过分
- 格子少年|腾讯年度电视剧预告片反馈：落差较大，层次明显
- 文汇|上海国际青少年科技博览会前天开幕 呈现科创盛宴