人走茶凉|聚焦快速机器学习训练算法，UC伯克利尤洋189页博士论文公布
机器之心报道
编辑：蛋酱、小舟
这份 189 页的博士学位论文 ， 凝结了尤洋在快速机器学习训练算法领域的研究心血 。
过去十年 ， 深度学习应用领域的数据量迅速增长 ， 使得深度神经网络（DNN）的训练时间拉长 。 而这已经成为机器学习开发者和研究者面临的瓶颈问题 。 例如 ， 在 8 个 P100 GPU 上完成 90 个 epoch 的 ImageNet/ResNet-50 训练需要 29 个小时 ， 在 16 个 v3 TPU 芯片上完成 BERT 预训练需要 81 个小时 。
因此 ， 如何有效缩短机器学习训练时间 ， 同时完成高质量的训练 ， 对于解决当前的瓶颈问题具有重大意义 。
本文将介绍一篇长达 189 页的博士学位论文 ， 作者为加州大学伯克利分校计算机系的尤洋博士 。
尤洋的主要研究方向是高性能计算与机器学习的交叉领域 ， 当前研究重点为大规模深度学习训练算法的分布式优化 。 他曾创造 ImageNet 训练速度的世界纪录 ， 相关研究成果被 Google、Facebook、腾讯等科技巨头在实际中使用 。
尤洋曾以一作的身份获得 2018 年国际并行处理大会（ICPP）最佳论文奖 ， 论文《Imagenet training in minutes》所提出的方法刷新了 ImageNet 训练速度的世界纪录 。
去年 ， 尤洋和来自谷歌和 UCLA 的研究者共同提出了一种用于加速大批量训练的新型优化器 LAMB ， 将基线 BERT-Large 模型的预训练时间从 3 天降低到了 76 分钟 。
【人走茶凉|聚焦快速机器学习训练算法，UC伯克利尤洋189页博士论文公布】此外 ， 尤洋还获得过国际并行与分布式处理大会（IPDPS）2015 的最佳论文奖 。 他还曾在 IBM 沃森研究中心、英特尔总部、英伟达总部、微软总部以及谷歌总部实习 。
今年 7 月 ， 尤洋从加州大学伯克利分校毕业 ， 获得计算机科学博士学位 。 目前已入职新加坡国立大学计算机系任助理教授（终身制） 。 近日 ， 他在社交媒体上介绍了自己的博士论文 。
尤洋在推特上介绍自己的博士论文（照片拍摄于疫情前） 。
论文链接：
接下来 ， 我们将简要介绍这篇博士论文的核心内容 ， 感兴趣的读者可以阅读原论文 。
论文核心内容简介
这篇论文聚焦于快速且准确的机器学习训练 。 尽管生产团队希望能够充分利用超级计算机来加快训练过程 ， 但传统的优化器无法扩展到数千个处理器 。 该研究设计了一系列基础优化算法 ， 来为深度学习系统实现更强的并行度 。 这些算法为谷歌、英特尔、腾讯、英伟达等公司的 SOTA 分布式系统提供了支持 。
这篇论文的重点是缩小高性能计算（HPC）和机器学习（ML）之间的差距 。
2017 年 ， HPC 和 ML 之间存在着巨大的差距 。 一方面 ， 功能强大的超级计算机已经出现 ， 每秒可执行 2 × 1017 次浮点运算 。 但另一方面 ， 我们却无法充分运用此算力的 1% 来训练 SOTA 机器学习模型 。 原因是超级计算机需要极高的并行度才能达到峰值性能 。 但是 ， 高度的并行会导致 ML 优化器的收敛性很差 。
为了解决这个问题 ， 尤洋及合作者提出了 LARS 优化器、LAMB 优化器以及 CA-SVM 框架 ， 缩小了机器学习与分布式系统之间的差距 。
论文结构
推荐阅读
- 网友|面试时话都没讲就赶人走？”，杭州小伙想不通：“就因为家里拆迁了
- 北京日报客户端|聚焦医药健康发展新机遇，中关村生命园发展论坛启幕
- 新华网|第三届中国粮食交易大会聚焦全产业链协作
- 聚焦数字新农人培养！天天学农走进广东省云浮市为云浮青年集体“充电”！
- 《早餐中国》第三季首播 「一日之食」IP聚焦美食人情故事
- 大咖云集第五届心身健康国际论坛 聚焦新中式健康生活
- 新华社|聚焦新修订的未成年人保护法为“少年的你”撑好法律“保护伞”
- 北青网综合|杭州小伙想不通：“就因为家里拆迁了，面试话都没讲就赶人走？”
- 中国新闻网|希腊公益艺术聚焦难民儿童 3.5米玩偶将穿越欧洲(图)
- 美科奇生命学说|聚焦新机遇，2020天府论坛健康产业发展大会看点前瞻，疫情之下