人走茶凉|聚焦快速机器学习训练算法，UC伯克利尤洋189页博士论文公布( 二 )
这篇论文的主要贡献是：「在增加并行度的同时 ， 根据需要改动算法 ， 从而通过避免通信来保持效率 。 」为了做到这一点 ， 研究者需要根据需求改动算法和 / 或超参数 ， 或使用不同的近似解来维持准确率 。
该论文包括以下三个主要部分：
第二章详细讲解了通信避免的 SVM（communication-avoiding SVM） ， 第三章详细介绍了通信高效的 KRR（communication-efficient KRR） ， 第四章详细介绍了异步贪心坐标下降（Asy-GCD） 。
第五章介绍了在超级计算机上加速 ImageNet 训练的细节 ， 包括算法设计和通信 / 计算权衡 。
第六章介绍了将 BERT 训练时间从 3 天降低到 76 分钟的技术细节 ， 这是建立在大批量优化和超参数自动调整等技术之上的 。
这三个部分紧密相关 。 研究者在第一部分中以凸优化开始 ， 在第二部分中深入探讨非凸优化 。 由于非凸优化比凸优化要难得多 ， 因此作者在第三部分中又进行了详细介绍 。 第七章则进行了总结 。
以下是这篇博士论文的目录：
在论文的致谢部分 ， 尤洋首先感谢了导师 James Demmel（Jim）：「在波士顿 ， 我参加了第一场学术会议 IPDPS 2013 ， Jim 是那次会议的主题演讲者 。 我对 Jim 优秀的人格和领导才能印象深刻 。 也就是在那个时候 ， 我想要成为一名博士 ， 成为 Jim 的学生 。 …… 在 Jim 的指导下 ， 我在过去的五年里完成了 13 篇论文 ， Jim 会花好几个小时修改我每一篇论文草稿 。 Jim 是个很好的人 ， 他给了我很多自由和必要的指导 。 我很感激他花时间来审视我的职业目标 ， 并给出实现这些目标的策略 。 毫无疑问 ， 对我学术生涯影响最深的人是 Jim ， 我今后的人生也将受到他的深刻影响 。 」
James Demmel 是加州大学伯克利分校电子工程与计算机科学系主任 ， Dr. Richard Carl Dehmel 杰出教授 ， 因在数值线性计算库 LAPACK 方面的贡献而为人熟知 。 此外 ， 他还是 ACM Fellow、IEEE Fellow ， 美国艺术与科学院、美国国家工程院、美国国家科学院三院院士 。
在致谢的最后 ， 尤洋表达了对家人的感谢：
最后 ， 我想感谢我的母亲 Yanlei Huang ， 父亲 Zhiqiang You ， 兄长 Peng You ， 以及我的妻子 Shiyue Liang 。 我将向家人们表达最深的感谢 ， 没有他们无条件的支持我不可能获得今天的成就 。 我会一直在你们身边 。
推荐阅读
- 网友|面试时话都没讲就赶人走？”，杭州小伙想不通：“就因为家里拆迁了
- 北京日报客户端|聚焦医药健康发展新机遇，中关村生命园发展论坛启幕
- 新华网|第三届中国粮食交易大会聚焦全产业链协作
- 聚焦数字新农人培养！天天学农走进广东省云浮市为云浮青年集体“充电”！
- 《早餐中国》第三季首播 「一日之食」IP聚焦美食人情故事
- 大咖云集第五届心身健康国际论坛 聚焦新中式健康生活
- 新华社|聚焦新修订的未成年人保护法为“少年的你”撑好法律“保护伞”
- 北青网综合|杭州小伙想不通：“就因为家里拆迁了，面试话都没讲就赶人走？”
- 中国新闻网|希腊公益艺术聚焦难民儿童 3.5米玩偶将穿越欧洲(图)
- 美科奇生命学说|聚焦新机遇，2020天府论坛健康产业发展大会看点前瞻，疫情之下