谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉( 二 )


谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉
本文插图

同样使用128个至强白金CPU和512个AI加速芯片 , 昇腾910在ImageNet任务中 , 训练ResNet-50只需1.59分钟 , 而英伟达V100需要2.35分钟 。
华为昇腾910不仅可以运行自研的MindSpore框架 , 也能运行谷歌的TensorFlow框架 。 两者性能差距很小 , 后者的训练时间为1.53分钟 , 比在MindSpore框架上运行时间稍短 。
谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉
本文插图

不过 , 从这份榜单中可以看出 , 国产AI芯片任重道远 , 英伟达仍在商业领域占据主导地位 。
参与测试的多家公司使用的均是英伟达GPU , 不久前推出的A100 GPU也迅速得到商用 。 戴尔、阿里、富士通、腾讯、浪潮 , 甚至连谷歌自己 , 都是英伟达的客户 。
而且台积电将停止为华为代工芯片 , 使华为自研AI芯片的未来蒙上了一层阴影 。
谷歌TPUv4泄露
此次MLPerf跑分还泄露了谷歌新一代TPU的性能指标 。
相比两年前的TPUv3 , 谷歌的TPUv4带来平均2.7倍的性能提升 。
谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉
本文插图

更可怕的是 , 谷歌23秒训练完BERT使用的是TPUv3 , 而使用256块TPUv4训练BERT的时间是1.82分钟 。
至于更大规模的TPUv4计算集群会带来怎样恐怖的成绩 , 或许只能等谷歌正式发布后才能知晓 。
关于MLPerf
MLPerf是业内首套衡量机器学习软硬件性能的通用基准 , 由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起 。
MLPerf基准联盟现有83家成员 , 包括谷歌、英伟达、微软、Facebook、阿里巴巴等73家企业和斯坦福、哈佛、多伦多大学等10所高校 。
谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉
本文插图

【谷歌|谷歌训练BERT只要23秒,华为AI训练芯片首次亮相,MLPerf出炉】2018年 , MLPerf发布了首个AI训练测试基准v0.5 , v0.7是第三个AI训练跑分榜单 。 去年 , 该组织还发布过AI推理测试基准v0.5 , 国产芯片阿里含光800曾获得多项第一 。


推荐阅读