江苏龙网

  1. 首页 > 资讯 > 科技 > >

「」大型芯片将打破深度学习的速度壁垒

「」大型芯片将打破深度学习的速度壁垒
文章图片

文章图片

━━━━
Cerebras公司的技术将在数小时而非数周的时间里完成对这些人工智能系统的训练 。
【「」大型芯片将打破深度学习的速度壁垒】人工智能计算机初创企业Cerebras Systems的联合创始人兼首席执行官安德鲁?费尔德曼（Andrew Feldman）表示 ， 今天的人工智能效率远低于它本应能达到的效率 。
他和公司的其他联合创始人一致认为 ， 如今的人工神经网络在训练上太过耗时 ， 计算量太大 。比如说 ， 要让一辆自动驾驶汽车识别出它在路上会遇到的所有重要物体 ， 则需要向汽车的神经网络展示大量有关这些物体的图像 。这个过程发生在数据中心 ， 耗电数十千瓦有时甚至数百千瓦的计算机会专门处理这种常常耗时长达数周的任务 。假如生成的网络能够以所需精确度执行这项任务 ， 则定义网络连接强度的多个系数随后会被下载到汽车的计算机中 ， 然后去执行另一半深度学习工作 ， 即推理 。
Cerebras的客户（该公司已经有一些客户了 ， 不过在去年夏天还在保密状态）抱怨说 ， 在当今的计算机上进行大型神经网络训练可能需要长达6周的时间 。以这样的速度 ， 他们一年可能只能训练6个神经网络 。“我们的目的是测试更多的想法 ， ”费尔德曼说 ， “如果你能在2到3个小时内（训练1个网络） ， 那么你就可以运行数千个想法 。”
采访人员参观Cerebras公司位于加州洛思阿图斯（Los Altos）的总部时 ， 这些客户和部分潜在新客户已经在用有橙色护套的光缆将他们的训练数据导入4台CS-1计算机中 。这些64厘米高、功率为20千瓦的机器不停地运转 ， 产生的热量通过墙上的一个孔洞被排放到了硅谷的街道上 。
从外观来说 ， CS-1计算机本身并不特别 。实际上 ， 每个机箱的3/4都被冷却系统占据 ， 而另外1/4空间中的内容才具有真正的“变革性”：一台非常强大的计算机几乎完全由一块单一芯片组成 。不过这块芯片的面积超过46255平方毫米 ， 是任何市售处理器芯片面积的50多倍 。借助1.2万亿个晶体管、40万个处理器内核、18千兆字节的静态随机存储器（SRAM）以及每秒可移动100千万亿字节的互连技术 ， Cerebras的晶圆级引擎（WSE）可轻松秒杀其他系统 。
Cerebras引用的统计数据是相当惊人的 。该公司称 ， 一个10机架的TPU2集群（谷歌人工智能计算机产品的第二代）消耗的功率是单台WSE计算机的5倍 ， 占用的空间是它的30倍 ， 性能却仅为其1/3 。单一巨型芯片是否真的是人工智能界一直在等待的答案 ， 今年将变得明朗起来 。“（神经网络）模型越来越复杂 ， ”加州山景城林利集团（Linley Group）的高级分析师迈克?戴姆勒（Mike Demler）说 ， “能够快速训练或再训练非常重要 。”
芝加哥附近的超级计算机巨头阿贡国家实验室等客户已经在自己的办公场所安装了这种机器 ， 如果Cerebras的推测是正确的 ， 那么有出色表现的神经网络的数量将呈爆炸式增长 。
费尔德曼解释说 ， Cerebras的创始人们（都是服务器公司Sea Micro的老员工 ， Sea Micro被超微半导体公司AMD收购）在2015年初次开会时便希望打造一台完美符合现代人工智能工作量性质的计算机 。这些工作量由以下几点定义：快速移动大量数据 ， 接近处理内核的内存 ， 而且这些内核不需要处理其他内核正在处理的数据 。
这立刻给包括首席技术官加里?劳特巴赫（Gary Lauter-bach）在内的资深计算机架构师提供了一些想法 。首先 ， 他们可以使用成千上万个用于进行相关神经网络计算的小内核 ， 而不是使用更少量的通用内核 。其次 ， 这些内核应该与一个低能耗且可以快速移动数据的互连方案连接在一起 。最后 ， 所有所需数据应位于处理器芯片中 ， 而不是多个单独的存储芯片上 。


推荐阅读


上一篇：「」Intel 10nm Tiger Lake性能惊喜：15W意外掀翻45W

下一篇：「」华为P40Pro细节曝光，余承东给膜厂出了个难题