江苏龙网

  1. 首页 > 资讯 > 科技 > >

新智元|Google的“泛芯片”科技蓝图


新智元|Google的“泛芯片”科技蓝图
本文插图

新智元报道
来源：StarryHeavensAbove
编辑：直子
【新智元导读】Google自研芯片已经有几年时间 ， Jeff Dean也已经是芯片顶会邀请的常客 。 今年的Hotchips ， Dan Belov(DeepMind)的keynote ， 阐述了Google对未来AI系统和芯片的看法 ， 和来自Intel的keynote是完全不同的思路 ， 这也代表了进入芯片领域的科技新贵和传统巨头站在不同的视角对于芯片设计未来的不同理解 。
除了芯片本身 ， 在芯片设计工具和方法学上（EDA领域） ， 我们也越来越多的看到Google的影子：把AI引入芯片后端设计[2][3]；开展Cloud上的芯片验证 ， 参与CHIP Alliance；CIRCT（MLIR for hardware）[4]和XLS(高层次综合）[5]这样的开源项目 。
虽然有些工作还只是一些初步的尝试 ， 但其探索的方向有重要的意义 ， 而Google的系统性技术优势和号召力也让这些探索更具成功的可能 。
系统 · 芯片
我们还是先从芯片说起 。 Google的TPU已经开发了好几代了（最新的TPU4已经在MLPerf露了脸 ， 「AI训练芯片巅峰对决 ， 如何正确『围观』？」） ， 今年的Hot Chips上也介绍了架构的演进「Google’s Training Chips Revealed: TPUv2 and TPUv3」（可以参考「Google TPUv2/v3架构及其设计演化」） 。
而同样在Hot Chips上 ， Dan Belov的keynote ， 「AI Research at Scale - Opportunities on the Road Ahead」 ， 从更宏观的角度分析了未来AI系统和芯片的趋势 。
就在一天前 ， Raja M. Koduri在Hot Chips上介绍了Intel怎么实现到2025年把算力提升1000X ， 相信很多朋友都看过了 ， 我就不多说了 。
新智元|Google的“泛芯片”科技蓝图
本文插图

source: Intel@Hot Chips 2020
回到Dan Belov的keynote ， 同样在讲为了支持大规模AI研究 ， 怎样实现1000X的算力提升 。 结合Google的背景 ， 他很自然的强调系统而非单个芯片的优化 ， 其中有一些观点值得我们思考 。
新智元|Google的“泛芯片”科技蓝图
本文插图

新智元|Google的“泛芯片”科技蓝图
本文插图

新智元|Google的“泛芯片”科技蓝图
本文插图

source: DeepMind@Hot Chips 2020
首先是对大规模AI研究任务的总体优化目标的分析 。 根据他们的观察 ， 优化最好的项目最多能够达到70%的利用率 ， 而平均情况是只能用的峰值算力的20% ， 而造成这种情况的原因很多 ， 包括硬件限制 ， 比如memory和I/O；软件栈效率问题 ， 比如编译器 ， python runtime的性能；还有任务本身的问题 ， 比如Startup time ， Contention以及Amdahl’s law等等 。 因此 ， 只看单个设备的峰值效率（perf/$）意义不大 ， 而解决方法是从数据中心规模做自顶向下的系统优化 。
新智元|Google的“泛芯片”科技蓝图
本文插图

当然 ， 我不认同「Chip performance」真的「does not matter」 ， 应该说 ， 除了芯片性能之外 ， 还有很多其它需要优化的地方 ， 或者说有能够优化的机会 。
新智元|Google的“泛芯片”科技蓝图
本文插图

新智元|Google的“泛芯片”科技蓝图
本文插图
source: DeepMind@Hot Chips 2020
从硬件角度来看 ， 两个最重要的机会包括 ， 「Move everything into Si」和「Paradigm Shift」 。 在第一个方向 ， 我们是否可以期待未来出现Datacenter-on-Chip ， Datacenter-on-Wafer或者Datacenter-in-Package？也许Chiplet和Wafer-Scale-Engine能够实现 。


推荐阅读


上一篇：|中科院曾小亮：聚合物复合材料的界面热阻，从理论模拟到精准测量

下一篇：|从“泛娱乐”到“新文创”，优质IP如何实现长期稳定增值发展