江苏龙网

  1. 首页 > 资讯 > 科技 > >

[人工智能]AI芯片的一些科普( 二 )


先进的人工智能系统不仅需要AI专用芯片 ， 还需要最先进的AI芯片 。 较早期的人工智能芯片——带有更大、更慢、更耗电的晶体管——会产生巨大的能源消耗成本 ， 并可以迅速飙升至这种芯片无法承受的水平 。 正因为如此 ， 如今使用较早期的AI芯片在成本和计算速度方面 ， 都至少比最新的AI芯片大一个数量级 。 （成本增加 ， 计算速度却更慢）
这些成本和速度的动态变化 ， 推动着先进AI芯片的繁荣——如果没有最先进的AI芯片 ， 则几乎不可能开发和部署最先进的AI算法 。 即使使用最先进的AI芯片 ， 训练AI算法也可能花费数千万美元 ， 并且需要数周才能完成 。 实际上 ， 在顶级AI实验室中 ， 总支出中有很大一部分用于与AI相关的计算 。 使用CPU等通用芯片 ， 甚至使用较旧的AI芯片 ， 进行这种训练将花费更长的时间才能完成 ， 并且相关的支出也会更多 ， 这使得对AI算法的研究和部署无法进行下去 。 类似地 ， 使用较不先进或较不专业的芯片进行推理也可能会导致类似的成本超支 ， 并且需要更长的时间 。
人工智能芯片的工作原理
相对于CPU来说 ， 人工智能芯片通过特定技术来提高效率和速度 。 有关通用AI芯片的自上而下视图和这些技术的图形表示 ， 请参见图 ， 这些技术将在下面的小节中详细描述 。
[人工智能]AI芯片的一些科普
本文插图

通用人工智能芯片
【[人工智能]AI芯片的一些科普】 （1）并行计算
与传统CPU相比 ， 人工智能芯片提供的最重要的改进是并行计算能力 ， 也就是说 ， 人工智能芯片可以运行比CPU更多的并行计算 。
对于DNN的计算是高度并行的 ， 因为它们是相同的 ， 并且不依赖于其他计算的结果 。 DNN训练和推理需要大量独立、相同的矩阵乘法运算 ， 这反过来又需要执行许多乘法运算 ， 然后求和 ， 即所谓的“乘积” 运算 。
人工智能芯片设计通常要在单芯片上具备大量的“乘法累加电路”(MAC) ， 以有效地在一个大规模并行架构上执行矩阵乘法操作 。 并行计算也使AI芯片能够比顺序计算更快地完成任务 。 在并行架构中连接的多个AI芯片可以进一步提高并行程度 。 虽然先进的CPU具有一定程度的并行体系结构 ， 但AI芯片实现了更大的并行性 。
并行处理操作使用几种技术 ， Data parallelism是最常见的并行形式 ， 它将输入数据集分为不同的“批” ， 以便在每个批上并行执行计算 。 这些批次可以跨AI芯片的不同执行单元或并行连接的不同AI芯片 。 数据并行性适用于任何类型的神经网络 。 在各种各样的神经网络中 ， 在训练期间使用数百到数千批的数据并行性在不增加所需计算总数的情况下实现了相同的模型精度 。 然而 ， 更多的批次需要更多的计算来实现相同的模型精度 。 超过一定数量的批次（对于一些DNN来说 ， 超过100万）增加的数据并行性需要更多的计算 ， 而不会减少训练模型的时间 ， 从而限制有用的数据并行性 。
Model parallelism将模型分成多个部分 ， 在这些部分 ， 计算在AI芯片的不同执行单元上并行执行 ， 或者在并行连接的不同AI芯片上并行执行 。 例如 ， 单个DNN层包括许多神经元 ， 一个分区可能包括这些神经元的子集 ， 另一个分区包括相同神经元的不同子集 。 有一种替代技术可以并行地对不同神经网络层进行计算 。
考虑到并行性的限制 ， 通过更多的人工智能芯片并行扩展计算量并不是人工智能进步的可行策略 ， 好的AI算法研究更加有意义 ， 也是必要的 ， 因为它允许更大程度的数据和模型并行 ， 包括研究结合技术 ， 以增加并行度 。
（2）低精度计算
低精度计算 ， 它牺牲了速度的数值精度和效率 ， 特别适合人工智能算法 。 一个x-bit处理器由执行单元组成 ， 每个执行单元都是用来操作由x-bit表示的数据的 。 晶体管存储一个bit ， 其值可以为1或0；因此 ， x-bit值允许2 x 不同的组合 。 下表显示了处理器数据类型的x的公共值 。


推荐阅读


上一篇：断触@最便宜骁龙865手机用户评价：性能强大，存发热和断触现象

下一篇：「设计」太好了，发现一种“隐藏”的对称，能为超材料的设计开辟新途径