『LiveVideoStack』?5G+AI时代的高效视频处理( 五 )
本文插图
图中是一个AI引擎设计图 ， 它有几个不同的层次 ， 其中DMA处理数据的进出 。
本文插图
这是一个8×16×32的AI加速引擎设计的MAC列阵图 。
本文插图
目前的AI加速引擎都是类似脉动阵列的方式 ， 输入数据一是从上往下进去 ， 一是从左往右进去 ， 那么通过排列组合 ， 将其成为一个非常规则的脉动阵列的方式 。 其实现有的神经网络的设计并不复杂 ， 基本上就是一堆乘加器 ， 它的挑战主要在于计算量非常的大 ， 需要计算众多参数和图片 ， 另外需要消耗巨大的存储 。
本文插图
目前AI计算引擎已经是一个2.0的引擎 ， 它有海量的传感器 ， 比如在自动驾驶的时候 ， 会有很多的传感器收集数据 ， 并传输到AI处理器进行处理 ， 再通过极低延迟与传统的SoC进行交互 。
本文插图
图中展示的是芯片设计或者硬件设计的性能增益 ， 其中增益最多的是40%的工艺技术 ， 也就是随着工艺的不断发展 ， 其性能提高了40% 。 其他有编译器性能提升了8% ， 微架构性能提升了17等等 。 总的来说 ， 如果想要优化神经网络处理器 ， 可以根据图中这些方面进行一步步的优化 。
本文插图
这是一个三维堆叠图 ， SoC芯片跟DRAM两个并列在一起 ， 但随着进一步的发展 ， 会把不同的芯片合并在一起 ， 通过这种方式 ， 片上存储的通讯带宽就会扩大 ， 就无需考虑记忆库的问题 。 但需要考虑的是散热 ， 如果把所有东西都垂直的叠在一起 ， 散热就成了需要解决的问题 。 4. 总结
本文插图
目前为止 ， 视频编解码器仍被视为视频系统中的黑匣子 ， 尤其是和5G结合时 。 但是随着通信的发展以及对延迟的需求的扩大 ， 应该将视频系统、通信系统、视频编解码和5G通信结合起来 。
本文插图
目前针对视频 ， 我们需要对应用程序、标准、硬件和软件等不同层次进行优化 。 首先要不断开发新的视频标准 ， 其次 ， 需要一些深度学习/神经网络技术进行处理 ， 将应用、标准、硬件、软件进行协同优化（应用+标准+硬件+软件） ， 不管针对视频还是深度学习 ， 需要不断对硬件架构进行开发（宏/微架构） ， 随着摩尔定律推进的减弱 ， 将逻辑+内存+3D封装在一起 。 （逻辑+内存+3D） 。
推荐阅读
- 『IT时代网』世纪华通领衔游企再迎爆发式增长，5G新基建提速云游戏商业化进程
- 「产业气象站」5G时代大有可为？2020为何会出现5G无用论？
- 「咕叽说历史」战国时代：齐魏大战·围魏救赵
- 『我的第一部5G手机』百度产品笔试题：5G时代会产生哪些应用生活场景？（上）
- 【IT时代网】世纪华通领衔游企再迎爆发式增长，5G新基建提速云游戏商业化进程
- #山川文社#为什么时代越发展，中国男人的胡子越短？，男人该不该留胡子
- 原呵呵@Pro预见摄影时代的未来，带来了摄影新视野，华为P40
- 「软媒时代TB」vivo S6首销搭载Exynos 980芯片
- 「数评时代」大家可以来抄了，如何打造顶级笔记本？华硕ROG双屏旗舰给出作业
- 『数评时代』IMX700搭配潜望长焦：荣耀30摄像头用这三种动物描述，太贴切了