#半导体投资联盟#【专利解密】华为早已布局忆阻器芯片？
【嘉德点评】华为申请的此项专利 ， 能够在保证神经网络精度的前提下 ， 压缩网络模型 ， 同时还能极大地减小了忆阻器器件噪音对神经网络准确性的影响 。
集微网消息 ， 忆阻器全称记忆电阻 ， 即表示具有记忆能力的电阻 ， 被认为是能够突破摩尔定律的新方向 。 有数据统计称 ， 一个忆阻器的工作量相当于一枚CPU芯片中十几个晶体管共同产生的效用 ， 而国内巨头华为公司也开始“低调”研发 。
近年来 ， 神经网络(neuralnetwork ， NN)计算取得了突破性进展 ， 在图像识别、语言识别、自然语言处理等诸多领域均取得了很高的准确率 。 然而神经网络需要海量计算资源 ， 传统的通用处理器已经很难满足深度学习的计算需求 ， 设计专用芯片已经成为了一个重要的发展方向 。 忆阻器具有高密度、非易失、低功耗、存算合一、易于3D等优点 ， 为神经网络芯片设计提供了一种高效的解决方案 。 忆阻器阵列作为神经网络加速芯片 ， 以加速矩阵乘法运算为主要的设计目标 ， 整个过程在模拟电路下实现 ， 具有速度快 ， 面积小的优点 。
但是 ， 忆阻器器件在实际应用中 ， 存在噪音的问题 ， 即设置的忆阻器电导值并不精确的等于所需要的值 ， 而是落在期望值附近的一个分布中 。 如何降低忆阻器器件噪声对神经网络的准确性的影响 ， 是亟待解决的问题 。
为此 ， 华为申请了一项名为“一种神经网络训练方法及装置”的发明专利（申请号：201810702883.9） ， 申请人为华为技术有限公司 。
文章图片
图1神经网络示意图
神经网络的建模通常以若干神经元为一层 ， 层与层之间相互连接来构建 ， 如图1所示 ， 是一种链状的神经网络示意图 。 其中图1中每一个圆表示一个神经元 ， 每一个箭头表示神经元之间的连接 ， 每个连接均有权重 。
在神经网络的应用中 ， 矩阵向量乘运算是常见的操作 ， 可以利用忆阻器交叉开关阵列具有的存储和计算在同一个物理位置的特性 ， 用忆阻器交叉开关阵列来进行矩阵向量乘运算来提高神经网络的计算效率 。
文章图片
图2忆阻器开关阵列
本专利提出的神经网络训练方法可以应用于如图2所示的忆阻器开关阵列 ， 如图2所示 ， 输入向量为不同的电压值V0-Vn ， 可以表示为向量V ， 经过忆阻器交叉开关阵列计算后 ， 输出为新的电压值V'0-V'm ， 可以表示为向量V' 。 其中 ， V'＝VGRs ， 向量Rs包括元素rs0,rs1,…,rsm其中rsj表示第j列的接地电阻值 。
实际应用中 ， 忆阻器器件的噪音会给基于忆阻器的神经网络的表达能力带来负面影响 ， 为了消除噪音对于实际神经网络性能的影响 ， 可以在神经网络训练时引入噪音 ， 通过将底层器件噪音暴露给软件训练层面 ， 来抵消一部分硬件层面的噪音所带来的精度影响 。
文章图片
图3神经网络训练方法示意图
【#半导体投资联盟#【专利解密】华为早已布局忆阻器芯片？】该专利中提出的可用于图1、2的神经网络训练方法示意图如上所示 ， 该训练方法主要包括如下几个步骤：
首先 ， 将第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵 。 其中 ， 第一权重矩阵为预设权重矩阵 ， 可以将神经网络中需要进行训练的权重矩阵设置为预设权重矩阵 。 然后为第二权重矩阵的每个元素附加一个噪音 ， 该噪音用于模拟忆阻器器件噪音 ， 以此获得第三权重矩阵 。 接着 ， 根据第三权重矩阵进行前向传播 ， 并将相应的结果与目标值进行比较 ， 获得损失值 。 最后再将损失值和第一权重矩阵进行反向传播以获取目标权重矩阵 。
推荐阅读
- 知叔目标直指美韩，网友：这次稳了，日本顶级半导体专家加入中国企业
- 松鼠热点独家揭秘未来全球投资重点，《全球创投风投行业年度白皮书(2020)》将于5月8日在青岛重磅发布
- 南方PLUS计划投资50亿元！塘厦有项目增补为市重大项目
- 广州美合传祺我们的成功是因为客户的成功——李真
- 中国半导体联盟笔记本电脑面世，国产CPU突破：兆芯x86
- 新投资者网 募投项目面临超大企业“挤压”，合纵医药业务难“出川”拟冲IPO
- 「马云」马云投资700亿，刘强东、李嘉诚相继布局，新购物模式在全国兴起
- 手机中国联盟集微公开课第十期笔记：微型化是半导体和MLCC共同演进的方向，
- 新华网客户端1800亿元投资发力数字新基建，广州市首批73个数字新基建重大项目签约
- 半导体投资联盟iPhone大减价背后：持续承压的供应链和“狂奔”的业绩黑马