一种面向固定故障的忆阻器神经网络容错计算方法和系统

本发明涉及硬件神经网络，特别是涉及一种面向固定故障的忆阻器神经网络容错计算方法和系统。

背景技术：

1、随着“大数据”时代的到来，传统的基于互补金属氧化物半导体(complementarymetal oxide semiconductor，cmos)的计算平台如中央处理器(central processingunit，cpu)、图形处理器 (graphics processing unit，gpu)、现场可编程门阵列(fieldprogrammable gate array，fpga) 等，已经无法满足实时、高能效地处理数据的需求。新兴的金属氧化物忆阻器(memristor)采用交叉阵列的方式进行高密度集成，基于欧姆定律和基尔霍夫电压定律，能够在一个周期内完成矢量与矩阵的乘累加运算。乘法的因子直接存储在忆阻器阵列中，不需要单独的存储单元，从而绕过了冯·诺依曼瓶颈。再加上忆阻器还具有尺寸小、操作功耗低、可大规模集成（三维集成）等优点，在提高下一代计算系统的速度和能效方面显示出巨大的潜力。由于制造技术不成熟的限制以及忆阻器交叉阵列存在的非理想效应，基于忆阻器的计算系统(rram compute system，rcs) 的 适用性受到可靠性问题的限制。其中，固定故障 (stuck at fault，saf) 会破坏预期的权重模式，忆阻器的阻值固定在低阻（stuck at 1）或高阻（stuck at 0）状态，导致网络权重与阵列中对应忆阻器单元电导值出现偏差。

2、现有技术为降低固定故障带来的影响，大都以硬件和软件两种方式实现，其中，硬件方式主要是通过增加冗余电路来纠正忆阻器交叉阵列中的故障，但这会消耗大量的冗余硬件资源，增加芯片面积和功耗，这与忆阻器本身的理念并不符合，而且遇上saf忆阻器单元的时候，这种方法也并不能很好的解决上述问题，神经网络的可靠性不高；而软件方式主要再训练、重映射和纠错，而这通常需要大量的计算资源和较长的时间来完成，也会引入额外的面积和性能开销，对神经网络的鲁棒性也提出了更高的要求。

技术实现思路

1、本发明的首要目的是克服现有技术存在的问题，提供一种面向固定故障的忆阻器神经网络容错计算方法和系统，本发明能够降低容错硬件开销，减少由固定故障导致的精度损失，提升基于忆阻器的神经网络的可靠性和鲁棒性。

2、作为本发明的另一目的，也基于前述目的的方法而提供与之相适应的系统。

3、为了实现首要目的，本发明提供了一种面向固定故障的忆阻器神经网络容错计算方法，包括：

4、步骤s1：分析忆阻交叉阵列中存在的固定故障；

5、步骤s2：根据分析结果对神经网络原始权重进行相应处理，获得处理后权重，将所述处理后权重映射到所述忆阻交叉阵列中进行存储；

6、步骤s3：定义损失函数，使用所述损失函数对所述神经网络原始权重做正则化处理并进行权重衰减处理；

7、步骤s4：使用搜索算法确定最优超参数，完成权重更新，获得更新后权重，完成忆阻器神经网络的学习和训练。

8、进一步地，步骤s1中所述忆阻交叉阵列由多个忆阻器高密度集成，所述忆阻器为具有存储记忆功能的非易失性存储器器件。

9、进一步地，步骤s1中所述分析忆阻交叉阵列中存在的固定故障包括分析固定故障类型、固定故障率和固定故障对权重值的影响。

10、进一步地，步骤s2中所述根据分析结果对神经网络原始权重进行相应处理包括对神经网络原始权重进行权重范围变化处理和权重平移变化处理。

11、进一步地，所述权重范围变化包括：

12、建立权重值变化函数，根据所述权重值变化函数确定最小权重阈值和最大权重阈值；

13、迭代训练所述神经网络，使用所述权重值变化函数调整实际权重，将所述实际权重限制在所述最小权重阈值和所述最大权重阈值内，具体为：

14、

15、其中，表示实际权重值，表示最小权重阈值，表示最大权重阈值，wk表示原始权重；

16、使用搜索算法确定最优权重阈值，根据所述最优权重阈值确定调整后第一权重。

17、进一步地，所述权重平移变化包括：

18、将所述调整后第一权重使用两个忆阻交叉阵列表示：

19、

20、其中，表示神经网络权重值，表示正忆阻交叉阵列的权重值，表示负忆阻交叉阵列权重值；

21、根据所述调整后第一权重分布，将权重划分为正权重区域和负权重区域；

22、将所述正权重区域向左平移1，平移后的权重值由下式确定：

23、；

24、将所述负权重区域向右平移1，平移后的权重由下式确定：

25、；

26、将正权重区域平移后的权重值映射为，则表示权重值为1，将负权重区域平移后的权重值映射为，则表示权重值为1，具体为：

27、。

28、进一步地，步骤s3中正则化处理具体包括：

29、重新定义神经网络的原损失函数，具体为在所述原损失函数中增加l1正则化项和l2正则化项，所述l1正则化项对应的系数为α，所述l2正则化项对应的系数为ρ；

30、确定重新定义后损失函数，所述重新定义后损失函数由下式确定：

31、

32、其中，n表示样本数量，p表示特征数量，表示模型权重，和分别是第i个实际值和预测值，α和ρ是可调参数，且α和ρ的取值范围在[0,1]之间；

33、使用搜索算法确定最优正则化项系数α和ρ，获得处理后第二权重。

34、进一步地，步骤s3中权重衰减包括：设置自定义优化器的参数，使用设置后的自定义优化器对所述处理后权重进行权重衰减。

35、进一步地，步骤s4中所述搜索算法为网格搜索算法、随机搜索和贝叶斯优化其中一种。

36、为了实现本发明的另一目的，本发明提供一种面向固定故障的忆阻器神经网络容错计算系统，包括：

37、分析模块：分析忆阻交叉阵列中存在的固定故障；

38、第一处理模块：根据分析结果对神经网络原始权重进行相应处理，获得处理后权重，将所述处理后权重映射到所述忆阻交叉阵列中进行存储；

39、第二处理模块：定义损失函数，使用所述损失函数对所述神经网络原始权重做正则化处理并进行权重衰减处理；

40、第三处理模块：使用搜索算法确定最优超参数，完成权重更新，获得更新后权重，完成忆阻器神经网络的学习和训练。

41、本发明与现有技术相比，其有益效果在于：

42、本发明从软件方面对固定故障的忆阻神经网络进行容错计算，基于神经网络的权重分布特性和稀疏性以及固定故障率的不同，在权重映射前，使用权重范围变化来调整原始权重，减少固定故障带来的权重偏差，使用权重平移变化来实现权重值为1或趋近于1与sa1固定故障单元的匹配，提高了网络的可靠性，并且在权重更新时，通过自定义损失函数来实现权重正则化，并使用权重衰减促使更多权重趋于0，实现与sa0固定故障单元匹配，再利用搜索算法确定最优超参数，最大化减少由固定故障导致的权重偏差，有效减少了芯片面积和容错硬件开销，减少由固定故障导致的精度损失，提升基于忆阻器的神经网络的可靠性和鲁棒性。