适用于忆阻器的尖峰时序相关可塑性权重更新方法

1.本发明涉及忆阻器领域的一种内部处理方法，具体是一种适用于忆阻器的尖峰时序相关可塑性权重更新方法。


背景技术：

2.脉冲神经网络是第三代神经网络，其输入和输出信息由尖峰序列编码。脉冲神经网络非常适合用于类脑芯片，它比依赖激活函数和梯度下降算法的第二代神经网络更接近人脑神经网络的特性。
3.不同种类的监督和无监督脉冲神经网络算法已经被提出，其中，基于尖峰时序相关可塑性的无监督学习算法备受关注。尖峰时序相关可塑性是连接不同神经元的突触的生物学特征，它描述了突触连接强度与突触前后神经元产生的尖峰之间的关系，使脉冲神经网络能够进行训练学习。
4.忆阻器的电导值可以根据其两个电极上的电压进行调节，因此可以充当人工突触来实现尖峰时序相关可塑性。基于忆阻器交叉阵列的类脑芯片能够实现存内计算，比基于传统半导体器件的芯片计算效率更高。
5.许多研究人员研究了基于忆阻器交叉阵列的尖峰时序相关可塑性权重更新方法，但是已有方法针对的传输信号大多简化为方波信号，而不是尖峰脉冲信号。针对尖峰脉冲信号的尖峰时序相关可塑性权重更新方法，其性能往往没有经过电路仿真验证，或者针对的电路规模太小。


技术实现要素：

6.针对现有尖峰时序相关可塑性权重更新方法的不足，本发明提出了一种适用于忆阻器的尖峰时序相关可塑性权重更新方法，该方法针对尖峰脉冲信号，且适用于大规模电路。经电路仿真验证，该方法与传统方法相比，具有识别准确率高、功耗低的优点。
7.本发明的技术方案如下：
8.方法主要包括尖峰时序相关可塑性权重更新目标和尖峰时序相关可塑性权重更新目标在硬件层面的实现。
9.所述方法针对类脑芯片忆阻器阵列，类脑芯片忆阻器阵列是由多个忆阻器阵列构成。按照行列的神经网络芯片架构排布。
10.设置以下尖峰时序相关可塑性权重更新目标，表达式为：
[0011][0012]
δt＝t1-t2
[0013]
其中，δt代表在忆阻器数据输入侧输入的脉冲和在忆阻器数据输出侧输入的脉冲之间的时间差，δw代表忆阻器在两个脉冲作用下的电导值的改变量，τ
pre
和τ
post
分别代
表正向时间常数、负向时间常数，a
pre
代表正向幅度，a
post
代表负向幅度，k代表偏移量。
[0014]
所述的正向时间常数τ
pre
和负向时间常数τ
post
均为正常数，a
pre
为正常数，a
post
为负常数，k为正常数。即当δt趋向于正无穷时，δw小于0；当δt小于0时，δw一直小于0。
[0015]
本发明中所述的突触是指单个忆阻器。
[0016]
所述的忆阻器从数据输入侧和数据输出侧均输入的脉冲信号，且所述的脉冲信号为尖峰脉冲信号。
[0017]
所述的尖峰时序相关可塑性权重更新目标在硬件层面的实现方式，实现基于忆阻器和特定的尖峰脉冲信号，忆阻器的电导值会随其两端的电压差发生变化，模拟神经突触权重。
[0018]
根据预设的脉冲序列按照以下方式进行计算获得忆阻器的电导值发生变化量，进而施加到忆阻器上，实现忆阻器的电导值的更新：
[0019]
脉冲序列中的每个脉冲信号先按照以下公式处理获得输入到忆阻器的尖峰脉冲信号的电压，由以下公式表示：
[0020][0021]
其中，a
mp
和a
mp-分别为脉冲信号的正、负幅度值，t
ail
和t
ail-分别为脉冲信号的正向、负向时间长度，τ

和τ-为脉冲信号的正、负时间常数；spk(t)表示t时刻下的脉冲信号的电压；
[0022]
然后根据忆阻器两端的尖峰脉冲信号的电压差按照以下公式模拟获得忆阻器的电导值发生变化量，忆阻器电导值随其两端电压差的变化：
[0023][0024]vmr
＝spk1(t1)-spk2(t2)
[0025]
其中，v
mr
代表忆阻器两端电压，v
th
和v
th-分别代表忆阻器电导值发生变化的正、负电压阈值，g0、v
o
和v
o-为忆阻器的第一、第二、第三特性参数；f(v
mr
)表示忆阻器的电导值发生变化量；spk1(t1)表示t1时刻下的忆阻器从数据输入侧输入的脉冲信号的电压，spk2(t2)表示t2时刻下的忆阻器从数据输出侧输入的脉冲信号的电压，从数据输入侧输入的脉冲信号和从数据输出侧输入的脉冲信号的时刻不同。t表示尖峰脉冲信号的时刻，尖峰脉冲信号的幅度值为零时t＝0；
[0026]
从而将忆阻器的电导值发生变化量施加到忆阻器上，实现权重更新。
[0027]
所述的忆阻器的第一、第二、第三特性参数g0、v
o
和v
o-均是事先采用无监督学习方式训练获得。
[0028]
所使用忆阻器模型的正、负电压阈值关系满足：
[0029]
所使用的尖峰脉冲信号的正、负幅度值和忆阻器的正、负电压阈值关系满足：
[0030][0031][0032]
所述的尖峰脉冲信号仅包括位于幅度值为零之上的一个尖峰和位于幅度值为零之下的一个尖峰。
[0033]
具体实施中，忆阻器两端的电压差表示为：
[0034]vmr
(t,δt)＝spk(t)-spk(t δt)
[0035]
其中，t表示输入忆阻器前端的一个信号的时刻，t δt表示输入忆阻器后端的一个信号的时刻，
[0036]
忆阻器电导值变化总量由积分获得：
[0037]
δw(δt)＝∫f(v
mr
(t,δt))dt
[0038]
该公式通过忆阻器和脉冲信号的参数拟合，与本发明提出的尖峰时序相关可塑性权重更新方法近似一致。
[0039]
本发明实际可通过微分方程在尖峰神经网络代码中进行定义，并且可以通过使用特定尖峰脉冲信号在忆阻器交叉阵列上实现。
[0040]
本发明的有益效果是：
[0041]
与传统尖峰时序相关可塑性更新方法相比，所提出的本发明具有显着优势：
[0042]
一、本发明下的脉冲神经网络经训练后能达到更高的识别准确率；
[0043]
二、本发明对应的类脑芯片忆阻器交叉阵列在训练过程中的功耗更低；
[0044]
三、本发明对应的类脑芯片忆阻器交叉阵列在训练过程中受到的静态压降和寄生电流的影响更小，因此具有更好的电路可靠性。
附图说明
[0045]
图1为本发明方法的示意图；
[0046]
图2为本发明与传统更新方法由忆阻器和尖峰脉冲信号实现的示意图；
[0047]
图3为类脑芯片忆阻器阵列示意图；
[0048]
图4为本发明与传统更新方法应用于手写数字识别时的识别准确率对比图；
[0049]
图5为本发明与传统更新方法在忆阻器阵列训练过程中的功率对比图。
具体实施方式
[0050]
为了使本领域的人员更好的理解本发明方案，并使得本发明的上述目的、特征和有点能够更加清晰易懂，下面结合实施例对本发明作进一步详细的说明。
[0051]
按照本发明发明内容完整实施的实施例具体如下：
[0052]
如图1所示为本发明提出的适用于忆阻器的尖峰时序相关可塑性权重更新方法示意图，两条曲线分别代表尖峰时序相关可塑性权重更新目标和硬件层面的拟合结果，可见
通过忆阻器和尖峰脉冲信号的拟合可以近似实现本发明提出的更新方法。本发明与传统更新方法由忆阻器和尖峰脉冲信号实现的示意图如图2所示，从左至右四组图分别代表忆阻器前后端电压的四种情况：
[0053]
1.输入侧先于输出侧产生脉冲信号，忆阻器两端电压差大于正电压阈值，忆阻器电导值将增大；
[0054]
2.输入侧后于输出侧产生脉冲信号，忆阻器两端电压差小于负电压阈值，忆阻器电导值将减小；
[0055]
3.输入侧单独产生脉冲信号，忆阻器电导值不变；
[0056]
4.输出侧单独产生脉冲信号，在本发明更新方法中，忆阻器两端电压差小于负电压阈值，忆阻器电导值将减小；而在传统更新方法中，此时忆阻器电导值依然不变。
[0057]
基于忆阻器器件，可以设计类脑芯片忆阻器阵列进行分别进行基于本发明尖峰时序相关可塑性权重更新方法和传统更新方法的脉冲神经网络的训练，从而进行二者性能的对比，忆阻器阵列如图3所示。本实施例所针对的任务为手写数字识别，采用的数据集为美国国家标准与技术研究院收集整理的大型手写数字数据库(mnist)。该数据集包含60000张训练集图片，每一张图片包含784个像素，像素值范围为0到255。将每一个像素值编码为一段500毫秒的脉冲序列作为输入，其脉冲频率为像素值的四分之一赫兹，且满足泊松分布。脉冲神经网络训练过程如下：忆阻器阵列大小为784
×
100，784个电压脉冲序列从输入侧输入，输出侧对接收到的电流进行积分，达到输出侧阈值后，发放对外输出的脉冲信号以及反向输入的脉冲信号。输出侧输入的脉冲和输入侧脉冲共同作用，使得对应的忆阻器电导值改变，从而实现学习。忆阻器的电导值的初始值正态分布于1微西门子附近，在训练过程中其变化范围，即其最大电导值与最小电导值为10微西门子和0.1微西门子。调整尖峰时序相关可塑性权重更新目标，即其对应的脉冲信号和忆阻器模型的参数，使得最终的识别率达到最高，基于本发明和传统方法进行训练的最终参数值如表1所示。
[0058]
表1
[0059][0060]
将60000组训练集重复训练三次，每训练10000组数据进行一次识别率计算，得到
18次训练迭代过程中二者的识别准确率对比，如图4所示。基于本发明更新方法的忆阻器阵列实现了91.7％的手写数字识别率，而基于传统更新方法的忆阻器阵列实现了87.2％的识别率，本发明将识别率提升了4.5％。另外，基于本发明更新方法的忆阻器阵列训练消耗的功率为180.4毫瓦，基于传统方法消耗的功率为216.8毫瓦，本发明实现了16.8％的功率下降。
[0061]
基于本实施例，可得，本发明尖峰时序相关可塑性更新方法与传统更新方法具有两个显着优势：本发明下的脉冲神经网络经训练后能达到更高的识别准确率；本发明对应的类脑芯片忆阻器交叉阵列在训练过程中的功耗更低。本发明的优势主要来源于图2中第四种情况的差异，即：忆阻器输出侧单独产生脉冲信号，在本发明更新方法中，忆阻器两端电压差小于负电压阈值，忆阻器电导值将减小；而在传统更新方法中，此时忆阻器电导值依然不变。这一不同使得当使用本发明更新方法时，大部分忆阻器的电导值持续减小直至到达最小电导值，从而突显其余忆阻器的电导值变化特征，提高识别率；并且由于大部分忆阻器电导值减小，即电阻值增大，在输入电压信号相同的情况下，忆阻器阵列的功耗也更低。
[0062]
上述实施例为本发明的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合。简化均应为等效的置换方式，都包含在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。