一种突触权重灵活生成的大规模脑仿真方法及系统与流程

    专利查询2026-02-02  5


    本发明属于脑仿真,具体涉及一种突触权重灵活生成的大规模脑仿真方法及系统。


    背景技术:

    1、人脑是迄今已知的最为复杂的结构,规模庞大,既有计算功能又有存储功能,但仍然是一个复杂度有限的物理结构:拥有约一千亿个神经元,每个神经元通过数千甚至上万个神经突触和其他神经元相连接。理解大脑功能仍是当代科学中最大的挑战之一。目前主要采用神经科学实验手段,从分子生物学和细胞生物学层次解析大脑神经元和突触的物理化学特性,理解神经元和突触的信号加工和信息处理特性。同时由于计算机硬件、神经科学和计算机科学的快速发展,人工大脑的研究和开发正在蓬勃发展,模拟由数十万或数百万个神经元组成的网络变得可行。

    2、目前主要通过建模的手段,对脉冲神经网络进行模拟来提高大脑动力学以及大脑功能的理解。然而,即使像老鼠这样的小型哺乳动物也有万亿级别的突触连接。在模拟运行之前,通常会生成描述哪些神经元是突触连接以及权重的信息,并存储到大型数组中。如果模拟这样一个规模的网络,每个突触连接都至少需要一个浮点值表征权重,这相当于几tb的数据量。对于单个计算机来说,这是不现实的存储开销。并且为了高效实现大规模脑仿真网络的模拟,往往在图形处理器上进行。现代图形处理器的片上内存相对较小,取而代之的是,将大部分的硅片面积用于算术逻辑单元。因此,巨大的存储开销仍是大规模脑仿真中的一个痛点。

    3、随着现代超级计算机的出现,模拟由数十万或数百万个神经元组成的网络变得可行。因此,几个大型脑项目,如neurongpu、genn,包括欧洲“人脑计划”(the human brainproject,以下简称“hbp”),都在努力构建大规模脑仿真框架,用于网络动力学的数学探索。nest就是hbp中一个关键的大脑模拟器。这些项目的目标不是为特定的大脑区域创建模型,而是创建通用的大脑模拟器。这些大脑模拟器也被恰当地称为大脑模拟引擎,它们不会与特定的候选模型绑定,而是适用于许多候选模型的执行,包括当前和未来的模型。

    4、nest是一个针对中央处理器做大规模脉冲神经网络仿真的模拟器。其在进行脉冲神经网络的构建时,会相应的生成突触的连接信息,包括突触的权重,然后保存在内存中。在进行脑仿真网络模拟时,脉冲传播需要将每个突触前神经元的突触输入添加到突触后神经元。此时,程序会读取之前保存的突触权重信息。这是一种突触权重提前生成的脑仿真系统。

    5、neurongpu是一个gpu库,用于脉冲神经网络的大规模模拟,以c++和cuda-c++编程语言编写。该库包含了基本的神经元模型,以及多种突触模型,主要是针对gpu端大规模脉冲神经网络的模拟。然而其工作仅仅支持突触权重的提前生成。即在模拟运行之前,它的参数,尤其是状态变量和突触连接需要初始化。这是通过模拟之前在主cpu上运行初始化算法来完成的,结果存储在cpu内存中,上传到图形处理器内存中,然后在模拟过程中使用。这也是一种突触权重提前生成的方式。

    6、此外,genn提出了一个框架,旨在促进大规模神经元网络计算模型的图形加速器的使用,也是仅针对图形处理器。其是一个代码生成工具,在生成gpu端代码时,无法同时支持人工指定和程序自动化决策,因此没有保留脉冲可塑性功能的完整性。

    7、综上所述,目前广泛使用的大规模脉冲神经网络模拟的框架nest和neurongpu,都仅仅支持突触的权重提前生成的方式。在模拟运行之前,它的参数,特别是状态变量和突触连接需要初始化。nest会保存到内存中。而neurongpu则通过在模拟之前在主cpu上运行初始化算法来完成的,结果存储在cpu内存中,上传到gpu内存中,然后在模拟过程中使用。这都带来了极大的存储开销,并且显存相对内存是更宝贵的计算资源。而genn仅仅是一个针对gpu端的代码生成工具。其在生成代码时仅仅支持gpu端,不能同时支持人工指定和程序自动化决策的方法。因此,其代码没有保留脉冲神经网络的突触可塑性功能。


    技术实现思路

    1、本发明的目的之一在于提供一种突触权重灵活生成的大规模脑仿真方法,同时支持突触权重提前生成和按需生成,保留了脑仿真网络突触可塑性功能的完整性。

    2、为实现上述目的,本发明所采取的技术方案为:

    3、一种突触权重灵活生成的大规模脑仿真方法,所述突触权重灵活生成的大规模脑仿真方法,包括:

    4、根据输入的脑仿真网络信息,创建神经元簇;

    5、判断突触权重的生成方式,所述生成方式为提前生成和/或按需生成;

    6、创建神经元簇之间的连接,若生成方式为提前生成,则保存突触连接的延迟和突触权重,若生成方式为按需生成,则保存突触连接的延迟;

    7、运行脑仿真网络模拟,在模拟过程中,若生成方式为提前生成,则直接读取保存的突触权重,若生成方式为按需生成,则随机生成突触权重。

    8、以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。

    9、作为优选,所述脑仿真网络信息包括神经元簇参数和神经元簇连接信息;

    10、所述创建神经元簇包括:根据所述神经元簇参数创建神经元簇,将本地神经元簇保存至同一个数组中,将远程神经元簇放置在一个空神经元簇中。

    11、作为优选,所述判断突触权重的生成方式包括:

    12、获取关键字信息,判断用户是否指定了突触权重的生成方式,若用户指定了突触权重的生成方式,则获取关键字信息中指定的生成方式,若用户未指定突触权重的生成方式,则根据脑仿真网络信息确定突触权重的生成方式。

    13、作为优选,所述根据脑仿真网络信息确定突触权重的生成方式,包括:

    14、读取脑仿真网络信息中的神经元簇参数,得到神经元簇中每个神经元的属性,根据每个神经元的属性确定每个神经元占用的空间;

    15、读取脑仿真网络信息中的神经元簇连接信息,得到每个突触的属性,根据每个突触的属性确定每个突触占用的空间;

    16、计算脑仿真网络中所有神经元占用的总空间作为按需生成所需空间,计算脑仿真网络中所有神经元和突触占用的总空间作为提前生成所需空间;

    17、若设备可用空间大于预设倍数的所述提前生成所需空间,则确定突触权重的生成方式为提前生成;否则,若设备可用空间大于所述按需生成所需空间,则确定突触权重的生成方式为按需生成;否则,提示可用空间不足。

    18、作为优选,所述若生成方式为提前生成,则保存突触连接的延迟和权重,包括:

    19、针对连接的每一对神经元,将源神经元id和目标神经元id,以及突触连接的延迟和权重保存至一个数组中。

    20、作为优选,所述若生成方式为按需生成,则保存突触连接的延迟,包括:

    21、针对连接的每一对神经元,将源神经元id和目标神经元id,以及突触连接的延迟保存至一个数组中。

    22、作为优选,所述神经元簇之间的连接的连接类型包括one_to_one、all_to_all、fixed_total_number、fixed_in_degree和fixed_out_degree五种。

    23、作为优选,所述若生成方式为按需生成,则随机生成权重,包括:根据脉冲传播中每个突触连接的源神经元id和目标神经元id随机生成权重。

    24、作为优选,所述随机生成权重中随机生成的为真随机数或伪随机数。

    25、本发明提供的一种突触权重灵活生成的大规模脑仿真方法,同时支持突触权重提前生成和按需生成,保留了脑仿真网络突触可塑性功能的完整性。在使用突触权重按需生成时,完全消除了保存突触权重数据的需要,能在很大程度上节省大规模脑仿真时占用的存储开销。

    26、本发明的目的之二在于提供一种突触权重灵活生成的大规模脑仿真系统,同时支持突触权重提前生成和按需生成,保留了脑仿真网络突触可塑性功能的完整性。

    27、为实现上述目的,本发明所采取的技术方案为:

    28、一种突触权重灵活生成的大规模脑仿真系统,包括处理器以及存储有若干计算机指令的存储器,所述计算机指令被处理器执行时实现所述突触权重灵活生成的大规模脑仿真方法的步骤。


    技术特征:

    1.一种突触权重灵活生成的大规模脑仿真方法,其特征在于,所述突触权重灵活生成的大规模脑仿真方法,包括:

    2.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述脑仿真网络信息包括神经元簇参数和神经元簇连接信息;

    3.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述判断突触权重的生成方式包括:

    4.如权利要求3所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述根据脑仿真网络信息确定突触权重的生成方式,包括:

    5.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述若生成方式为提前生成,则保存突触连接的延迟和权重,包括:

    6.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述若生成方式为按需生成,则保存突触连接的延迟,包括:

    7.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述神经元簇之间的连接的连接类型包括one_to_one、all_to_all、fixed_total_number、fixed_in_degree和fixed_out_degree五种。

    8.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述若生成方式为按需生成,则随机生成权重,包括:根据脉冲传播中每个突触连接的源神经元id和目标神经元id随机生成权重。

    9.如权利要求1所述的突触权重灵活生成的大规模脑仿真方法,其特征在于,所述随机生成权重中随机生成的为真随机数或伪随机数。

    10.一种突触权重灵活生成的大规模脑仿真系统,包括处理器以及存储有若干计算机指令的存储器,其特征在于,所述计算机指令被处理器执行时实现权利要求1至权利要求9中任意一项所述突触权重灵活生成的大规模脑仿真方法的步骤。


    技术总结
    本发明公开了一种突触权重灵活生成的大规模脑仿真方法及系统,包括:根据输入的脑仿真网络信息,创建神经元簇;判断突触权重的生成方式,生成方式为提前生成和/或按需生成;创建神经元簇之间的连接,若生成方式为提前生成,则保存突触连接的延迟和突触权重,若生成方式为按需生成,则保存突触连接的延迟;运行脑仿真网络模拟,在模拟过程中,若生成方式为提前生成,则直接读取保存的突触权重,若生成方式为按需生成,则随机生成突触权重。本发明同时支持突触权重提前生成和按需生成,保留了脑仿真网络突触可塑性功能的完整性。

    技术研发人员:彭耿,蔡炎松,梁华驹,王俊宜,喻富豪,朱苗苗,杜帅帅,董家欢
    受保护的技术使用者:中国电子科技南湖研究院
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33866.html

    最新回复(0)