本发明涉及数据处理，尤其涉及一种基于改进的大语言模型推理运行框架的数据处理方法。
背景技术：
1、在当前的语言类大模型推理中，传统方法通常使用开源的计算框架，通过串联一个个独立小算子构成一个完整计算图进行推理。
2、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，传统的方法对于设备存储有较大压力，每个独立算子需要单独为其输入输出数据申请存储空间，导致额外的内存碎片产生。同时，当同一个设备上存在多个存储器时，可能出现存储器之间负载不均匀的情况。另外的，对于每个独立算子的效率，包括其数据搬运时的效率，由于内存亲和性以及数据形状对硬件不友好的原因，不能得到保证，进而导致整体推理性能的下降。
技术实现思路
1、本发明提供了一种基于改进的大语言模型推理运行框架的数据处理方法，以实现大语言模型下存储器的负载均衡，提高了模型的推理性能。
2、根据本发明的一方面，提供了一种基于改进的大语言模型推理运行框架的数据处理方法，其中，包括：
3、获取待处理的数据，并对改进的大语言模型推理运行框架对应的目标大语言模型进行加载处理；
4、其中，所述改进的大语言模型推理运行框架包括大语言模型加载阶段、预填充阶段和生成阶段；基于改进的大语言模型推理运行框架进行数据处理包括一次预填充阶段的数据处理和多次生成阶段的数据处理；所述生成阶段的处理数据包括激活张量数据和键值缓存数据；
5、在预填充阶段中，对所述待处理的数据进行预填充数据处理操作，得到预填充阶段处理完成数据；
6、在生成阶段中，对所述预填充阶段处理完成数据中的所有的激活张量数据和键值缓存数据分别进行生成阶段处理，得到生成阶段处理完成数据。
7、根据本发明的另一方面，提供了一种基于改进的大语言模型推理运行框架的数据处理装置，其中，包括：
8、待处理的数据获取模块，用于获取待处理的数据，并对改进的大语言模型推理运行框架对应的目标大语言模型进行加载处理；
9、其中，所述改进的大语言模型推理运行框架包括大语言模型加载阶段、预填充阶段和生成阶段；基于改进的大语言模型推理运行框架进行数据处理包括一次预填充阶段的数据处理和多次生成阶段的数据处理；所述生成阶段的处理数据包括激活张量数据和键值缓存数据；
10、预填充阶段处理完成数据确定模块，用于在预填充阶段中，对所述待处理的数据进行预填充数据处理操作，得到预填充阶段处理完成数据；
11、生成阶段处理完成数据确定模块，用于在生成阶段中，对所述预填充阶段处理完成数据中的所有的激活张量数据和键值缓存数据分别进行生成阶段处理，得到生成阶段处理完成数据。
12、根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明任一实施例所述的一种基于改进的大语言模型推理运行框架的数据处理方法。
13、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种基于改进的大语言模型推理运行框架的数据处理方法。
14、本发明实施例的技术方案，通过获取待处理的数据，并对改进的大语言模型推理运行框架对应的目标大语言模型进行加载处理；其中，所述改进的大语言模型推理运行框架包括大语言模型加载阶段、预填充阶段和生成阶段；基于改进的大语言模型推理运行框架进行数据处理包括一次预填充阶段的数据处理和多次生成阶段的数据处理；所述生成阶段的处理数据包括激活张量数据和键值缓存数据；在预填充阶段中，对所述待处理的数据进行预填充数据处理操作，得到预填充阶段处理完成数据；在生成阶段中，对所述预填充阶段处理完成数据中的所有的激活张量数据和键值缓存数据分别进行生成阶段处理，得到生成阶段处理完成数据。解决了由于内存亲和性以及数据形状对硬件不友好的原因进而导致整体推理性能的下降、存储器之间负载不均匀的问题，实现了大语言模型下存储器的负载均衡，提高了模型的推理性能，使得文本吞吐更高更快。
15、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种基于改进的大语言模型推理运行框架的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述在预填充阶段中，对所述待处理的数据进行预填充数据处理操作，得到预填充阶段处理完成数据，包括：
3.根据权利要求1所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取待处理的数据，并对改进的大语言模型推理运行框架对应的目标大语言模型进行加载处理之前，还包括：
5.根据权利要求4所述的方法，其特征在于，在所述对所述四维数据矩阵权重进行形状转置处理，得到形状转置处理完成的四维数据矩阵权重之后，还包括：
6.根据权利要求4所述的方法，其特征在于，在所述对所述四维数据矩阵权重进行形状转置处理，得到形状转置处理完成的四维数据矩阵权重之后，还包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述奇数层键值缓存数据和偶数层键值缓存数据，通过预先设置的键值缓存数据分布式存储方法进行数据存储分配处理，生成键值缓存数据存储分配结果，包括：
8.一种基于改进的大语言模型推理运行框架的数据处理装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的一种基于改进的大语言模型推理运行框架的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-7中任一项所述的一种基于改进的大语言模型推理运行框架的数据处理方法。
