填充用于人工智能加速器的输入数据的制作方法

    专利查询2026-07-10  5



    背景技术:

    1、本发明一般涉及硬件加速器领域,尤其涉及加速人工智能(ai)和机器学习。

    2、ai加速器是一类专用硬件加速器,其被设计为通过高性能并行计算机器来加速ai和机器学习应用,所述高性能并行计算机器被专门设计用于高效处理ai工作负荷,诸如人工神经网络和机器学习。典型的应用包括用于机器人技术、物联网和其他数据密集型或传感器驱动的任务的算法。

    3、人工智能加速器通常与处理器和存储器子系统一起存在于计算系统中。它们可以集成在同一芯片上或者通过外部i/o接口附接到处理器系统或者远程地附接在云计算环境中。


    技术实现思路

    1、在本发明的一个方面中,一种用于在将数据从存储器加载到数据消费者时填充数据的方法、计算机程序产品和系统包括:所述加载指令包括填充指令,所述加载指令包括读取指令,所述读取指令用于将以棒布局布置的输入数据从存储器读取到数据消费者,所述填充指令包括用于掩码元素的替换值和填充参数;从在填充指令中指定的参数导出掩码模式;通过掩码所述棒布局的无效元素来填充所述输入数据;以及为数据消费者生成包括填充数据的数据棒集合。经由填充指令从加载指令即时应用填充通过消除任何预处理步骤而具有大的性能益处。填充在指令中指定的参数包括布局参数和填充范围参数。棒布局能够被分成预定义数量的切片,并且掩码无效元素包括:识别棒中的无效切片,所述无效切片包括无效元素,以及确定具有有效元素的一部分和无效元素的一部分的起始切片。填充指令以6位指令提供指定的数据格式,包括数据格式、跨切片维度类型和棒的键维度。

    2、在本发明的另一个方面中,一种用于在将数据从存储器加载到数据消费者的同时填充数据的方法、计算机程序产品和系统包括响应于加载指令而将数据棒集合传送到数据消费者。

    3、在本发明的又一方面中,一种用于在将数据从存储器加载到数据消费者时填充数据的方法、计算机程序产品和系统包括:解码所述填充指令以确定所述替换值和所述掩码模式。

    4、在本发明的又一方面中,一种方法、计算机程序产品和系统包括:解码填充指令以确定用于棒化的输入数据的集合的掩码模式的替换填充值和填充参数,所述填充指令被嵌入在用于所述棒化的输入数据的第一加载指令中;从所述填充参数中导出掩码模式;从棒化的输入数据的集合为请求的消费者生成数据棒集合,该数据棒集合根据包括替换填充值的导出的掩码模式来填充;以及将所导出的掩码模式和相关联的替换填充值应用于后续加载指令以加载后续输入数据,所述后续加载指令等效于第一加载指令,所述后续输入数据在向请求消费者传输期间被填充。棒化的输入数据的集合被布置为棒,每个棒可被分离成预定数目的切片。替换填充值是参考填充值寄存器文件来确定的。

    5、在本发明的又一方面中,一种方法、计算机程序产品和系统包括:通过掩码每个棒的无效元素来填充所述棒化的输入数据的集合以生成所述数据棒集合,掩码棒的无效元素包括:识别所述棒中的无效切片,所述无效切片包括无效元素,以及确定具有有效元素的一部分和无效元素的一部分的起始切片。棒化的输入数据的集合被布置为棒,每个棒可被分离成预定数目的切片。



    技术特征:

    1.一种用于在将数据从存储器加载到数据消费者时填充数据的方法,所述方法包括:

    2.根据权利要求1所述的方法,其中,在所述填充指令中指定的参数包括布局参数及填充范围参数。

    3.根据权利要求1所述的方法,还包括:

    4.根据权利要求1所述的方法,还包括:

    5.根据权利要求1所述的方法,其中,

    6.根据权利要求1所述的方法,其中,所述填充指令以6位指令提供所指定的数据格式,所述6位指令包括数据格式、跨切片维度类型和棒的键维度。

    7.根据权利要求1所述的方法,其中,所述输入数据被布置在其中的所述棒布局是预定大小,所述预定大小与执行所述导出和填充步骤的加速器的simd(单指令多数据)容量匹配。

    8.一种计算机程序产品,包括计算机可读存储介质,所述计算机可读存储介质具有存储在其中的指令集合,所述指令集合在由处理器执行时使所述处理器执行方法,所述方法包括:

    9.根据权利要求8所述的计算机程序产品,其中,在所述填充指令中指定的参数包括布局参数及填充范围参数。

    10.根据权利要求8所述的计算机程序产品,还使所述处理器执行方法,所述方法包括:

    11.根据权利要求8所述的计算机程序产品,还使所述处理器执行方法,所述方法包括:

    12.根据权利要求8所述的计算机程序产品,其中:

    13.根据权利要求8所述的计算机程序产品,其中,所述填充指令以6位指令提供所指定的数据格式,所述6位指令包括数据格式、跨切片维度类型和棒的键维度。

    14.一种用于在将数据从存储器加载到数据消费者时填充数据的计算机系统,所述计算机系统包括:

    15.根据权利要求14所述的计算机系统,其中,在所述填充指令中指定的参数包括布局参数和填充范围参数。

    16.根据权利要求14所述的计算机系统,还使所述处理器集合执行方法,所述方法包括:

    17.根据权利要求14所述的计算机系统,还使所述处理器集合执行方法,所述方法包括:

    18.根据权利要求14所述的计算机系统,其中,

    19.根据权利要求14所述的计算机系统,其中,所述填充指令以6位指令提供所指定的数据格式,所述6位指令包括数据格式、跨切片维度类型和棒的键维度。

    20.一种计算机实现的方法,包括:

    21.根据权利要求20所述的方法,其中,所述棒化的输入数据的集合被布置为多个棒,每个棒能够被分成预定义数量的切片。

    22.根据权利要求21所述的方法,还包括:

    23.如权利要求20所述的方法,其中,所述替换填充值是参考填充值寄存器文件来确定的。

    24.根据权利要求20所述的方法,还包括:


    技术总结
    通过将输入数据排列成由组合以形成棒页的数据棒组成的统一结构,来执行处理输入数据以便传送到诸如人工智能引擎的数据消费者。棒是任何尺寸合适的输入数据元素集合,由此棒的尺寸是固定的。为具有用于消耗部分棒的某些范围的无效数据的数据棒建立掩码模式,同时保持所传送的输入数据的有效性。基于设置有效掩码和值(SAMV)指令导出掩码模式。导出的掩码模式将被转发以用于向数据消费者发送后续加载指令。

    技术研发人员:C·里彻特纳,V·斯里尼瓦桑,S·K·舒克拉,S·文卡塔拉马尼,K·戈帕拉克里希南,H·霍巴赫,R·P·菲古利,王维,李宇龙,M·鲁兹
    受保护的技术使用者:国际商业机器公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-36963.html

    最新回复(0)