一种基于泰勒公式的零知识机器学习转换方法与流程

    专利查询2026-05-04  7


    本发明属于零知识证明,具体涉及一种基于泰勒公式的零知识机器学习转换方法。


    背景技术:

    1、数字经济已成为国家经济发展的重要引擎,国家经济发展强调了其在推动经济转型升级、培育新动能方面的关键作用。要制定支持数字经济高质量发展政策,积极推进数字产业化、产业数字化,促进数字技术和实体经济深度融合,是在数字经济领域的重要举措。深化大数据、人工智能等研发应用,开展“人工智能+”行动,打造具有国际竞争力的数字产业集群,将为数字经济的发展提供强有力的支持。同时,适度超前建设数字基础设施,加快形成全国一体化算力体系,培育算力产业生态,将为数字经济的可持续发展奠定坚实基础。

    2、数字经济的蓬勃发展离不开新技术和新方法的支持。近一年来人工智能领域的迅速进步也对其发展提出了新的挑战和机遇。随着生成式ai大模型的不断涌现,用户日益增长的ai使用需要同不安全、不完善的ai即服务平台之间的矛盾日益突出,同时许多用户因为时间和经济成本等原因无法在本地训练或部署大模型,而零知识证明技术的发展为数字经济的安全与隐私保护提供了新的解决方案,通过使用该技术生成对训练以及预测过程的证明,可以确保数据隐私和模型安全,同时对于预测过程的证明可以做到不泄露模型的结构参数等细节信息,从而保护用户隐私,增强数字经济生态的可信度与安全性,然而市面上各种的零知识证明技术存在各种各样的问题。

    3、但是现有方案对于模型的计算过程向零知识证明转化的精度不够,由于零知识证明的计算基于密码学的有限域,且只能进行基本四则运算,而机器学习经常使用的激活函数如sigmoid函数包含ex这样的超越函数结构,无法在有限域上实现。因此,目前的一些方案只能对那些没有涉及超越函数结构的机器学习模型进行转换,应用范围不够广泛;还有一些方案利用诸如二次函数来代替机器学习模型非线性计算过程,这会有较明显的精度损失,从而导致模型的推理性能受到影响,为此我们提出一种基于泰勒公式的零知识机器学习转换方法。


    技术实现思路

    1、本发明的目的在于提供一种基于泰勒公式的零知识机器学习转换方法,主要解决零知识证明计算类型与神经网络的转换障碍的问题;具体来说,指数函数和幂函数等超越函数是在机器学习的激活层和反向传播中常用的基本函数结构,而这种类型的函数无法直接在有限域中进行运算,同时,由于泰勒公式可以用多项式来近似逼近此类超越函数,同时能够获得较高的拟合度,且更高的展开阶数也会增加拟合的准确度。基于此背景,本发明提出使用泰勒公式来对机器学习中的超越函数进行高精度的转换,解决机器学习代码无法有效转换为零知识证明原语的问题。

    2、为实现上述目的,本发明提供如下技术方案:一种基于泰勒公式的零知识机器学习转换方法,包括有以下步骤:

    3、s1、确定机器学习模型算法满足n阶可导:分析机器学习模型算法的中涉及超越函数的结构是否符合泰勒转换的要求,即满足n阶可导,n+1阶导数连续;

    4、s2、对机器学习模型的算法进行设定参数:在初始阶段确定一个展开阶数,即为机器学习模型的算法中的超越函数的可导阶数;

    5、s3、对机器学习模型的算法进行数据归一化处理:将机器学习模型的算法中的各项数据信息进行归一化处理,将数据限定在[0,1]的范围内;

    6、归一化处理的计算公式如下:

    7、其中,xnorm为归一化处理后的数据信息,x为输入的数据信息,xmin为输入数据信息中的最小值,xmax为输入数据信息中的最大值;

    8、s4、对机器学习模型的算法进行泰勒转换:将机器学习模型的算法中损失函数和激活函数中所有涉及使用超越函数的结构都通过泰勒展开式进行转换;

    9、泰勒公式在x=a处展开的式子如下:

    10、

    11、sigmoid函数中最小的可转换结构即e-x在x=0邻域内展开为例:

    12、

    13、s5、消除泰勒展开的精度明显损失:对于同一个在x=0处展开的泰勒展开式,其只能在x=0的邻域内拟合良好,超过该范围则会有较大偏差,原展开公式为ex,对ex进行泰勒转换后的函数

    14、数据经过归一化后就落在了一个较小范围内,从而只需要在x=a这一个邻域内进行一次泰勒展开,即应对本次激活函数所要进行的数据处理任务,避免在多个邻域展开导致的精度明显损失问题;

    15、s6、进行训练反馈调节展开导数:根据训练的速度以及精度训练过程反馈的数据对展开阶数进行调整缩放,即返回s2中的,重新设定可导阶数,从而平衡精度和性能。

    16、较佳的,所述s1中的超越函数包括有sigmoid函数,由于sigmoid函数单增以及反函数单增的性质,sigmoid函数作为最广泛使用的激活函数,公式如下:

    17、

    18、其中的e-x满足n阶可导,n+1阶导数连续,且其多次求导的结果都是e-x,因此满足泰勒转换的需求。

    19、较佳的,所述s1中的机器学习模型算法中的神经网络中涉及到的超越函数还包括sinx,类型,都满足n阶可导,n+1阶导数连续的要求,满足泰勒转换的需求。

    20、较佳的,所述s1中的机器学习模型算法中的损失函数常用的有交叉熵损失函数;

    21、公式如下:

    22、

    23、其中的主要结构logpi也满足n阶可导,n+1阶导数连续,因此同样满足泰勒转换的需求。

    24、较佳的,所述s2中的可导阶数的设定,用于快速的对泰勒展开式进行计算,提高计算的效率,并且泰勒展开式所使用到的各阶系数都是提前计算好的,减少泰勒展开式整个过程中的计算开销,提高计算的效率。

    25、较佳的,所述s4中的sigmoid函数中最小的可转换结构即e-x在x=0邻域内展开,且设定展开的可导阶数为3:

    26、

    27、接下来将转换后的式子代入原sigmoid函数,就得到了泰勒转换后的结果:

    28、

    29、得到了适合在有限域上进行运算的函数结构,方便进行零知识证明原语的转换以及证明的生成和验证。

    30、较佳的,所述sigmoid函数中的e-x在x=0邻域内展开式子中所使用的多项式系数,即1阶,2阶,...n阶导数的值提前计算好,并且对于ex,logx超越函数来说其任意阶导数在固定点的值都是唯一的,在初次计算处理后,后续计算过程中均直接取用。

    31、较佳的,所述s3中的归一化处理的步骤如下:

    32、s301、首先找到样本数据x的最小值xmin及最大值xmax;

    33、s302、计算系数为:

    34、s303、得到归一化到[0,1]区间的数据:xnorm=k(x-xmin)。

    35、较佳的,所述s4中的泰勒公式在进行展开的时候,还存在有泰勒公式的余项,并且余项为(x-a)n的无穷小;

    36、并且余项通过佩亚诺余项进行表示:rn(x)=o[(x-a)n];

    37、其中,o表示小o符号,表示当x趋近于a时;即余项的阶数比(x-a)n更高,将其忽略,不计算到泰勒展开公式内。

    38、较佳的,所述泰勒展开公式的运用:

    39、在机器学习模型算法进行计算的时候,通过输入层将数据信息进行输入,输入的数据信息通过隐藏层进行计算处理,并且先将输入的数据信息通过归一化处理,将数据限定在[0,1]的范围内,然后将输入输入到卷积公式中,并且通过激活函数进行计算处理,并且激活函数在计算处理的时候,先通过泰勒公式进行展开转换,然后通过卷积公式进行计算处理,且计算输出的数据信息通过输出层进行处理,并且将数据信息进行回归处理和损失函数计算,且损失函数在使用之前,通过泰勒公式进行展开转换,再对数据信息进行损失函数计算,然后通过模型多次训练后反馈调整展开阶数,构造零知识证明约束电路。

    40、与现有技术相比,本发明的有益效果是:

    41、本发明使用泰勒公式来进行转换,拥有更高的精度,可以在对原模型精确度影响更小的情况下,实现对模型的转换以及零知识约束电路的构造;

    42、神经网络中所使用的一些超越函数无法在有限域中直接计算的问题,对传统神经网络中的所涉及到的所有超越函数使用其对应的泰勒展开式进行替换;

    43、数据范围过大导致泰勒展开式在展开点较远处无法有效拟合的问题,对要转换的结构之前增加归一化处理,将数据限定在有限的范围内;

    44、降低计算开销和提高转换精度的矛盾,对使用泰勒转换后的函数进行训练优化,尽可能在模型精度没有明显损失的情况下获得较低的展开阶数,从而提升模型的整体性能;

    45、泰勒转换一定伴随着精度损失的问题,需要选择目标函数中尽可能小的结构来进行转换,从而尽量减少由转换带来的精度损失。


    技术特征:

    1.一种基于泰勒公式的零知识机器学习转换方法,其特征在于,包括有以下步骤:

    2.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s1中的超越函数包括有sigmoid函数,由于sigmoid函数单增以及反函数单增的性质,sigmoid函数作为最广泛使用的激活函数,公式如下:

    3.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s1中的机器学习模型算法中的神经网络中涉及到的超越函数还包括sinx,类型,都满足n阶可导,n+1阶导数连续的要求,满足泰勒转换的需求。

    4.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s1中的机器学习模型算法中的损失函数常用的有交叉熵损失函数;

    5.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s2中的可导阶数的设定,用于快速的对泰勒展开式进行计算,提高计算的效率,并且泰勒展开式所使用到的各阶系数都是提前计算好的,减少泰勒展开式整个过程中的计算开销,提高计算的效率。

    6.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s4中的sigmoid函数中最小的可转换结构即e-x在x=0邻域内展开,且设定展开的可导阶数为3:

    7.根据权利要求6所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述sigmoid函数中的e-x在x=0邻域内展开式子中所使用的多项式系数,即1阶,2阶,...n阶导数的值提前计算好,并且对于ex,logx超越函数来说其任意阶导数在固定点的值都是唯一的,在初次计算处理后,后续计算过程中均直接取用。

    8.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s3中的归一化处理的步骤如下:

    9.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述s4中的泰勒公式在进行展开的时候,还存在有泰勒公式的余项,并且余项为(x-a)n的无穷小;

    10.根据权利要求1所述的一种基于泰勒公式的零知识机器学习转换方法,其特征在于:所述泰勒展开公式的运用:


    技术总结
    本发明公开了一种基于泰勒公式的零知识机器学习转换方法;包括有以下步骤:S1、确定机器学习模型算法满足n阶可导;S2、对机器学习模型的算法进行设定参数;S3、对机器学习模型的算法进行数据归一化处理;S4、对机器学习模型的算法进行泰勒转换;S5、消除泰勒展开的精度明显损失;S6、进行训练反馈调节展开导数;本发明使用泰勒公式来进行转换,拥有更高的精度,可以在对原模型精确度影响更小的情况下,实现对模型的转换以及零知识约束电路的构造,神经网络中所使用的一些超越函数无法在有限域中直接计算的问题,对传统神经网络中的所涉及到的所有超越函数使用其对应的泰勒展开式进行替换,便于零知识机器学习。

    技术研发人员:潘东,李丙涛,郑永生,马己人,刘珂祯,范浩隆,冯媛,王瑞民
    受保护的技术使用者:郑州盛见网络科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-35323.html

    最新回复(0)