基于不确定度的工业缺陷程度推断方法及系统

1.本发明涉及工业质检技术领域，具体地，涉及一种基于不确定度的工业缺陷程度推断方法及系统。


背景技术：

2.工业产品表面缺陷检测是评价产品质量的重要环节，是保证产品质量和生产效率的重要手段。产品的表面缺陷检测是近年来制造业中格外关注的一项技术问题。作为生产制造过程中必不可少的一步，表面缺陷检测广泛应用于各工业领域，包括3c、半导体及电子、汽车、化工、医药、轻工、军工等行业，催生了众多上下游企业。自20世纪开始，表面缺陷检测大致经历了三个阶段，分别是人工目视法检测、单一机电或光学技术检测以及机器视觉检测。随着光电元器件的快速发展，以及计算机技术中图像处理、人工智能等算法的深入研究，以机器视觉为代表的先进方法在工业质检中得到越来越广泛的应用。
3.目前的工业产品表面缺陷检测方法，主要是通过直接检测出相关工业缺陷特征进行工业质检，但是，指标过于单一，并且，将工业产品质量简单分类为若干离散类别，如优，良，不合格等等，没有考虑到工业缺陷程度是连续的，同一类别间缺陷程度存在不同，样本中标注质量较差的样本会干扰模型的学习，使得模型的预测结果较差。
4.专利文献cn111754497a公开了一种基于几何代数的工业缺陷检测方法和系统。该系统引入ga-u-net对图像中工业产品表面缺陷严重程度打分，然后由缺陷过滤器得到得分高于预设阈值的图像像素，然后再由连通域分析模块得到含有完整缺陷的图像，然后再由基于几何代数模糊池化的堆叠式深度神经网络对含有完整缺陷的3d图像进行缺陷类别评估，完成对工业缺陷的检测与分类。但该方法并未有效地解决指标过于单一，将工业产品质量简单分类为若干离散类别，没有考虑到工业缺陷程度是连续的，同一类别间缺陷程度存在不同，样本中标注质量较差的样本会干扰模型的学习，使得模型的预测结果较差的问题。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于不确定度的工业缺陷程度推断方法及系统。
6.根据本发明提供的一种基于不确定度的工业缺陷程度推断方法，包括如下步骤：
7.步骤1：根据工业产品的原始图像数据，得到训练图像数据；
8.步骤2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型；
9.步骤3：使用训练图像数据对待训练检测模型进行训练，得到已训练检测模型；
10.步骤4：根据已训练检测模型输出的不确定度数值推断工业产品的工业缺陷程度。
11.优选地，步骤2，包括：
12.步骤201：根据编码解码结构的卷积神经网络模型进行图像特征提取，得到特征图；
13.步骤202：根据全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；
14.步骤203：根据特征图、分类预测器、回归预测器和不确定度预测器，得到分类信息、回归信息和不确定度信息；
15.步骤204：根据编码解码结构的卷积神经网络模型、分类预测器、回归预测器和不确定度预测器，得到待训练检测模型。
16.优选地，步骤3，包括：
17.步骤301：根据训练图形数据和待训练检测模型，得到损失函数；
18.步骤302：通过梯度反向传播算法，得到待训练检测模型中可学习参数的梯度；
19.步骤303：根据优化器相关配置对学习参数进行更新，继续进行前向传播；
20.步骤304：当迭代至损失函数满足预设条件后，完成待训练检测模型的训练，得到已训练检测模型。
21.优选地，步骤4，包括：
22.步骤401：将待检测工业图像输入已训练检测模型，得到分类预测器输出的分类信息、回归预测器输出的回归信息和不确定度预测器输出的不确定信息；
23.步骤402：使用过滤器对分类信息进行过滤，得到过滤结果；
24.步骤403：根据过滤结果，提取出对应的回归数值和不确定度数值；
25.步骤404：根据不确定度数值推断待检测工业图像的工业缺陷程度。
26.优选地，步骤1，包括：
27.步骤101：获取工业产品的原始图像数据；
28.步骤102：对原始图像数据进行图像处理，得到训练图像数据。
29.根据本发明提供的一种基于不确定度的工业缺陷程度推断系统，包括：
30.模块m1：根据工业产品的原始图像数据，得到训练图像数据；
31.模块m2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型；
32.模块m3：使用训练图像数据对待训练检测模型进行训练，得到已训练检测模型；
33.模块m4：根据已训练检测模型输出的不确定度数值推断工业产品的工业缺陷程度。
34.优选地，模块m2，包括：
35.子模块m201：根据编码解码结构的卷积神经网络模型进行图像特征提取，得到特征图；
36.子模块m202：根据全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；
37.子模块m203：根据特征图、分类预测器、回归预测器和不确定度预测器，得到分类信息、回归信息和不确定度信息；
38.子模块m204：根据编码解码结构的卷积神经网络模型、分类预测器、回归预测器和不确定度预测器，得到待训练检测模型。
39.优选地，模块m3，包括：
40.子模块m301：根据训练图形数据和待训练检测模型，得到损失函数；
41.子模块m302：通过梯度反向传播算法，得到待训练检测模型中可学习参数的梯度；
42.子模块m303：根据优化器相关配置对学习参数进行更新，继续进行前向传播；
43.子模块m304：当迭代至损失函数满足预设条件后，完成待训练检测模型的训练，得
到已训练检测模型。
44.优选地，模块m4，包括：
45.子模块m401：将待检测工业图像输入已训练检测模型，得到分类预测器输出的分类信息、回归预测器输出的回归信息和不确定度预测器输出的不确定信息；
46.子模块m402：使用过滤器对分类信息进行过滤，得到过滤结果；
47.子模块m403：根据过滤结果，提取出对应的回归数值和不确定度数值；
48.子模块m404：根据不确定度数值推断待检测工业图像的工业缺陷程度。
49.优选地，模块m1，包括：
50.子模块m101：获取工业产品的原始图像数据；
51.子模块m102：对原始图像数据进行图像处理，得到训练图像数据。
52.与现有技术相比，本发明具有如下的有益效果：
53.1、本发明通过模型预测的不确定度数值完成缺陷程度推断，丰富了工业质检的方法。
54.2、本发明给出的不确定度是连续的数值，并不是若干离散分类，与工业产品连续的缺陷程度相适应。
55.3、本发明通过模型预测的不确定度，自适应降低标注质量较差样本的权重，使模型关注在高标注质量的样本上，模型精度更好。
附图说明
56.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
57.图1为本发明的流程示意图；
58.图2为本发明的逻辑示意图。
具体实施方式
59.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
60.图1为本发明的流程示意图，如图1所示，本发明提供了一种基于不确定度的工业缺陷程度推断方法，包括如下步骤：
61.步骤1：根据工业产品的原始图像数据，得到训练图像数据。
62.优选地，步骤1，包括：步骤101：获取工业产品的原始图像数据；步骤102：对原始图像数据进行图像处理，得到训练图像数据。
63.具体地，为了得到可用于推断工业缺陷程度的图像数据，首先针对具体工业质检应用场景，选择镜头光源等相关硬件，使得采集到的图像数据中可以反映出对应工业产品的缺陷程度。硬件部分搭建完成后，对相机拍摄分辨率等参数进行设定，拍摄得到实际工业质检应用场景的原始图像数据。进一步，对原始图像数据进行图像处理，得到用于训练神经网络的数据。根据实际工业质检场景需求，完成原始图像数据中分类信息与回归信息的标
注，得到训练图像数据。
64.本发明中对于图像处理的具体类型不做限制，示例性的，可以为格式转换统一，数据增强等。
65.步骤2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型。
66.优选地，步骤2，包括：步骤201：根据编码解码结构的卷积神经网络模型进行图像特征提取，得到特征图；步骤202：根据全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；步骤203：根据特征图、分类预测器、回归预测器和不确定度预测器，得到分类信息、回归信息和不确定度信息；步骤204：根据编码解码结构的卷积神经网络模型、分类预测器、回归预测器和不确定度预测器，得到待训练检测模型。
67.具体地，搭建用于推断工业缺陷程度的神经网络，首先使用编码解码结构的卷积神经网络提取出输入图像的特征图，这部分骨干网络采用迁移学习的思想，将在大型通用视觉数据集上预训练后得到的模型参数作为实际工业质检模型训练时的初始参数。沙漏网络以及残差网络变体等都可以作为骨干网络提取特征。接下来，使用三个平行分支分别预测分类信息，回归信息以及不确定度信息。三个平行分支的模型都是全卷积神经网络，在网络搭建完成后，得到待训练检测模型。
68.其中，三个平行分支包括：分类分支、回归分支和不确定度分支，分类分支预测的是输入的原始图像数据中不同位置属于各个目标类别的置信度；回归分支预测的是工业质检图像中的目标尺寸信息；不确定度分支用于自适应给出对应预测结果的不确定度，用于推断工业缺陷程度。
69.步骤3：使用训练图像数据对待训练检测模型进行训练，得到已训练检测模型。
70.优选地，步骤3，包括：步骤301：根据训练图形数据和待训练检测模型，得到损失函数；步骤302：通过梯度反向传播算法，得到待训练检测模型中可学习参数的梯度；步骤303：根据优化器相关配置对学习参数进行更新，继续进行前向传播；步骤304：当迭代至损失函数满足预设条件后，完成待训练检测模型的训练，得到已训练检测模型。
71.具体地，使用训练图像数据，输入待训练检测模型，完成模型前向计算。
72.其中，分类分支采用聚焦损失进行监督，可以通过公式(1)表示：
[0073][0074]
其中，lk表示分类损失；n表示图像中目标数量；表示预测结果；表示目标结果；α表示超参；β表示超参；x表示横坐标；y表示纵坐标；c表示通道。系数和部分用于缓解工业质检场景下难易样本不平衡的问题，降低图像中大量简单背景样本的权重，使训练过程更关注到重要的前景部分。
[0075]
进一步地，回归分支和不确定度分支的预测结果共同形成了预测的高斯分布，可以用公式(2)表示：
[0076]
[0077]
其中，θ表示卷积神经网络中所有可训练参数的代称，表示预测的的不确定度，表示预测分布，δ
x
表示横向位移。训练时的目标分布是狄拉克函数，可以用公式(3)表示：
[0078][0079]
其中，表示目标分布；表示狄拉克函数；δ
x
表示横向位移；表示目标横向位移。
[0080]
具体地，回归分支和不确定度分支的联合损失函数基于预测的高斯分布和目标分布的kl散度(kullback-leibler divergence)得到，可以用公式(4)表示：
[0081][0082]
其中，表示预测分布与目标分布的kl散度；表示目标分布的熵。
[0083]
经过推导后，具体地推导包括去除常数部分，变量代换等，得到回归分支和不确定度分支的损失函数，可以用公式(5)表示：
[0084][0085]
其中，l
du
表示回归分支与不确定度分支的联合损失；n表示图像中目标数量；表示权重系数；表示权重系数；表示目标横向位移；表示预测横向位移；表示横向预测不确定度；表示纵向预测不确定度；表示目标纵向位移；表示预测纵向位移。
[0086]
其中，损失函数计算了待训练检测模型实际输出和期望输出之间的差距，通过梯度反向传播算法可以计算得到待训练检测模型中可学习参数的梯度，根据优化器相关配置完成这些可学习参数的更新，继续进行前向传播，多次迭代，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
[0087]
步骤4：根据已训练检测模型输出的不确定度数值推断工业产品的工业缺陷程度。
[0088]
优选地，步骤4，包括：步骤401：将待检测工业图像输入已训练检测模型，得到分类预测器输出的分类信息、回归预测器输出的回归信息和不确定度预测器输出的不确定信息；步骤402：使用过滤器对分类信息进行过滤，得到过滤结果；步骤403：根据过滤结果，提取出对应的回归数值和不确定度数值；步骤404：根据不确定度数值推断待检测工业图像的工业缺陷程度。
[0089]
具体地，将得到的已训练检测模型用于实际工业缺陷程度推断场景中。将工业质检场景下拍摄的待检测工业图像输入已训练检测模型，已训练检测模型的三个平行分支的预测器分别输出预测的分类信息，回归信息与不确定度信息。分类预测张量不同的通道代表着不同类别，不同的位置对应着原图下采样后的位置，具体的数值代表着当前位置属于对应类别的置信度。使用过滤器去除分类置信度低于一定阈值的结果，对应的回归数值和
不确定度数值被提取出来形成最终的模型检测结果。已训练检测模型输出的不确定度用于推断工业缺陷程度，不确定度数值越大，即代表当前样本与正常合格样本出入越大，该工业样本缺陷程度越严重。
[0090]
图2为本发明的逻辑示意图，如图2所示，包括，输入图像到编码解码特征提取器，进行特征提取，得到图像特征后，将图像特征分别输入三个平行分支的预测器，即分类分支的分类预测器、回归分支的回归预测器和不确定度分支的不确定度预测器，得到对应的预测分类张量、预测回归张量和预测不确定度张量，进一步地，将预测分类张量通过过滤器去除分类置信度低于一定阈值的结果，同时，对应的预测回归张量和预测不确定度张量被提取出来得到对应的回归信息和不确定度信息，形成最终的检测结果，不确定度用于推断工业缺陷程度，不确定度数值越大，即代表当前样本与正常合格样本出入越大，该工业样本缺陷程度越严重。
[0091]
本发明还提供了一种基于不确定度的工业缺陷程度推断系统，系统包括：
[0092]
模块m1：根据工业产品的原始图像数据，得到训练图像数据。
[0093]
优选地，模块m1，包括：子模块m101：获取工业产品的原始图像数据；子模块m102：对原始图像数据进行图像处理，得到训练图像数据。
[0094]
模块m2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型。
[0095]
优选地，模块m2，包括：子模块m201：根据编码解码结构的卷积神经网络模型进行图像特征提取，得到特征图；子模块m202：根据全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；子模块m203：根据特征图、分类预测器、回归预测器和不确定度预测器，得到分类信息、回归信息和不确定度信息；子模块m204：根据编码解码结构的卷积神经网络模型、分类预测器、回归预测器和不确定度预测器，得到待训练检测模型。
[0096]
模块m3：使用训练图像数据对待训练检测模型进行训练，得到已训练检测模型。
[0097]
优选地，模块m3，包括：子模块m301：根据训练图形数据和待训练检测模型，得到损失函数；子模块m302：通过梯度反向传播算法，得到待训练检测模型中可学习参数的梯度；子模块m303：根据优化器相关配置对学习参数进行更新，继续进行前向传播；子模块m304：当迭代至损失函数满足预设条件后，完成待训练检测模型的训练，得到已训练检测模型。
[0098]
模块m4：根据已训练检测模型输出的不确定度数值推断工业产品的工业缺陷程度。
[0099]
优选地，模块m4，包括：子模块m401：将待检测工业图像输入已训练检测模型，得到分类预测器输出的分类信息、回归预测器输出的回归信息和不确定度预测器输出的不确定信息；子模块m402：使用过滤器对分类信息进行过滤，得到过滤结果；子模块m403：根据过滤结果，提取出对应的回归数值和不确定度数值；子模块m404：根据不确定度数值推断待检测工业图像的工业缺陷程度。
[0100]
本发明解决的技术问题是：
[0101]
1、通过直接检测出相关工业缺陷特征进行工业质检，指标过于单一。
[0102]
2、将工业产品质量简单分类为若干离散类别，如优，良，不合格等等，没有考虑到工业缺陷程度是连续的，同一类别间缺陷程度存在不同。
[0103]
3、样本中标注质量较差的样本会干扰模型的学习，使得模型的预测结果较差。
[0104]
本发明的技术原理是：
[0105]
1、本发明提出了新的工业缺陷程度的推断方法，通过预测不确定度来推断工业缺陷的严重程度，解决了工业质检场景下存在的下列问题：检测指标过于单一，对质量粗糙离散分类，标注质量较差的样本影响模型性能等。
[0106]
2、本发明提出了新的用于推断工业缺陷程度的检测模型，通过使用三平行分支的卷积神经网络结构预测工业目标的分类信息，回归信息以及不确定度信息，解决了工业质检模型超参调整困难，模型鲁棒性差，无法解决复杂工业场景的问题。
[0107]
与现有技术相比，本发明具有如下的有益效果：
[0108]
1、本发明提出了一种新的工业质检指标，通过模型预测的不确定度数值完成缺陷程度推断，丰富了工业质检的方法。
[0109]
2、本发明给出的不确定度是连续的数值，并不是若干离散分类，与工业产品连续的缺陷程度相适应。
[0110]
3、本发明通过预测的不确定度，自适应降低标注质量较差样本的权重，使模型关注在高标注质量的样本上，模型精度更好。
[0111]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0112]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种基于不确定度的工业缺陷程度推断方法，其特征在于，所述方法包括：步骤1：根据工业产品的原始图像数据，得到训练图像数据；步骤2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型；步骤3：使用所述训练图像数据对所述待训练检测模型进行训练，得到已训练检测模型；步骤4：根据所述已训练检测模型输出的不确定度数值推断所述工业产品的工业缺陷程度。2.根据权利要求1所述的基于不确定度的工业缺陷程度推断方法，其特征在于，所述步骤2，包括：步骤201：根据编码解码结构的所述卷积神经网络模型进行图像特征提取，得到特征图；步骤202：根据所述全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；步骤203：根据所述特征图、所述分类预测器、所述回归预测器和所述不确定度预测器，得到分类信息、回归信息和不确定度信息；步骤204：根据编码解码结构的所述卷积神经网络模型、所述分类预测器、所述回归预测器和所述不确定度预测器，得到所述待训练检测模型。3.根据权利要求1或2所述的基于不确定度的工业缺陷程度推断方法，其特征在于，所述步骤3，包括：步骤301：根据所述训练图形数据和所述待训练检测模型，得到损失函数；步骤302：通过梯度反向传播算法，得到所述待训练检测模型中可学习参数的梯度；步骤303：根据优化器相关配置对所述学习参数进行更新，继续进行前向传播；步骤304：当迭代至所述损失函数满足预设条件后，完成所述待训练检测模型的训练，得到所述已训练检测模型。4.根据权利要求1或2所述的基于不确定度的工业缺陷程度推断方法，其特征在于，所述步骤4，包括：步骤401：将待检测工业图像输入所述已训练检测模型，得到所述分类预测器输出的所述分类信息、所述回归预测器输出的所述回归信息和所述不确定度预测器输出的所述不确定信息；步骤402：使用过滤器对分类信息进行过滤，得到过滤结果；步骤403：根据所述过滤结果，提取出对应的回归数值和不确定度数值；步骤404：根据所述不确定度数值推断所述待检测工业图像的工业缺陷程度。5.根据权利要求4所述的基于不确定度的工业缺陷程度推断方法，其特征在于，所述步骤1，包括：步骤101：获取所述工业产品的所述原始图像数据；步骤102：对所述原始图像数据进行图像处理，得到所述训练图像数据。6.一种基于不确定度的工业缺陷程度推断系统，其特征在于，所述系统包括：模块m1：根据工业产品的原始图像数据，得到训练图像数据；模块m2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型；模块m3：使用所述训练图像数据对所述待训练检测模型进行训练，得到已训练检测模
型；模块m4：根据所述已训练检测模型输出的不确定度数值推断所述工业产品的工业缺陷程度。7.根据权利要求6所述的基于不确定度的工业缺陷程度推断系统，其特征在于，所述模块m2，包括：子模块m201：根据编码解码结构的所述卷积神经网络模型进行图像特征提取，得到特征图；子模块m202：根据所述全卷积神经网络构建分类预测器、回归预测器和不确定度预测器；子模块m203：根据所述特征图、所述分类预测器、所述回归预测器和所述不确定度预测器，得到分类信息、回归信息和不确定度信息；子模块m204：根据编码解码结构的所述卷积神经网络模型、所述分类预测器、所述回归预测器和所述不确定度预测器，得到所述待训练检测模型。8.根据权利要求6或7所述的基于不确定度的工业缺陷程度推断系统，其特征在于，所述模块m3，包括：子模块m301：根据所述训练图形数据和所述待训练检测模型，得到损失函数；子模块m302：通过梯度反向传播算法，得到所述待训练检测模型中可学习参数的梯度；子模块m303：根据优化器相关配置对所述学习参数进行更新，继续进行前向传播；子模块m304：当迭代至所述损失函数满足预设条件后，完成所述待训练检测模型的训练，得到所述已训练检测模型。9.根据权利要求6或7所述的基于不确定度的工业缺陷程度推断系统，其特征在于，所述模块m4，包括：子模块m401：将待检测工业图像输入所述已训练检测模型，得到所述分类预测器输出的所述分类信息、所述回归预测器输出的所述回归信息和所述不确定度预测器输出的所述不确定信息；子模块m402：使用过滤器对分类信息进行过滤，得到过滤结果；子模块m403：根据所述过滤结果，提取出对应的回归数值和不确定度数值；子模块m404：根据所述不确定度数值推断所述待检测工业图像的工业缺陷程度。10.根据权利要求9所述的基于不确定度的工业缺陷程度推断系统，其特征在于，所述模块m1，包括：子模块m101：获取所述工业产品的所述原始图像数据；子模块m102：对所述原始图像数据进行图像处理，得到所述训练图像数据。

技术总结
本发明提供了一种基于不确定度的工业缺陷程度推断方法及系统，包括：步骤1：根据工业产品的原始图像数据，得到训练图像数据；步骤2：根据卷积神经网络模型和全卷积神经网络，构建待训练检测模型；步骤3：使用训练图像数据对待训练检测模型进行训练，得到已训练检测模型；步骤4：根据已训练检测模型输出的不确定度数值推断工业产品的工业缺陷程度。与现有技术相比，本发明使用不确定度推断当前工业产品的缺陷程度，避免了工业质检指标过于单一，对质量粗糙离散分类，标注质量较差样本影响模型性能等问题。能等问题。能等问题。


技术研发人员：乐心怡 孔泽隆 关新平 陈彩莲
受保护的技术使用者：上海交通大学
技术研发日：2022.02.16
技术公布日：2022/5/25