基于图像仿真增强的花边布匹表面缺陷检测方法及装置

1.本技术涉及数据驱动的产品表面缺陷检测技术领域，特别涉及一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置。


背景技术：

2.对工业产品的表面缺陷进行检测，是企业生产质量控制中的重要一环。现在企业的便面缺陷检测往往依赖人工进行，这会带来经营管理成本提高、检测质量不稳定、缺检漏检现象出现、工人视觉损伤等问题。
3.相关技术中，使用传统计算机视觉技术进行表面缺陷检测的方法主要有基于结构的方法、基于频域的方法、基于统计的方法、基于模型的方法等，这些传统方法往往具有依赖超参数设定、难以适应不同纹理、对于复杂纹理织物检测性能差等缺点。花边织物纹理复杂，纹理重复周期长，传统方法难以取得良好的检测效果。
4.近年来，cnn(convolutional neural network，卷积神经网络)在解决图像相关问题上展示出了明显的优势。相较于传统方法检测，利用卷积神经网络进行有监督学习，减小了算法对于超参数的依赖，并且对于不同的花边纹理织物，通过网络参数自动学习，有着很好的适应能力。但是在实际应用上，有监督学习需要大量具有良好标注的缺陷图样数据。而在实际生产的过程中，收集并标注缺陷样本是一个漫长的过程，这极大地限制了卷积神经网络方法在实际生产中的应用，亟待解决。


技术实现要素：

5.本技术提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置，以解决工业生产环境下缺陷样本数目不足，收集周期长等问题。
6.本技术第一方面实施例提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，包括以下步骤：采集无缺陷的花边布匹图像构建布匹样本数据集；对布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；通过缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；在线采集花边布匹图像，通过缺陷检测网络模型对在线花边布匹图像进行检测，得到在线花边布匹图像的缺陷检测结果。
7.可选地，在本技术的一个实施例中，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。
8.可选地，在本技术的一个实施例中，所述对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集，进一步包括：通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。
9.可选地，在本技术的一个实施例中，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用bce损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
10.可选地，在本技术的一个实施例中，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用所述相对位置信息进行缺陷检测。
11.本技术第二方面实施例提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置，包括：数据获取模块，用于采集无缺陷的花边布匹图像构建布匹样本数据集；数据增强模块，用于对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；网络训练模块，用于通过所述缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；缺陷检测模块，用于在线采集花边布匹图像，通过所述缺陷检测网络模型对所述在线花边布匹图像进行检测，得到所述在线花边布匹图像的缺陷检测结果。
12.可选地，在本技术的一个实施例中，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。
13.可选地，在本技术的一个实施例中，所述数据增强模块，具体用于，通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。
14.可选地，在本技术的一个实施例中，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用bce损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
15.可选地，在本技术的一个实施例中，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利
用所述相对位置信息进行缺陷检测。
16.由此，本技术至少具有如下有益效果：
17.通过使用工业相机采集花边布匹生产或质检流水线上的连续无缺陷样本图片，在这个过程中应当保证花边布匹没有出现表面缺陷，采集到的图片数据用作训练数据集；对于采集到的无缺陷样本数据集进行仿真缺陷添加以及图像增强，其中仿真缺陷添加包括仿真破洞、油污、错花等缺陷，图像增强手段包括透射变换、hsv空间变换、高斯噪声与高斯滤波等手段；使用仿真缺陷图像训练卷积神经网络，卷积神经网络采用分割模型；在线采集花边布匹生产或质检流水线上的布匹样本图，使用训练好的卷积神经网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。该方法能够有效避免工业生产环境下缺陷样本数目不足，收集周期长的问题，并且能够适应不同拍摄角度、环境亮度带来的图像质量变化，通过神经网络自动学习，能够快速适应不同花纹纹理。由此，解决了工业生产环境下缺陷样本数目不足，收集周期长等问题。
18.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
19.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
20.图1为根据本技术实施例提供的一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法的流程图；
21.图2为根据本技术一个实施例提供的基于图像仿真增强的无监督花边布匹表面缺陷检测算法的执行逻辑示意图；
22.图3为根据本技术实施例的一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置的示例图。
23.附图标记说明：数据获取模块-100、数据增强模块-200、网络训练模块-300以及缺陷检测模块-400。
具体实施方式
24.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
25.下面参考附图描述本技术实施例的一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法、装置、电子设备及存储介质。针对上述背景技术中提到的问题，本技术提供了一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，在该方法中，基于图像仿真增强的无监督花边布匹表面缺陷检测装置，能够实现对于花边布表面缺陷的自动检测，节省企业经营管理成本；算法仅需要无缺陷样本即可进行训练，能够避免卷积神经网络依赖大量有标注缺陷图样进行训练的缺点；通过对数据进行透射变换、hsv空间增强、高斯模糊、高斯噪声添加等图像增强手段，使得训练好的神经网络对于数据采集过程中可能出现的各种干扰具有很好的鲁棒性。由此，解决了工业生产环境下缺陷样本数目不足，收集周
期长等问题。
26.具体而言，图1为本技术实施例所提供的一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法的流程图。
27.如图1所示，该基于图像仿真增强的无监督花边布匹表面缺陷检测方法包括以下步骤：
28.在步骤s101中，采集无缺陷的花边布匹图像构建布匹样本数据集。
29.使用工业相机采集花边布匹生产或质检流水线上的布匹样本数据集，并且在采集过程中保证花边布匹没有出现表面缺陷，将采集到的无缺陷布匹样本数据集用作训练数据集。
30.可选地，在本技术的一个实施例中，训练数据集为生产或质检流水线上的无缺陷样本图片，且训练数据集本身不包含有缺陷样本及标注信息。
31.可以理解的是，如图2所示，本技术的实施例首先通过部署在花边布生产或质检流水线上的工业相机进行拍摄，从而易于采集得到的无缺陷样本数据集，并将其用作训练数据集。
32.在步骤s102中，对布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集。
33.具体地，对于采集到的无缺陷布匹样本数据集进行仿真图像增强，包括图像增强与仿真缺陷添加，得到仿真缺陷图像。
34.可选地，在本技术的一个实施例中，对于采集到的无缺陷布匹样本数据集进行仿真图像增强，包括图像增强与仿真缺陷添加，得到仿真缺陷图像，进一步包括：通过透射变换从无缺陷样本大图中选出变形过的无缺陷样本小图，对于小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷样本图；对于无缺陷样本图添加人工仿真缺陷，得到有缺陷样本图。
35.需要说明的是，在样本的采集过程中，由于相机的视角不一定固定，环境整体亮度的变化，图像采集过程中本身存在一定程度的噪声等问题以及清晰度变化等影响，需要进行一定的图像增强手段来增强后续神经网络对于输入数据的鲁棒性。具体而言，使用的图像增强手段包括透射变换、hsv空间变换增强、高斯噪声添加、高斯滤波等方式。
36.同时，花边布样本可能出现的缺陷具有一定的先验知识。举例而言，破洞表现为一片低像素区域，而油污并没有破坏布匹本身的纹理，而使其颜色发生变化。具体而言，破洞使用一片低像素值区域模拟，油污使用一片具有一定透明度的色块模拟，错花则将某一部分纹理移动，以形成不协调区域。
37.在步骤s103中，通过缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型。
38.具体地，使用仿真缺陷图像训练卷积神经网络，得到训练好的卷积神经网络模型，确定表面缺陷检测网络模型
39.可选地，在本技术的一个实施例中，卷积神经网络为基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在缺陷检测网络模型中，将图像配准网络与图像重构网络、图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，分割网络使用卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像
细节信息，以及使用bce损失函数用作训练过程的参数更新；图像重构网络使用像素误差或者纹理损失作为损失函数；图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
40.可选地，在本技术的一个实施例中，使用仿真缺陷图像训练卷积神经网络，得到训练好的卷积神经网络模型，包括：采集花边布匹生产或质检流水线上的连续无缺陷样本图；在进行仿真数据增强后，将仿真增强数据用于训练卷积神经网络；根据无缺陷样本仿真增强数据集得到监督信息，并基于卷积神经网络搭建训练模型；根据无缺陷样本仿真增强数据集对训练模型进行训练，以得到表面缺陷检测网络模型。
41.需要注意的是，在本技术的实施例中，上述卷积神经网络包括重构模型、分割模型和配准模型。其中重构模型输出一张恢复出的无缺陷图像，分割模型输出像素点可能位于缺陷区域的概率图。
42.具体地，利用重构模型恢复出的无缺陷图像与待测图像之间的残差，通过设定阈值得到偏差较大的区域，认为此区域是待测图像与无缺陷图像存在较大差异的区域，作为缺陷检测的结果。类似的，通过对分割模型输出的概率图设定阈值(通常选取阈值为0.5)，得到待测图像中缺陷概率较大的区域，作为缺陷检测的结果。对于目标检测模型，其输出的缺陷位置锚定框是对缺陷位置所在区域的一个方形标定，可以直接作为检测结果输出。
43.在步骤s104中，在线采集花边布匹图像，通过缺陷检测网络模型对在线花边布匹图像进行检测，得到在线花边布匹图像的缺陷检测结果。
44.具体地，在线采集花边布匹生产或质检流水线上的布匹样本数，并根据布匹样本数使用表面缺陷检测网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。
45.根据本技术实施例提出的一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，通过使用工业相机采集花边布匹生产或质检流水线上的连续无缺陷样本图片，在这个过程中应当保证花边布匹没有出现表面缺陷，采集到的图片数据用作训练数据集；对于采集到的无缺陷样本数据集进行仿真缺陷添加以及图像增强，其中仿真缺陷添加包括仿真破洞、油污、错花等缺陷，图像增强手段包括透射变换、hsv空间变换、高斯噪声与高斯滤波等手段；使用仿真缺陷图像训练卷积神经网络，卷积神经网络采用分割模型；在线采集花边布匹生产或质检流水线上的布匹样本图，使用训练好的卷积神经网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。本技术能够有效避免工业生产环境下缺陷样本数目不足，收集周期长的问题，并且能够适应不同拍摄角度、环境亮度带来的图像质量变化，通过神经网络自动学习，能够快速适应不同花纹纹理。
46.其次参照附图描述根据本技术实施例提出的一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置。
47.图3是本技术实施例的一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置的方框示意图。
48.如图3所示，该基于图像仿真增强的无监督花边布匹表面缺陷检测装置10包括：数据获取模块100、数据增强模块200、网络训练模块300以及缺陷检测模块400。
49.其中，数据获取模块100，用于采集无缺陷的花边布匹图像构建布匹样本数据集。数据增强模块200，用于对布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像
增强得到缺陷图像训练数据集。网络训练模块300，用于通过缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型。缺陷检测模块400，用于在线采集花边布匹图像，通过缺陷检测网络模型对在线花边布匹图像进行检测，得到在线花边布匹图像的缺陷检测结果。
50.可选地，在本技术的一个实施例中，布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且布匹样本数据集不包含标注信息。
51.可选地，在本技术的一个实施例中，数据增强模块，具体用于，通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的缺陷图像训练数据集。
52.可选地，在本技术的一个实施例中，缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在缺陷检测网络模型中，将图像配准网络与图像重构网络、图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，图像分割网络使用卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用bce损失函数用作训练过程的参数更新；图像重构网络使用像素误差或者纹理损失作为损失函数；图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
53.可选地，在本技术的一个实施例中，缺陷检测网络模型包括使用图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用相对位置信息进行缺陷检测。
54.需要说明的是，前述对基于图像仿真增强的无监督花边布匹表面缺陷检测方法实施例的解释说明也适用于该实施例的基于图像仿真增强的无监督花边布匹表面缺陷检测装置，此处不再赘述。
55.根据本技术实施例提出的一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置，本技术不需要采集并标注大量的有缺陷图像数据，而是通过仿真数据增强的方式训练卷积神经网络。既可以发挥卷积神经网络自动学习适应能力强的优点，又可以有效规避其对于标注数据的依赖。
56.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
57.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个
等，除非另有明确具体的限定。
58.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。

技术特征：
1.一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，其特征在于，包括以下步骤：采集无缺陷的花边布匹图像构建布匹样本数据集；对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；通过所述缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；在线采集花边布匹图像，通过所述缺陷检测网络模型对所述在线花边布匹图像进行检测，得到所述在线花边布匹图像的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。3.根据权利要求1所述的方法，其特征在于，所述对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集，进一步包括：通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。4.根据权利要求1所述的方法，其特征在于，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用bce损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。5.根据权利要求4所述的方法，其特征在于，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用所述相对位置信息进行缺陷检测。6.一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置，其特征在于，包括：数据获取模块，用于采集无缺陷的花边布匹图像构建布匹样本数据集；数据增强模块，用于对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；网络训练模块，用于通过所述缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；缺陷检测模块，用于在线采集花边布匹图像，通过所述缺陷检测网络模型对所述在线花边布匹图像进行检测，得到所述在线花边布匹图像的缺陷检测结果。
7.根据权利要求6所述的装置，其特征在于，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。8.根据权利要求7所述的装置，其特征在于，所述数据增强模块，具体用于，通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行hsv空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。9.根据权利要求6所述的装置，其特征在于，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用bce损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。10.根据权利要求9所述的装置，其特征在于，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用所述相对位置信息进行缺陷检测。

技术总结
本申请涉及产品表面缺陷检测技术领域，特别涉及一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置，其中，方法包括：使用工业相机采集花边布匹生产或质检流水线上的连续无缺陷样本图片，采集到的图片数据用作训练数据集；对所采集到数据集进行仿真缺陷添加以及图像增强；使用仿真缺陷图像训练卷积神经网络；在线采集花边布匹生产或质检流水线上的布匹样本图，使用训练好的卷积神经网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。从而避免了卷积神经网络依赖大量有标注缺陷图样进行训练的缺点，具有很好的鲁棒性。由此，解决了工业生产环境下缺陷样本数目不足，收集周期长等问题。收集周期长等问题。收集周期长等问题。


技术研发人员：黄必清 牛衍昌
受保护的技术使用者：清华大学
技术研发日：2022.02.21
技术公布日：2022/5/25