基于TinyML的生产线产品质检实现方法及辅助系统与流程

基于tinyml的生产线产品质检实现方法及辅助系统
技术领域
1.本发明涉及机器学习、边缘计算机数据处理领域，具体地说是一种基于tinyml的生产线产品质检实现方法及辅助系统。


背景技术：

2.相关统计数据显示，某国每天在产线上进行目视检查的工人超过350万，其中仅3c行业就超过了150万人。这些质检人员每天都要花费大量的时间去判断工业零件的质量，不但有害员工视力，还会存在速度和稳定性差等问题，对检测效率和质量造成影响。
3.同时，传统的工业质检方法是通过实验、人工用放大镜、显微镜等多种工具选取亮度、颜色、尺寸、形状等特征及其参数来设计判决规则，仅可判别定量缺陷检测、无法自适应，泛用性低，并且人工成本高。
4.故如何辅助质检员便捷高效的完成生产线产品的质检，降低人工成本，提高生产效率是目前亟待解决的技术问题。


技术实现要素：

5.本发明的技术任务是提供一种基于tinyml的生产线产品质检实现方法及辅助系统，来解决如何辅助质检员便捷高效的完成生产线产品的质检，降低人工成本，提高生产效率的问题。
6.本发明的技术任务是按以下方式实现的，一种基于tinyml的生产线产品质检实现方法，该方法是在生产环节中，使用边缘计算设备树莓派4b配合轻量化目标检测模型nanodet-plus，并通过摄像头进行实时输入，轻量化目标检测模型nanodet-plus识别输入视频流中的待质检产品，在轻量化目标检测模型nanodet-plus输出识别结果后，在专家系统中进行查找，并输出相应的检测路程，从而达到辅助质检员工作的目的。
7.作为优选，该方法具体如下：
8.构建产品数据库；
9.建立轻量化目标检测模型nanodet-plus；
10.在gpu设备上进行训练，得到高精度的目标检测模型；
11.训练目标检测模型nanodet-plus，得到高精度目标检测模型；
12.轻量化高精度目标检测模型：将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模型；
13.设置专家系统，将每一个需要检测产品的检测流程录入专家系统；
14.在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相应的检测操作流程显示出来；
15.优先级判断：为了保证流水线的顺利运行，需要根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。
16.更优地，轻量化高精度目标检测模型的权重由fp32量化成uint8类型，量化后权重
的范围为[0,255]；量化的现有的家具识别模型为：
[0017]
x
float
＝x
scale
*x
quantized
；
[0018]
若现有的家具识别模型权重的范围为[-1,1]，则x
scale
为
[0019]
更优地，轻量化目标检测模型nanodet-plus使用深度可分离卷积，并结合改进型fcos和generalized focal loss构建轻量化目标检测模型nanodet-plus；并加载预训练好的模型参数。
[0020]
更优地，深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合。
[0021]
更优地，产品数据库中每个产品包括六个方向的静态图像以及在检测过程中的实际图像(在检测环节的图片)；
[0022]
对不同的产品进行标注，标注的内容包括识别框和类别。
[0023]
一种基于tinyml的生产线产品质检辅助系统，该系统包括，
[0024]
构建模块已，用于构建产品数据库；
[0025]
构建模块二，用于建立轻量化目标检测模型nanodet-plus；
[0026]
获取模块，用于在gpu设备上进行训练，得到高精度的目标检测模型；
[0027]
训练模块，用于训练目标检测模型nanodet-plus，得到高精度目标检测模型；
[0028]
轻量化模块，用于将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模型；
[0029]
设置模块，用于设置专家系统，将每一个需要检测产品的检测流程录入专家系统；
[0030]
查找模块，用于在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相应的检测操作流程显示出来；
[0031]
判断模块，用于根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。
[0032]
作为优选，该系统的工作过程具体如下：
[0033]
(1)、通过摄像头对将要质检的产品拍照，采集实时数据；
[0034]
(2)、采样完成后，输入轻量化目标检测模型nanodet-plus；
[0035]
(3)、目标检测模型nanodet-plus输出检测结果；
[0036]
(4)、将检测结果传送到专家系统，并得到相应的检测操作流程；
[0037]
(5)、将操作流程投射到显示器，辅助质检员完成产品检测工作。
[0038]
一种电子设备，包括：存储器和至少一个处理器；
[0039]
其中，所述存储器上存储有计算机程序；
[0040]
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于tinyml的生产线产品质检实现方法。
[0041]
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于tinyml的生产线产品质检实现方法。
[0042]
本发明的基于tinyml的生产线产品质检实现方法及辅助系统具有以下优点：
[0043]
(一)本发明可以辅助工人在质检环节作业，为了提高质检环节效率，降低用工成本，考虑将目标检测技术应用于质检环节；以往的质检员在质检环节仅检测有限的几种产
品，通过使用质检辅助系统，可大大增加质检员可检测的产品种类；
[0044]
(二)本发明将现有的目标识别网络nanodet-plus通过gpu设备训练，获得高精度产品识别模型；并将训练好的模型及参数，通过轻量化技术，部署于树莓派4b等边缘计算设备，使得树莓派具有与gpu设备相似的识别精度；
[0045]
(三)本发明可以帮助质检员提高工作效率，具体为：边缘计算设备对将要质检的产品进行识别，识别完成后，将质检步骤包含质检重点通过便携式显示器显示出来，从而达到协助质检员进行工作的目的；
[0046]
(四)本发明还可以实现优先级判断，为了保证流水线的顺利运行，需要根据后续生产环节的需求来判断待检测产品的优先级，后续生产中数量较少的原件具有较高的优先级，当目标检测系统检测出优先级较高的原件或产品后，辅助系统会提示检测员优先检测数量较少的产品，从而优化检测顺序；
[0047]
(五)本发明通过边缘设备，识别待检测产品，并结合专家系统，显示相应产品的检测步骤及检测重点，辅助质检员完成工作，并对识别的产品根据后续生产环节标注优先级，从而优化质检流程；
[0048]
(六)本发明运用开源常用的开发语言和库，是tinyml算法在工业生产中的应用的实际案例，辅助一线质检工人提高工作效率。
附图说明
[0049]
下面结合附图对本发明进一步说明。
[0050]
附图1为基于tinyml的生产线产品质检实现方法的流程框图；
[0051]
附图2为基于tinyml的生产线产品质检辅助系统的工作流程图。
具体实施方式
[0052]
参照说明书附图和具体实施例对本发明的基于tinyml的生产线产品质检实现方法及辅助系统作以下详细地说明。
[0053]
实施例1：
[0054]
如附图1所示，本实施例的基于tinyml的生产线产品质检实现方法，该方法是在生产环节中，使用边缘计算设备树莓派4b配合轻量化目标检测模型nanodet-plus，并通过摄像头进行实时输入，轻量化目标检测模型nanodet-plus识别输入视频流中的待质检产品，在轻量化目标检测模型nanodet-plus输出识别结果后，在专家系统中进行查找，并输出相应的检测路程，从而达到辅助质检员工作的目的；该方法具体如下：
[0055]
s1、构建产品数据库；
[0056]
s2、建立轻量化目标检测模型nanodet-plus；
[0057]
s3、在gpu设备上进行训练，得到高精度的目标检测模型；
[0058]
s4、训练目标检测模型nanodet-plus，得到高精度目标检测模型；
[0059]
s5、轻量化高精度目标检测模型：将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模型；
[0060]
s6、设置专家系统，将每一个需要检测产品的检测流程录入专家系统；
[0061]
s7、在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相
应的检测操作流程显示出来；
[0062]
s8、优先级判断：为了保证流水线的顺利运行，需要根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。
[0063]
本实施例步骤s4中的轻量化高精度目标检测模型的权重由fp32量化成uint8类型，量化后权重的范围为[0,255]；量化的现有的家具识别模型为：
[0064]
x
float
＝x
scale
*x
quantized
；
[0065]
若现有的家具识别模型权重的范围为[-1,1]，则x
scale
为
[0066]
本实施例步骤s2中的轻量化目标检测模型nanodet-plus使用深度可分离卷积，并结合改进型fcos和generalized focal loss构建轻量化目标检测模型nanodet-plus；并加载预训练好的模型参数。其中，深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合。
[0067]
本实施例步骤s1中的产品数据库中每个产品包括六个方向的静态图像以及在检测过程中的实际图像(在检测环节的图片)；
[0068]
对不同的产品进行标注，标注的内容包括识别框和类别。
[0069]
实施例2：
[0070]
本实施例的基于tinyml的生产线产品质检辅助系统，该系统包括，
[0071]
构建模块已，用于构建产品数据库；
[0072]
构建模块二，用于建立轻量化目标检测模型nanodet-plus；
[0073]
获取模块，用于在gpu设备上进行训练，得到高精度的目标检测模型；
[0074]
训练模块，用于训练目标检测模型nanodet-plus，得到高精度目标检测模型；
[0075]
轻量化模块，用于将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模型；
[0076]
设置模块，用于设置专家系统，将每一个需要检测产品的检测流程录入专家系统；
[0077]
查找模块，用于在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相应的检测操作流程显示出来；
[0078]
判断模块，用于根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。
[0079]
如附图2所示，该系统的工作过程具体如下：
[0080]
(1)、通过摄像头对将要质检的产品拍照，采集实时数据；
[0081]
(2)、采样完成后，输入轻量化目标检测模型nanodet-plus；
[0082]
(3)、目标检测模型nanodet-plus输出检测结果；
[0083]
(4)、将检测结果传送到专家系统，并得到相应的检测操作流程；
[0084]
(5)、将操作流程投射到显示器，辅助质检员完成产品检测工作。
[0085]
实施例3：
[0086]
本实施例还提供了一种电子设备，包括：存储器和处理器；
[0087]
其中，存储器存储计算机执行指令；
[0088]
处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于tinyml的生产线产品质检实现方法。
[0089]
处理器可以是中央处理单元(cpu)，还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0090]
存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(smc)，安全数字(sd)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
[0091]
实施例4：
[0092]
本实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于tinyml的生产线产品质检实现方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0093]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0094]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-rym、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0095]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0096]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0097]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于tinyml的生产线产品质检实现方法，其特征在于，该方法是在生产环节中，使用边缘计算设备树莓派4b配合轻量化目标检测模型nanodet-plus，并通过摄像头进行实时输入，轻量化目标检测模型nanodet-plus识别输入视频流中的待质检产品，在轻量化目标检测模型nanodet-plus输出识别结果后，在专家系统中进行查找，并输出相应的检测路程，从而达到辅助质检员工作的目的。2.根据权利要求1所述的基于tinyml的生产线产品质检实现方法，其特征在于，该方法具体如下：构建产品数据库；建立轻量化目标检测模型nanodet-plus；在gpu设备上进行训练，得到高精度的目标检测模型；训练目标检测模型nanodet-plus，得到高精度目标检测模型；轻量化高精度目标检测模型：将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模型；设置专家系统，将每一个需要检测产品的检测流程录入专家系统；在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相应的检测操作流程显示出来；优先级判断：根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。3.根据权利要求2所述的基于tinyml的生产线产品质检实现方法，其特征在于，轻量化高精度目标检测模型的权重由fp32量化成uint8类型，量化后权重的范围为[0,255]；量化的现有的家具识别模型为：x
float
＝x
scale
*x
quantized
；若现有的家具识别模型权重的范围为[-1,1]，则x
scale
为4.根据权利要求2所述的基于tinyml的生产线产品质检实现方法，其特征在于，轻量化目标检测模型nanodet-plus使用深度可分离卷积，并结合改进型fcos和generalized focal loss构建轻量化目标检测模型nanodet-plus；并加载预训练好的模型参数。5.根据权利要求4所述的基于tinyml的生产线产品质检实现方法，其特征在于，深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合。6.根据权利要求2所述的基于tinyml的生产线产品质检实现方法，其特征在于，产品数据库中每个产品包括六个方向的静态图像以及在检测过程中的实际图像；对不同的产品进行标注，标注的内容包括识别框和类别。7.一种基于tinyml的生产线产品质检辅助系统，其特征在于，该系统包括，构建模块已，用于构建产品数据库；构建模块二，用于建立轻量化目标检测模型nanodet-plus；获取模块，用于在gpu设备上进行训练，得到高精度的目标检测模型；训练模块，用于训练目标检测模型nanodet-plus，得到高精度目标检测模型；轻量化模块，用于将高精度的目标检测网络轻量化处理获得轻量化高精度目标检测模
型；设置模块，用于设置专家系统，将每一个需要检测产品的检测流程录入专家系统；查找模块，用于在轻量化目标检测模型nanodet-plus输出检测结果后，通过关键词查找把相应的检测操作流程显示出来；判断模块，用于根据后续生产环节的需求来判断待检测产品的优先级，对于不同优先级的产品，为质检员提供产品检测顺序。8.根据权利要求7所述的基于tinyml的生产线产品质检辅助系统，其特征在于，该系统的工作过程具体如下：(1)、通过摄像头对将要质检的产品拍照，采集实时数据；(2)、采样完成后，输入轻量化目标检测模型nanodet-plus；(3)、目标检测模型nanodet-plus输出检测结果；(4)、将检测结果传送到专家系统，并得到相应的检测操作流程；(5)、将操作流程投射到显示器，辅助质检员完成产品检测工作。9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；其中，所述存储器上存储有计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于tinyml的生产线产品质检实现方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至6中任一项所述的基于tinyml的生产线产品质检实现方法。

技术总结
本发明公开了基于TinyML的生产线产品质检实现方法及辅助系统，属于机器学习、边缘计算机数据处理领域，本发明要解决的技术问题为如何辅助质检员便捷高效的完成生产线产品的质检，降低人工成本，提高生产效率，采用的技术方案为：该方法是在生产环节中，使用边缘计算设备树莓派4B配合轻量化目标检测模型NanoDet-Plus，并通过摄像头进行实时输入，轻量化目标检测模型NanoDet-Plus识别输入视频流中的待质检产品，在轻量化目标检测模型NanoDet-Plus输出识别结果后，在专家系统中进行查找，并输出相应的检测路程，从而达到辅助质检员工作的目的。质检员工作的目的。质检员工作的目的。


技术研发人员：田阳 段强 李锐 张晖
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2022.02.21
技术公布日：2022/5/25