一种基于改进YOLOV3-Tiny的毫米波图像目标检测方法及系统

一种基于改进yolo v3-tiny的毫米波图像目标检测方法及系统
技术领域
1.本发明属于三维毫米波安检成像系统中物品识别领域技术领域，涉及一种基于yolo v3-tiny的物品检测方法。


背景技术：

2.近年来，世界上的暴恐活动层出不穷，在机场、车站等公共场所保障人民的人身财产安全显得尤为重要。使用毫米波进行高效且人性化的安检，是目前安检领域的研究热点。在毫米波安检系统中，一种高效快速的目标检测方法能够节约成本，提高效率，保证安检过程的安全。
3.在目标检测领域中，传统的目标检测方法存在许多局限性，较差的泛化能力也不满足毫米波图像中复杂目标的检测需求。深度学习模型使用卷积神经网络提取图像的特征，大幅推动了目标检测的发展。但毫米波图像中存在较多的小目标，且图像分辨率较低，与背景边界不清晰，这些问题给毫米波图像的目标检测带来了一定的困难。目前的目标检测算法主要有双阶段算法和单阶段算法，双阶段算法如faster r-cnn，先对图像提取候选区域，再进行目标检测。这种方法虽然有较高的精度，但实时性较差，且模型对设备计算力有较高的要求。单阶段算法如yolo v3，通过单次计算就能得出结果，速度较两阶段算法有较大提升，但精度稍差。yolo v3-tiny是一种轻量级的单阶段算法，它的实时性很好且参数量很小，但网络模型较为简单，对毫米波图像特征的提取能力不够，精度上还有待提升。
4.经过检索，申请公开号cn112966700a，一种毫米波图像目标检测方法，涉及计算机视觉技术领域，其中，该方法包括：获取原始毫米波图像数据；根据原始毫米波图像数据的数据格式恢复出毫米波图像的三维空间结构数据，并压缩成二维平面数据；对二维平面数据进行降噪，并对降噪后的数据进行标准化处理；并制作成毫米波数据集，对毫米波数据集中的数据的特点进行分析，并根据数据的特点选取深度学习模型；用毫米波数据集对选取的深度学习模型进行训练和测试，得到深度学习模型的测试结果；根据测试结果与评价指标对深度学习模型进行优化，以得到最优模型。采用上述方案的本发明解决了主动式毫米波图像中危险物品的定位和识别的技术问题，从而能够提高公共场所人体安检的效率。
5.上述发明采用二阶段算法，二阶段算法例如faster r-cnn等模型，算法模型参数较大，且检测时间不够实时。本发明的基于yolo v3-tiny的毫米波图像目标检测方法及系统，改进的yolov3-tiny模型属于轻量型模型，能够在计算力不足的设备上进行检测，且检测时间大幅下降，满足安检环境中实时监测的需求。
6.申请公开号cn105513035a，一种被动毫米波图像中人体隐匿物品的检测方法，包括：图像预处理步骤用于对采集到的原始被动毫米波图像，通过插值重建后，采用三次迭代增强方法进行图像增强，获取被动毫米波图像，以使被动毫米波图像目标与背景进行明显区分；人体区域检测步骤为基于预处理完成的被动毫米波图像，通过对人体是否存在的预判断，进行人体目标检测，获取人体区域；隐匿物品检测步骤用于在人体区域内，采用两次
迭代分割的方法，对隐匿物品进行检测，并对检测到的隐匿物品区域进行标记。
7.上述专利是被动毫米波图像中的人体隐匿物检测，被动毫米波成像图较为模糊，其中成像的隐匿物品也缺乏详细的信息，难以分辨具体是什么物品。本发明是主动毫米波成图像中的目标检测方法，能够从图像中提取更多的有效信息，更加精准的标记危险物品出现的位置和种类。且本发明使用轻量型模型，模型参数与两阶段算法相比大大减少，更满足案件环境的检测需求。


技术实现要素：

8.本发明旨在解决以上现有技术的问题。提出了一种基于改进yolo v3-tiny的毫米波图像目标检测方法及系统。本发明的技术方案如下：
9.一种基于改进yolo v3-tiny的毫米波图像目标检测方法，其包括以下步骤：
10.获取待检测的毫米波图像并进行包括去噪处理、归一化步骤在内的预处理；
11.将预处理的毫米波图像输入到改进的yolo v3-tiny模型中进行检测；改进的特征提取网络增加了一部分3
×
3和1
×
1的卷积层，提取毫米波图像的特征，生成特征图；将特征图发送给改进的特征融合层模块进行特征融合；所述改进的特征融合层为引入cbam注意力机制的fpn特征融合层；
12.将特征融合后的特征图输入到yolo预测层中，进行解码得到最终预测结果，预测框信息根据先验框坐标解码获得，先验框边框通过k-means算法设置。
13.进一步的，所述获取待检测的毫米波图像并进行包括去噪处理、归一化步骤在内的预处理，具体包括：
14.获取待检测的毫米波图像，并对毫米波图像进行预处理，预处理过程包括对图像进行去噪处理，并统一插值采样为608
×
608像素大小。
15.进一步的，所述特征提取网络包括15个卷积层，6个池化层：
16.第一层为卷积层，包含卷积核16个，卷积核大小3
×
3，步长为1；
17.第二层为最大池化层，采样核为2
×
2，步长为2；
18.第三层为卷积层，包含卷积核32个，卷积核大小3
×
3，步长为1；
19.第四层为最大池化层，采样核为2
×
2，步长为2；
20.第五层为卷积层，包含卷积核64个，卷积核大小3
×
3，步长为1；
21.第六层为最大池化层，采样核为2
×
2，步长为2；
22.第七层为卷积层，包含卷积128个，卷积核大小3
×
3，步长为1；
23.第八层为卷积层，包含卷积核64个，卷积核大小3
×
3，步长为1；
24.第九层为卷积层，包含卷积核128个，卷积核大小3
×
3，步长为1；
25.第十层为最大池化层，采样核为2
×
2，步长为2；
26.第十一层为卷积层，包含卷积核256个，卷积核大小3
×
3，步长为1；
27.第十二层为卷积层，包含卷积核128个，卷积核大小3
×
3，步长为1；
28.第十三层为卷积层，包含卷积核256个，卷积核大小3
×
3，步长为1；
29.第十四层为卷积层，包含卷积核128个，卷积核大小3
×
3，步长为1；
30.第十五层为卷积层，包含卷积核256个，卷积核大小3
×
3，步长为1；
31.第十六层为最大池化层，采样核为2
×
2，步长为2；
32.第十七层为卷积层，包含卷积核512个，卷积核大小3
×
3，步长为1；
33.第十八层为最大池化层，采样核为2
×
2，步长为1；
34.第十九层为卷积层，包含卷积核1024个，卷积核大小3
×
3，步长为1；
35.第二十层为卷积层，包含卷积核256个，卷积核大小1
×
1，步长为1；
36.第二十一层为卷积层，包含卷积核512个，卷积核大小3
×
3，步长为1；
37.进一步的，所述改进的特征融合层为引入cbam注意力机制的fpn特征融合层，其特征融合步骤包括：
38.特征提取网络第十一层输出经过一个cbam注意力机制模块，再进行上采样操作后所得特征图，与特征提取网络第七层输出经过一个cbam注意力机制模块所得特征图进行特征融合，经过卷积操作后得到第一预测层，大小为76
×
76；
39.特征提取网络第二十一层输出经过一个cbam注意力机制模块，再进行上采样操作后所得特征图，与特征提取网络第十五层输出经过一个cbam注意力机制模块所得特征图进行特征融合，经过卷积操作后得到第二预测层，大小为38
×
38；
40.特征提取网络第二十一层输出经过一个cbam注意力机制模块后，经过卷积操作后得到第三预测层，大小为19
×
19；
41.其中，cbam注意力机制是一种通道维度和空间维度混合的注意力机制，能够对重要特征图层进行通道和空间上的注意力学习，fpn特征融合层是一种金字塔特征融合层，将高层特征图进行上采样后与低层特征图进行同维拼接，得到融合高层和底层信息的特征图。
42.进一步的，所述多个先验框[x,y]具体为9个先验框，分别对应3个不同大小的特征图。尺寸为[35,54]，[48,42]，[59,53]的先验框对应预测层一，大小为76
×
76；尺寸为[64,70]，[78,92]，[87,64]的先验框对应预测层二，大小为38
×
38；尺寸为[54,103]，[102,48]，[107,75]的先验框对应预测层三，大小为19
×
19。
[0043]
一种基于yolo v3-tiny的毫米波图像目标检测系统，其包括；毫米波图像预处理模块、特征提取网络模块、特征融合层模块、分类预测模块以及分类结果输出模块；
[0044]
所述毫米波图像预处理模块用于获取毫米波图像，并对毫米波图像进行预处理；预处理的过程包括对毫米波图像进行包括去噪，插值填充至608
×
608像素大小；将预处理后的毫米波图像发送给特征提取主干网络模块；
[0045]
所述特征提取网络模块用于对预处理后的毫米波图像进行特征提取，得到特征图，将特征图发送给特征融合层模块进行特征融合；
[0046]
所述特征融合层模块用于将特征提取网络不同维度的特征图信息进行融合，改进的特征融合层为引入cbam注意力机制的fpn特征融合层；得到具备预测信息的特征图，发送给分类预测模块；
[0047]
所述分类预测模块用于将预测层进行解码预测，根据事先设置好的预选框将坐标信息解码，得到最后的分类结果，将分类的结果发送给分类结果输出模块；
[0048]
所述分类结果输出模块用于输出分类结果。
[0049]
本发明的优点及有益效果如下：
[0050]
本发明提出了基于改进yolo v3-tiny的毫米波图像目标检测方法。以yolov3-tiny模型为基础网络，根据毫米波图像的特点对网络进行改进，在不增加过多参数的情况
下提升毫米波图像目标检测的效率。其中，对特征提取网络的修改包括增加一部分卷积层加强了网络对特征的提取能力，增加的卷积层为3
×
3和1
×
1的卷积，增加3
×
3的卷积层能够提取更多特征，而1
×
1的卷积层将特征图映射到较低的维度，不至于产生过多的参数，同时添加一个浅层的特征融合提高了对小目标的检测效果。对特征融合层的改进包括，在原有的fpn特征融合中引入注意力机制，对输入的高维度和低维度的特征图分别通过一个cbam注意力机制，再进行同维拼接，然后对融合后的特征图再通过一个cbam注意力机制。这种新的特征融合结构，能够使网络自动学习重要特征图层上的空间关系和通道关系，减少了毫米波图像中背景噪声等冗余信息对结果的影响。对yolo v3-tiny模型的改进在于提升检测精度的同时不增加过多参数，在保持检测速度的情况下获得较高的检测精度，同时轻量模型不依赖于gpu等计算力设备，对设备有了更好的适应性，为毫米波安检系统的小型化研究提供了更多可能。
附图说明
[0051]
图1是本发明提供优选实施例本发明改进的目标检测方法示意图；
[0052]
图2是本发明改进的目标检测方法流程图；
[0053]
图3是本发明网络结构示意图；
[0054]
图4是特征金字塔结构图；
[0055]
图5是cbam注意力机制结构图；
[0056]
图6是本发明改进的特征金字塔结构图；
[0057]
图7是本发明检测展示图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0059]
本发明解决上述技术问题的技术方案是：
[0060]
如图1所示，一种毫米波图像目标检测方法的检测过程为输入图像、经过特征提取网络生成对应特征图、经过特征融合、回归预测、最终得到检测结果并在图像中显示出来。
[0061]
如图2所示，一种基于yolo v3-tiny的毫米波图像目标检测方法包括；毫米波图像预处理模块、特征提取网络模块、特征融合层模块、分类预测模块以及分类结果输出模块；
[0062]
所述预处理模块用于原始毫米波图像进行预处理，包括去噪，插值填充至608
×
608像素大小；
[0063]
所述特征提取网络模块用于对预处理后的毫米波图像进行特征提取，得到特征图，将特征图发送给特征融合层模块进行特征融合；
[0064]
所述特征融合层模块用于将特征提取网络不同维度的特征图信息进行融合，得到具备预测信息的特征图，发送给分类预测模块；
[0065]
所述分类预测模块用于将预测层进行解码预测，根据事先设置好的预选框将坐标信息解码，得到最后的分类结果，将分类的结果发送给分类结果输出模块；
[0066]
所述分类结果输出模块用于输出分类结果。
[0067]
一种基于yolo v3-tiny的毫米波图像目标检测方法，其结构如图3所示，包括以下
步骤：
[0068]
s1：获取待检测的毫米波图像，并对毫米波图像进行预处理，预处理过程包括对图像进行去噪处理，并统一插值采样为608
×
608像素大小；
[0069]
s2：将预处理的毫米波图像输入到改进的yolo v3-tiny模型中进行检测，改进的模型结构如图3所示；
[0070]
s21：将预处理后的毫米波图像输入改进的yolo v3-tiny特征提取网络中提取图像的特征，生成对应特征图。对特征提取网络的改进方法为，在yolov3-tiny的基础上增加了一系列3
×
3和1
×
1的卷积层。其中，3
×
3的卷积层目的在于提取特征，1
×
1的卷积层则将特征图映射到较低的维度，避免因卷积层过多而产生大量的运算参数。这种做法可以降低网络的输入通道量，有效地在不增加过多参数的情况下提高网络的检测精度。最终改进后的特征提取网络共有15个卷积层、6个池化层，608
×
608大小的图像经过特征提取网络共生成4个特征图，输入到下一网络模块中。
[0071]
s22：将特征提取网络生成的特征图输入改进的特征融合层中进行特征融合，输出融合后的3个不同大小特征图。特征金字塔(feature pyramid network，fpn)如图4所示，将高层特征图进行上采样后与低层特征图进行同维拼接，这种方式只是简单地在通道维度上进行拼接，不能反映出不同层特征图之间的重要性和相关性。卷积注意力机制模块(convolutional block attention module，cbam)如图5所示，是一种通道维度和空间维度混合的注意力机制，它对上一层的空间和通道信息进行学习并得到相应的权重。在fpn中引入cbam注意力机制，对重要特征图层进行通道和空间上的注意力学习，能够在只增加少量计算参数的情况下有效提升网络的精度，改进后的特征金字塔结构如图6所示。
[0072]
s23：将融合后的3个特征图输入到yolo预测层中，进行解码得到最终预测结果，预测框信息根据先验框坐标解码获得，先验框边框通过k-means算法设置。
[0073]
s3：根据改进的yolo v3-tiny模型输出的结果，在图像上标记违禁物品位置，并将物品类别和所处位置在屏幕上显示出来；
[0074]
本实施例改进后的算法针对毫米波图像中危险物品的检测结果如图7所示，可以发现本实例改进后的算法有较好的检测性能。
[0075]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0076]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0077]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。