包裹破损的检测方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种包裹破损的检测方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.近年来，物流行业飞速地发展。时效是物流行业的重要运营指标，而物流包裹在运输过程中发生的破损，是造成时效降低的重要原因，如果能够在物流包裹中转过程中就能自动监控快递的外包装是否破损，对于提升物流品质、提高物流时效具有重要的意义。
3.现有技术中，通过采集物流包裹的图像，基于经过深度学习的算法模型对物流包裹是否损坏进行检测。
4.但是，本技术的发明人在实际研发过程中发现，由于对包裹特征提取的局限性，现有的算法模型对破损包裹识别的准确率相对较低，进而导致了包裹时效较低。


技术实现要素：

5.本技术提供一种包裹破损的检测方法、装置、电子设备及计算机可读存储介质，旨在解决由于现有包裹破损检测模型对破损包裹识别的准确率低，而导致包裹时效降低的问题。
6.第一方面，本技术提供一种包裹破损的检测方法，所述方法包括：
7.获取待检测包裹在不同角度的多个图像；
8.对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；
9.对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；
10.根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
11.在本技术一种可能的实现方式中，所述根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果，包括：
12.根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；
13.确定与所述包裹类别关联的破损检测网络；
14.调用所述破损检测网络，根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
15.在本技术一种可能的实现方式中，所述确定与所述包裹类别关联的破损检测网络，包括：
16.检测所述包裹类别与预设的包裹类别是否相同；
17.当检测到所述包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与所述包裹类别关联的预测网络，以作为所述破损检测网络。
18.在本技术一种可能的实现方式中，所述根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别，包括：
19.调用预设的包裹分类网络中的第一预测层，根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；
20.所述对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征，包括：
21.调用所述包裹分类网络中的第一特征提取层，对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
22.在本技术一种可能的实现方式中，所述破损检测结果包括所述待检测包裹的破损区域，所述方法还包括：
23.调用预设的破损分类网络中的第二特征提取层，根据所述破损区域进行特征提取处理，得到所述破损区域的区域特征；
24.调用所述破损分类网络中的第二预测层，根据所述区域特征进行分类预测处理，得到所述破损区域的破损类别。
25.在本技术一种可能的实现方式中，所述方法还包括：
26.根据所述破损类别，将所述待检测包裹分拣至对应的存放区域。
27.在本技术一种可能的实现方式中，所述方法还包括：
28.当破损检测结果为包裹破损时，获取所述待检测包裹的识别信息；
29.根据所述识别信息，更新所述待检测包裹在预设数据库中的物流状态。
30.第二方面，本技术提供一种包裹破损的检测装置，所述包裹破损的检测装置包括：
31.获取单元，用于获取待检测包裹在不同角度的多个图像；
32.提取单元，用于对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；
33.融合单元，用于对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；
34.检测单元，用于根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
35.在本技术一种可能的实现方式中，所述检测单元具体用于：
36.根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；
37.确定与所述包裹类别关联的破损检测网络；
38.调用所述破损检测网络，根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
39.在本技术一种可能的实现方式中，所述检测单元具体用于：
40.检测所述包裹类别与预设的包裹类别是否相同；
41.当检测到所述包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与所述包裹类别关联的预测网络，以作为所述破损检测网络。
42.在本技术一种可能的实现方式中，所述检测单元具体用于：
43.调用预设的包裹分类网络中的第一预测层，根据所述二维图像特征对所述待检测
包裹进行分类，得到所述待检测包裹的包裹类别；
44.在本技术一种可能的实现方式中，所述提取单元具体用于：
45.调用所述包裹分类网络中的第一特征提取层，对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
46.在本技术一种可能的实现方式中，所述破损检测结果包括所述待检测包裹的破损区域，所述包裹破损的检测装置还包括分类单元，所述分类单元具体用于：
47.调用预设的破损分类网络中的第二特征提取层，根据所述破损区域进行特征提取处理，得到所述破损区域的区域特征；
48.调用所述破损分类网络中的第二预测层，根据所述区域特征进行分类预测处理，得到所述破损区域的破损类别。
49.在本技术一种可能的实现方式中，所述包裹破损的检测装置还包括分拣单元，所述分拣单元具体用于：
50.根据所述破损类别，将所述待检测包裹分拣至对应的存放区域。
51.在本技术一种可能的实现方式中，所述包裹破损的检测装置还包括更新单元，所述更新单元具体用于：
52.当破损检测结果为包裹破损时，获取所述待检测包裹的识别信息；
53.根据所述识别信息，更新所述待检测包裹在预设数据库中的物流状态。
54.第三方面，本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种包裹破损的检测方法中的步骤。
55.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的包裹破损的检测方法中的步骤。
56.本技术通过获取待检测包裹在不同角度的多个图像，进行特征提取并融合，由于充分地掌握到待检测包裹不同角度的特征进行预测，充分利用了同一包裹不同角度成像的空间互补信息，进而提高了待检测包裹的破损检测结果。避免了基于单个图像进行特征提取并预测，容易忽略待检测包裹的其他角度特征，进而破损检测结果准确率较低的问题。因此本技术实施例可以在一定程度提高待检测包裹的破损检测结果的准确率，进而一定程度上提升了包裹时效。
附图说明
57.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
58.图1是本技术实施例所提供的包裹破损的检测系统的场景示意图；
59.图2是本技术实施例提供的包裹破损的检测方法的一种流程示意图；
60.图3是本技术实施例中基于多个摄像头采集待检测包裹在不同角度的多个图像的一种场景示意图；
61.图4是本技术实施例中提供的包裹破损检测网络的一种网络结构示意图；
62.图5是本技术实施例中提供的步骤204的一个实施例流程示意图；
63.图6是本技术实施例中破损包裹的存放区域的一种场景示意图；
64.图7是本技术实施例中提供的包裹破损的检测装置的一个实施例结构示意图；
65.图8是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
68.为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本技术实施例的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
69.本技术实施例提供一种包裹破损的检测方法、装置、电子设备和计算机可读存储介质。其中，该包裹破损的检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
70.首先，在介绍本技术实施例之前，先介绍下本技术实施例关于应用背景的相关内容。
71.近年来，我国的物流行业取得了飞速的发展，企业之间的竞争愈加激烈，大众对于物流品质的需求也愈加严格。而快递在运输过程中的发生的破损，是造成客户满意度下降乃至发起投诉的重要原因，如果能够在快递中转过程中就能自动监控快递的外包装是否破损，对于提升物流品质，降低理赔成本具有重要的意义。因此快递的外包装破损检测问题，对于整个行业的降本增效具有极大的市场价值。
72.在破损检测的项目推广部署过程中，本技术的发明人遇到了以下难点：1、模型提取的图像特征单一，包裹是否破损的检测准确率低；2、数据源类别较多，导致模型泛化性下降。这两个难点会导致模型的准确率和事件的上报量降低，从而影响项目的部署进度。
73.基于现有的相关技术存在的上述缺陷，本技术实施例提供了包裹破损的检测方法，至少在一定程度上克服现有的相关技术所存在的缺陷。
74.本技术实施例包裹破损的检测方法的执行主体可以为本技术实施例提供的包裹破损的检测装置，或者集成了该包裹破损的检测装置的服务器设备、物理主机或者用户设备(user equipment，ue)等不同类型的电子设备，其中，包裹破损的检测装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备。
75.该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本技术实施例提供的包裹破损的检测方法，可以提高待检测包裹的破损检测结果的准确率，在一定程度上提升了包裹时效。
76.参见图1，图1是本技术实施例所提供的包裹破损的检测系统的场景示意图。其中，该包裹破损的检测系统可以包括电子设备100，电子设备100中集成有包裹破损的检测装置。例如，该电子设备可以获取待检测包裹在不同角度的多个图像；对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
77.另外，如图1所示，该包裹破损的检测系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
78.需要说明的是，图1所示的包裹破损的检测系统的场景示意图仅仅是一个示例，本技术实施例描述的包裹破损的检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着包裹破损的检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
79.下面，开始介绍本技术实施例提供的包裹破损的检测方法，本技术实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该包裹破损的检测方法包括：获取待检测包裹在不同角度的多个图像；对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
80.参照图2，图2是本技术实施例提供的包裹破损的检测方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该包裹破损的检测方法包括步骤201～204，其中：
81.201、获取待检测包裹在不同角度的多个图像。
82.在物流包裹(简称包裹)运输过程中，包裹的外包装甚至内部会发生破损。在本技术实施例中，以包裹运输过程中、在中转场分拣时，对包裹进行破损检测为例。
83.由于运输过程中，会依据包裹的目的地等信息在中转场对包裹进行分拣，为了避免单独针对包裹进行破损检测需要造成额外的时间，进而会降低包裹的整体时效，本技术实施中包裹在中转场进行分拣的同时进行包裹破损检测。
84.如图3所示，图3是本技术实施例中基于多个摄像头采集待检测包裹在不同角度的多个图像的一种场景示意图。本技术实施例中通过在分拣线上设置多个摄像头，以用于采集待检测包裹在不同角度下的多个图像，以便于后续提取待检测包裹多方位的特征，用于确定包裹是否破损。
85.具体地，在实际应用中，应用本技术实施例提供的包裹破损的检测方法的电子设备，在硬件上可直接包括分拣线上设置的多个摄像头(每个摄像头主要用于采集待检测包裹一个角度的图像)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取
该摄像头得到的图像；或者，电子设备也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
86.其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
87.202、对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
88.其中，二维图像特征是指针对多个图像中的每个图像分别进行特征提取，所得到的用二维数组表示的每个图像的空间特征。
89.在一些实施例中，可以基于普通的卷积神经网络(convolutional neural network，cnn)对多个图像中的第i个图像进行卷积、池化等特征提取操作，得到用二维数组表示的第i个图像的空间特征；用二维数组表示的第i个图像的空间特征即为第i个图像的二维图像特征。
90.在一些实施例中，还可以基于深度残差网络(residual neural network，resnet)对多个图像中的第i个图像进行卷积、池化等特征提取操作，得到第i个图像的二维图像特征。从而可得到多个图像中的每个图像的二维图像特征。
91.其中，i的取值范围为：1～n的正整数，n表示多个图像的图像数量。
92.例如，步骤201中对形状为立方体的待检测包裹的(a、b、c、d)四个面，采集四张图像：图像1、2、3、4。则，针对图像1、2、3、4分别进行特征提取，得到图像1、2、3、4的二维图像特征。
93.203、对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征。
94.其中，三维图像特征是指多个图像中的每个图像的二维特征进行融合后，所得到的图像特征。
95.具体地，第i个图像的二维图像特征可以用二维数组表示，将多个图像中每个图像作为第三维特征，进行融合后即可得到待检测包裹的三维图像特征。
96.例如，第i个图像的二维图像特征表示为[xi，yi]，则待检测包裹的三维图像特征可以表示为[i,xi，yi]。其中，[xi，yi]表示第1个图像的二维图像特征，i表示第三维特征，i取值范围为：1～n的正整数，n表示多个图像的图像数量。
[0097]
204、根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
[0098]
其中，包裹破损检测结果是指待检测包裹是否破损的指示信息。包裹破损检测结果可以包括待检测包裹是否破损的分类结果、以及用于指示待检测包裹破损位置的检测框。
[0099]
在一些实施例中，可以采用经过深度学习的破损检测网络，根据三维图像特征进行特征预测处理，确定待检测包裹的破损检测结果。
[0100]
在一些实施例中，破损检测网络可以通过如下步骤a1～a3训练得到，其中：
[0101]
a1、构建初步的破损检测网络。
[0102]
其中，初步的破损检测网络可以包括特征提取模块和预测模块。
[0103]
例如，可以采用模型参数为默认值的(可用于检测任务)开源网络(如yolov网络)作为预设的破损检测网络。开源检测任务网络一般包含有特征提取层和预测层，可以采用开源检测任务网络的特征提取层、预测层，分别作为初步的破损检测网络的特征提取模块、预测模块。
[0104]
其中，特征提取模块用于对样本图像进行特征提取得到样本图像的图像特征。预测模块用于基于样本图像的图像特征进行预测，得到样本图像包含的样本包裹是否破损、以及包裹破损区域。
[0105]
a2、获取训练数据集。
[0106]
其中，训练数据集包含多个样本图像，采集每个样本包裹在不同角度的多个样本图像。一部分样本图像可以是样本包裹破损的图像，一部分样本图像可以是样本包裹未破损的图像。
[0107]
a3、采用训练数据集对初步的破损检测网络进行训练，直至初步的破损检测网络收敛时，得到训练后的破损检测网络。
[0108]
其中，每次训练采用同一包裹在不同角度的多个样本图像。训练后的破损检测网络(在没有特别指明的情况下，本文中所简称破损检测网络，即训练后的破损检测网络)可以充分学习包裹破损与图像特征之间关系，从而可以精确地检测出图像中包裹是否破损、以及包裹破损位置的检测框。
[0109]
其中，破损检测网络的训练过程与现有的检测网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式，在此不再赘述。
[0110]
对应的，训练后的包裹破损检测网络、与步骤a1中初步的破损检测网络的网络结构和功能基本类似，再此不再赘述。其中，破损检测网络的特征提取模块可以用于执行上述步骤202～203中的特征提取过程、预测模块可以用于执行步骤204中破损检测结果的预测过程。
[0111]
由以上内容可以看出，通过获取待检测包裹在不同角度的多个图像，进行特征提取并融合，由于充分地掌握到待检测包裹不同角度的特征进行预测，充分利用了同一包裹不同角度成像的空间互补信息，进而提高了待检测包裹的破损检测结果。避免了基于单个图像进行特征提取并预测，容易忽略待检测包裹的其他角度特征，进而破损检测结果准确率较低的问题。因此本技术实施例可以在一定程度提高待检测包裹的破损检测结果的准确率，进而一定程度上提升了包裹时效。
[0112]
本技术实施例的发明人在实际研发过程中发现：数据源的种类较多(如包裹有信封类、纸箱类、胶袋类等)，导致了包裹破损检测网络的泛化性能下降，进而导致了包裹破损的检测准确率较低。
[0113]
请参照图4，图4是本技术实施例中提供的包裹破损检测网络的一种网络结构示意图。在本技术的一些实施例中，为了提高包裹破损的检测准确率，针对每种类型的数据源，将包裹破损检测网络中的预测模块划分为多个并联分支，每个分支均以待检测包裹的三维图像特征为输入，以待检测包裹的破损检测结果为输出。
[0114]
请参照图5，图5是本技术实施例中提供的步骤204的一个实施例流程示意图。此时，在本技术的一些实施例中，步骤204具体可以包括步骤501～503，其中：
[0115]
501、根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的
包裹类别。
[0116]
在一些实施例中，可以采用训练后的包裹分类网络针对其中一个图像的二维图像特征，对待检测包裹进行分类，得到待检测包裹的包裹类别。
[0117]
在一些实施例中，可以采用训练后的包裹分类网络针对多个图像的二维图像特征
[0118]
在一些实施例中，还可以采用训练后的包裹分类网络针对待检测包裹的三维图像特征，对待检测包裹进行分类，得到包裹类别。
[0119]
其中，训练后的包裹分类网络(本文中简称包裹分类网络)通过以多种类型的包裹图像作为训练数据集，对预设分类网络进行训练得到后得到，其具体训练过程与现有的分类网络的训练过程类似，为简化描述，在此不再赘述。
[0120]
进一步地，为了在保证推理速度的基础，提升包裹分类、破损等的准确率，可以将多个图像输入网络的输入尺寸进行修改(比如，可以将原尺寸为300*300的图像，修改为512*512)，以提高图像的分辨率，以便于网络可以更充分的提取图像特征。
[0121]
502、确定与所述包裹类别关联的破损检测网络。
[0122]
在一些实施例中，破损检测网络有多个，每个破损检测网络用于检测一种类别包裹的包裹破损情况，得到该种类别包裹的包裹破损检测结果。其中，每个破损检测网络的网格结构及功能与上述步骤204中所提及的破损检测网络类似，具体可以参照上述步骤204的说明，在此不再赘述。
[0123]
例如，破损检测网络有3个，分别为：网络1、2、3，网络1、2、3分别用于信封类、纸箱类、胶袋类的破损检测。当步骤501中确定待检测包裹a的包裹类别为“纸箱类”时，则在步骤502中可以确定与待检测包裹a的包裹类别“纸箱类”的破损检测网络为“网络2”。
[0124]
在一些实施例中，破损检测网络只有一个，如图4所示，该破损检测网络包括特征提取模块和预测模块，预测模块又可以进一步包括多个预测分支。特征提取模块可以用于执行上述步骤202～203中的特征提取过程、预测模块中的每个分支可以用于执行步骤204中破损检测结果的预测过程。此时，步骤502确定与包裹类别关联的破损检测网络将转变为确定破损检测网络中与包裹类别关联的预测分支。
[0125]
例如，破损检测网络的预测模块包括3个分支，分别为预测分支1、2、3，预测分支1、2、3分别用于信封类、纸箱类、胶袋类的破损检测。当步骤501中确定待检测包裹b的包裹类别为“胶袋类”时，则在步骤502中可以确定与待检测包裹b的包裹类别“胶袋类”的破损检测网络为“预测分支3”。
[0126]
503、调用所述破损检测网络，根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
[0127]
在一些实施例中，破损检测网络有多个。在步骤s502中确定与包裹类别关联的破损检测网络(简称为目标检测网络)之后，调用目标检测网络，首先，根据三维图像特征对多个图像中的每个像素点进行置信度预测，确定多个图像中的每个像素点是待检测包裹破损位置所在像素点的置信度(简称为每个像素点的置信度)。然后，根据每个像素点的置信度，确定待检测包裹是否破损、以及破损位置的检测框，从而得到待检测包裹的破损检测结果。
[0128]
在一些实施例中，破损检测网络只有一个。在步骤s502中确定破损检测网络中与包裹类别关联的预测分支(简称为目标分支)之后，调用目标分支，首先，根据三维图像特征对多个图像中的每个像素点进行置信度预测，确定多个图像中的每个像素点是待检测包裹
破损位置所在像素点的置信度(简称为每个像素点的置信度)。然后，根据每个像素点的置信度，确定待检测包裹是否破损、以及破损位置的检测框，从而得到待检测包裹的破损检测结果。
[0129]
由以上内容可以看出，通过针对不同的数据源类别(即包裹类别)，采用不同的破损检测网络预测待检测包裹的破损检测结果，使得网络的针对性更强，避免了由于数据源的种类较多，而导致的包裹破损检测网络的泛化性能下降的问题，在一定程度上提高了包裹破损的检测准确率。
[0130]
在某些情况下，有些类别的包是不会发生破损，为了提高包裹破损的检测效率，在本技术的一些实施例中，当上述步骤501中检测到包裹类别为不会破损的包裹类别时，将不会继续执行对待检测包裹是否破损的检测步骤。
[0131]
即，在本技术的一些实施例，上述步骤502具体可以包括：检测所述包裹类别与预设的包裹类别是否相同；当检测到所述包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与所述包裹类别关联的预测网络，以作为所述破损检测网络。
[0132]
其中，预设的包裹类别是指会发生破损的包裹类别。如，预设的包裹类别可以是胶袋类、纸箱类。此处预设的包裹类别仅为举例，具体可以根据实际情况和业务场景进行设置，不以此为限。
[0133]
具体地，当检测到包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与包裹类别关联的预测网络，以作为破损检测网络。当检测到包裹类别与预设的包裹类别不相同时，将不会对待检测包裹作进一步的破损检测，而继续采集下一个包裹在不同角度的多个图像进行检测。
[0134]
例如，预设的包裹类别可以是胶袋类、纸箱类。当检测到待检测包裹a的包裹类别为“胶袋类”时，将从预设的多个预测网络中，获取与包裹类别“胶袋类”关联的预测网络，以作为破损检测网络。
[0135]
当检测到待检测包裹b的包裹类别为“信封类”时，将不会对待检测包裹b作进一步的破损检测，而继续采集下一个包裹在不同角度的多个图像进行检测。
[0136]
可以理解的是，在一些实施例中，预设的包裹类别也可以是指不会发生破损的包裹类别。如，预设的包裹类别可以是信封类。此时，上述步骤502具体可以包括：检测包裹类别与预设的包裹类别是否相同。当检测到包裹类别与预设的包裹类别不相同时，从预设的多个预测网络中获取与包裹类别关联的预测网络，以作为破损检测网络。当检测到包裹类别与预设的包裹类别相同时，将不会对待检测包裹作进一步的破损检测，而继续采集下一个包裹在不同角度的多个图像进行检测。
[0137]
例如，预设的包裹类别可以是信封类。当检测到待检测包裹c的包裹类别为“胶袋类”时，将从预设的多个预测网络中，获取与包裹类别“胶袋类”关联的预测网络，以作为破损检测网络。
[0138]
当检测到待检测包裹d的包裹类别为“信封类”时，将不会对待检测包裹d作进一步的破损检测，而继续采集下一个包裹在不同角度的多个图像进行检测。
[0139]
由以上内容可以看出，通过检测待检测包裹的包裹类别与预设的包裹类别是否相同，来确定待检测包裹是否为不会破损的包裹类别；从而可以滤除不会发生破损的包裹，避免了对不会发生破损的包裹进行破损检测，造成一定的时间浪费的问题。从而，可以在一定
程度上提升包裹破损的检测效率。
[0140]
在本技术的一些实施例中，可以采用同一个网络对多个图像中的每一图像进行特征提取、同时对待检测包裹进行分类，例如，上述步骤501具体可以包括：调用预设的包裹分类网络中的第一预测层，根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别。上述步骤202具体可以包括：调用所述包裹分类网络中的第一特征提取层，对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
[0141]
在一些实施例中，上述步骤501～503中所提及的包裹分类网络可以进一步包括第一特征提取层和第一预测层。
[0142]
其中，第一特征提取层，可以用于根据图像进行特征提取，得到图像的图像特征。具体地，第一特征提取层可用于实现上述步骤202中对多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
[0143]
第一预测层，可以用于根据图像特征预测包裹的类别。具体地，可用于实现上述步骤501中对根据二维图像特征对所述待检测包裹进行分类，得到待检测包裹的包裹类别。
[0144]
通过采用同一网络对多个图像中的每个图像分别进行特征提取、同时对待检测包裹进行分类，可以减少网络数量，进而减少网络的训练时间，降低网络模型的训练成本。
[0145]
在某些场景下，需要对包裹破损的严重程度或类型进行分类，以便后续的破损包裹处理。为此，在本技术的一些实施例中，还可以对待检测包裹的破损类别进行检测。即，该包裹破损的检测方法还可以进一步包括以下步骤b1～b2，其中：
[0146]
b1、调用预设的破损分类网络中的第二特征提取层，根据所述破损区域进行特征提取处理，得到所述破损区域的区域特征。
[0147]
在一些实施例中，破损分类网络可以通过如下步骤c1～c3训练得到，其中：
[0148]
c1、构建初步的破损分类网络。
[0149]
其中，初步的破损分类网络可以包括特征提取层和预测层。训练后的破损分类网络、与初步的破损分类网络的功能及网络结构类似；即初步的破损分类网络中特征提取层、预测层，分别为训练后的破损分类网络中第二特征提取层、第二预测层。
[0150]
例如，可以采用模型参数为默认值的(可用于分类任务)开源网络(如mobilenet网络)作为预设的破损分类网络。开源分类任务网络一般包含有特征提取层和预测层，可以采用开源分类任务网络的特征提取层、预测层，分别作为初步的破损分类网络的特征提取层、预测层。
[0151]
其中，特征提取层用于对破损包裹的样本图像(简称为破损样本)进行特征提取得到破损样本的图像特征。预测层用于基于破损样本的图像特征进行预测，得到破损样本的破损类别。
[0152]
c2、获取训练数据集。
[0153]
其中，训练数据集包含多个破损包裹的样本图像，每个破损包裹的样本图像标注了破损包裹实际的破损类别。
[0154]
c3、采用训练数据集对初步的破损分类网络进行训练，直至初步的破损分类网络收敛时，得到训练后的破损分类网络。
[0155]
训练后的破损分类网络(在没有特别指明的情况下，本文中所简称破损分类网络，
即训练后的破损分类网络)可以充分学习包裹破损类别与图像特征之间关系，从而可以精确地检测出图像中破损包裹的破损类别。
[0156]
其中，破损分类网络的训练过程与现有的分类网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式，在此不再赘述。
[0157]
对应的，训练后的包裹破损分类网络、与步骤c1中初步的破损分类网络的网络结构和功能基本类似，再此不再赘述。
[0158]
在一些实施例中，上述步骤204中确定的破损检测结果所指示的：待检测包裹破损位置的检测框，可以作为待检测包裹的破损区域。破损分类网络的第二特征提取层，此时，首先，可以根据待检测包裹破损位置的检测框，从多个图像中分割出待检测包裹破损区域的区域图像。然后，对区域图像进行卷积、池化等特征提取操作，得到破损区域的区域特征。
[0159]
其中，破损区域是指破损检测结果所指示的：待检测包裹破损位置的检测框所在像素点区域。
[0160]
区域特征是指基于区域图像进行特征提取后，所得到的破损区域的空间特征。
[0161]
b2、调用所述破损分类网络中的第二预测层，根据所述区域特征进行分类预测处理，得到所述破损区域的破损类别。
[0162]
此时，对应的破损分类网络中的第二预测层，首先，可以根据区域特征对待检测包裹进行分类，确定破损区域分别是各个预设破损类别的概率。然后，从各个预设破损类别中，获取概率最大的类别作为破损区域的破损类别。
[0163]
在一些实施例中，破损类别是指待检测包裹的破损严重程度，比如，严重破损、中度破损、轻微破损，等等。又如，可以分为：穿透性破损、裂痕破损、人工打孔、误检；等等。
[0164]
在一些实施例中，破损类别是指待检测包裹的破损位置，比如，外包装破损、包装内部破损，等等。
[0165]
在一些实施例中，破损类别是指破损待检测包裹的包裹类别，比如，信封类包裹破损、胶袋类包裹破损，等等。
[0166]
此处，破损类别仅为举例，具体可以根据实际需求和业务场景进行设定，不以此为限。
[0167]
由以上内容可以看出，通过将待检测包裹的破损区域的图像分割出来，针对破损区域的图像，可以对待检测包裹的破损情况进行分类，为后续破损的包裹处理提供了便利，进而在一定程度可以提高包裹的物流时效。
[0168]
进一步地，在本技术的一些实施例中，在检测到包裹发生破损后，还可以将发生破损的包裹分拣出来。
[0169]
在本技术的一些实施例中，该包裹破损的检测方法还可以进一步包括：根据所述破损类别，将所述待检测包裹分拣至对应的存放区域。
[0170]
请参照图6，图6是本技术实施例中破损包裹的存放区域的一种场景示意图。其中，每个虚线框分别表示一个存放区域，每个存放区域用于存放不同破损类别的包裹。例如，破损类别包括轻度破损、中度破损、严重破损。其中，区域1、2、3可以分别用于存放轻度破损、中度破损、严重破损的包裹。
[0171]
通过根据包裹破损类别将包裹分拣至不同的存放区域，使得相关管理人员可以快速、准确地确定包裹的破损情况。尤其是破损包裹数量较大时，可以节省大量的破损情况辨
别时间，进而在一定程度上提高了包裹的物流时效。
[0172]
由于包裹破损会影响包裹的物流时效，为了保证物流系统中的包裹物流信息的准确性、及时性。在本技术的一些实施例中，该包裹破损的检测方法还包括以下步骤d1～d2，其中：
[0173]
d1、当破损检测结果为包裹破损时，获取所述待检测包裹的识别信息。
[0174]
其中，识别信息是指用于区分包裹的信息，比如运单号等。
[0175]
具体地，当确定待检测包裹为破损时，可以基于已经采集的多个图像作进一步检测，比如可以检测待检测包裹的运单号等识别信息。
[0176]
d2、根据所述识别信息，更新所述待检测包裹在预设数据库中的物流状态。
[0177]
其中，预设数据库可以是物流记录系统等，预设数据库具体可以根据实际场景而设置。
[0178]
然后，根据待检测包裹的识别信息，从预设数据库中查找出待检测包裹的记录信息(比如，当前运输状态、包裹类型、包裹计划时效、包裹预计到达时间等基本信息、以及物流状态)。并根据待检测包裹的损坏情况，重新预测待检测包裹的预计到达时间。接着，利用重新预测的预计到达时间、当前运输状态(如“包裹破损、等待重新发货”)等物流状态，更新待检测包裹在预设数据库中的物流状态。
[0179]
通过获取待检测包裹的识别信息，更新待检测包裹在预设数据库中的物流状态，保证物流系统中的包裹物流信息的准确性、及时性，使得用户可以及时理解到包裹的物流状态。
[0180]
为了更好实施本技术实施例中包裹破损的检测方法，在包裹破损的检测方法基础之上，本技术实施例中还提供一种包裹破损的检测装置，如图7所示，为本技术实施例中包裹破损的检测装置的一个实施例结构示意图，该包裹破损的检测装置700包括：
[0181]
获取单元701，用于获取待检测包裹在不同角度的多个图像；
[0182]
提取单元702，用于对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；
[0183]
融合单元703，用于对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；
[0184]
检测单元704，用于根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
[0185]
在本技术的一些实施例中，所述检测单元704具体用于：
[0186]
根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；
[0187]
确定与所述包裹类别关联的破损检测网络；
[0188]
调用所述破损检测网络，根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。
[0189]
在本技术的一些实施例中，所述检测单元704具体用于：
[0190]
检测所述包裹类别与预设的包裹类别是否相同；
[0191]
当检测到所述包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与所述包裹类别关联的预测网络，以作为所述破损检测网络。
[0192]
在本技术的一些实施例中，所述检测单元704具体用于：
[0193]
调用预设的包裹分类网络中的第一预测层，根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；
[0194]
在本技术的一些实施例中，所述提取单元702具体用于：
[0195]
调用所述包裹分类网络中的第一特征提取层，对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。
[0196]
在本技术的一些实施例中，所述破损检测结果包括所述待检测包裹的破损区域，所述包裹破损的检测装置700还包括分类单元(图中未示出)，所述分类单元具体用于：
[0197]
调用预设的破损分类网络中的第二特征提取层，根据所述破损区域进行特征提取处理，得到所述破损区域的区域特征；
[0198]
调用所述破损分类网络中的第二预测层，根据所述区域特征进行分类预测处理，得到所述破损区域的破损类别。
[0199]
在本技术的一些实施例中，所述包裹破损的检测装置700还包括分拣单元(图中未示出)，所述分拣单元具体用于：
[0200]
根据所述破损类别，将所述待检测包裹分拣至对应的存放区域。
[0201]
在本技术的一些实施例中，所述包裹破损的检测装置700还包括更新单元(图中未示出)，所述更新单元具体用于：
[0202]
当破损检测结果为包裹破损时，获取所述待检测包裹的识别信息；
[0203]
根据所述识别信息，更新所述待检测包裹在预设数据库中的物流状态。具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0204]
由于该包裹破损的检测装置可以执行本技术如图1至图6对应任意实施例中包裹破损的检测方法中的步骤，因此，可以实现本技术如图1至图6对应任意实施例中包裹破损的检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0205]
此外，为了更好实施本技术实施例中包裹破损的检测方法，在包裹破损的检测方法基础之上，本技术实施例还提供一种电子设备，参阅图8，图8示出了本技术实施例电子设备的一种结构示意图，具体的，本技术实施例提供的电子设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中包裹破损的检测方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。
[0206]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
[0207]
电子设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。
[0208]
处理器801可以是中央处理单元(central processing unit，cpu)，还可以是其他
通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
[0209]
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0210]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的包裹破损的检测装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中包裹破损的检测方法的说明，具体在此不再赘述。
[0211]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0212]
为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1至图6对应任意实施例中包裹破损的检测方法中的步骤，具体操作可参考如图1至图6对应任意实施例中包裹破损的检测方法的说明，在此不再赘述。
[0213]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0214]
由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1至图6对应任意实施例中包裹破损的检测方法中的步骤，因此，可以实现本技术如图1至图6对应任意实施例中包裹破损的检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0215]
以上对本技术实施例所提供的一种包裹破损的检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种包裹破损的检测方法，其特征在于，所述方法包括：获取待检测包裹在不同角度的多个图像；对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。2.根据权利要求1所述的包裹破损的检测方法，其特征在于，所述根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果，包括：根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；确定与所述包裹类别关联的破损检测网络；调用所述破损检测网络，根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。3.根据权利要求2所述的包裹破损的检测方法，其特征在于，所述确定与所述包裹类别关联的破损检测网络，包括：检测所述包裹类别与预设的包裹类别是否相同；当检测到所述包裹类别与预设的包裹类别相同时，从预设的多个预测网络中获取与所述包裹类别关联的预测网络，以作为所述破损检测网络。4.根据权利要求2所述的包裹破损的检测方法，其特征在于，所述根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别，包括：调用预设的包裹分类网络中的第一预测层，根据所述二维图像特征对所述待检测包裹进行分类，得到所述待检测包裹的包裹类别；所述对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征，包括：调用所述包裹分类网络中的第一特征提取层，对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征。5.根据权利要求1所述的包裹破损的检测方法，其特征在于，所述破损检测结果包括所述待检测包裹的破损区域，所述方法还包括：调用预设的破损分类网络中的第二特征提取层，根据所述破损区域进行特征提取处理，得到所述破损区域的区域特征；调用所述破损分类网络中的第二预测层，根据所述区域特征进行分类预测处理，得到所述破损区域的破损类别。6.根据权利要求5所述的包裹破损的检测方法，其特征在于，所述方法还包括：根据所述破损类别，将所述待检测包裹分拣至对应的存放区域。7.根据权利要求1-6任一项所述的包裹破损的检测方法，其特征在于，所述方法还包括：当破损检测结果为包裹破损时，获取所述待检测包裹的识别信息；根据所述识别信息，更新所述待检测包裹在预设数据库中的物流状态。8.一种包裹破损的检测装置，其特征在于，所述包裹破损的检测装置包括：
获取单元，用于获取待检测包裹在不同角度的多个图像；提取单元，用于对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；融合单元，用于对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；检测单元，用于根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的包裹破损的检测方法。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的包裹破损的检测方法中的步骤。

技术总结
本申请提供一种包裹破损的检测方法、装置、电子设备及计算机可读存储介质。该包裹破损的检测方法包括：获取待检测包裹在不同角度的多个图像；对所述多个图像中的每个图像分别进行特征提取，得到所述每个图像的二维图像特征；对所述二维图像特征进行特征融合处理，得到所述待检测包裹的三维图像特征；根据所述三维图像特征进行特征预测处理，确定所述待检测包裹的破损检测结果。本申请中提高了待检测包裹的破损检测结果的准确率，进而一定程度上提升了包裹时效。升了包裹时效。升了包裹时效。


技术研发人员：黄仰光
受保护的技术使用者：顺丰科技有限公司
技术研发日：2020.11.23
技术公布日：2022/5/25