目标区域检测方法、装置及电子设备与流程

1.本发明涉及图像检测技术领域，具体而言，涉及一种目标区域检测方法、装置及电子设备。


背景技术：

2.在现代社会中，借助计算机对图像进行分类识别被广泛应用在各个领域。在对图像进行分类识别的过程中，往往会从图像中检测到一些候选目标，而这些候选目标作为输出结果时，有些是想要的结果，但是有些可能并不是想要的结果。因此，如何从候选目标中进一步得到想要的结果，以提高检测的准确度，目前需要解决的问题。


技术实现要素：

3.基于上述研究，本发明提供一种目标区域检测方法、装置及电子设备，以改善上述问题。
4.本发明的实施例可以通过以下方面实现：
5.第一方面，本发明实施例提供一种目标区域检测方法，应用于电子设备，电子设备包括预先训练得到的目标区域检测网络，目标区域检测网络包括融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络；方法包括：
6.获取待检测的目标对象的多个图像数据；
7.将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域；
8.将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，整体特征数据表征各图像数据的融合特征结果；
9.将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据；图像特征数据包括各图像数据对应的特征结果；
10.将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。
11.第二方面，本发明实施例还提供一种目标区域检测装置，包括：
12.数据获取模块，用于获取待检测的目标对象的多个图像数据；
13.第一处理模块，用于将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域；
14.第二处理模块，用于将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据；
15.第三处理模块，用于将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据；
16.第四处理模块，用于将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。
17.第三方面，本发明实施例还提供一种电子设备，电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述任意一种的目标区域检测方法。
18.第四方面，本发明实施例还提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述任意一种的目标区域检测方法。
19.本发明实施例所提供的一种目标区域检测方法、装置及电子设备，通过获取待检测的目标对象的多个图像数据，然后将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域，再通过将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，之后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合处理，确定得到各候选区域中的目标区域。如此，通过设置两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以及图像特征数据，对候选区域进一步筛选，从而提高目标区域检测的准确度。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例所提供的电子设备的一种结构示意图。
22.图2为本发明实施例所提供的一种目标区域检测方法的流程示意图。
23.图3为本发明实施例所提供的另一种目标区域检测方法的流程示意图。
24.图4为本发明实施例所提供的目标区域检测装置的方框示意图。
25.图标：100-电子设备；10-目标区域检测装置；11-数据获取模块；12-第一处理模块；13-第二处理模块；14-第三处理模块；15-第四处理模块；20-存储器；30-处理器；40-通信单元。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
27.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
29.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
30.在现代社会中，借助计算机对图像进行分类识别被广泛应用在各个领域，在对图像进行分类识别的过程中，往往会从图像中检测到一些候选目标，而这些候选目标作为输出结果时，有些是想要的结果，但是有些可能并不是想要的结果。因此，需要提高目标对象检测的准确度。
31.基于上述研究内容，本发明实施例所提供的一种目标区域检测方法，通过获取待检测的目标对象的多个图像数据，然后将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域，再通过将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，之后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以及图像特征数据，对候选区域进一步筛选，从而提高目标区域检测的准确度。
32.请参阅图1，图1为本实施例提供的一种电子设备100的结构框图。如图1所示，电子设备100可以包括目标区域检测装置10、存储器20、处理器30及通信单元40，存储器20存储有处理器30可执行的机器可读指令，当电子设备100运行时，处理器30及存储器20之间通过总线通信，处理器30执行机器可读指令，并执行目标区域检测方法。
33.存储器20、处理器30以及通信单元40各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。目标区域检测装置10包括至少一个可以软件或固件(firmware)的形式存储于存储器20中的软件功能模块。处理器30用于执行存储器20中存储的可执行模块(例如目标区域检测装置10所包括的软件功能模块或计算机程序)。
34.其中，存储器20可以是，但不限于，随机读取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
35.在一些实施例中，处理器30用以执行本实施例中描述的一个或多个功能。在一些实施例中，处理器30可以包括一个或多个处理核(例如，单核处理器(s)或多核处理器(s))。仅作为举例，处理器30可以包括中央处理单元(central processing unit，cpu)、专用集成电路(application specific integrated circuit，asic)、专用指令集处理器(application specific instruction-setprocessor，asip)、图形处理单元(graphics processing unit，gpu)、物理处理单元(physics processing unit，ppu)、数字信号处理器(digital signal processor，dsp)、现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑器件(programmable logic device，pld)、控制器、微控制器单元、简化指令集计算机(reducedinstruction set computing，risc)或微处理器等，或其任意组合。
36.为了便于说明，在电子设备100中仅描述了一个处理器。然而，应当注意，本实施例中的电子设备100还可以包括多个处理器，因此本实施例中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若服务器的处理器执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，处理器执行步骤a，第二处理器执行步骤b，或者处理器和第二处理器共同执行步骤a和b。
37.本实施例中，存储器20用于存储程序，处理器30用于在接收到执行指令后，执行程序。本实施例任一实施方式所揭示的流程定义的方法可以应用于处理器30中，或者由处理器30实现。
38.通信单元40用于通过网络建立电子设备100与其他设备之间的通信连接，并用于通过网络收发数据。
39.在一些实施方式中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(local area network，lan)、广域网(wide area network，wan)、无线局域网(wireless local area networks，wlan)、城域网(metropolitan area network，man)、广域网(wide area network，wan)、公共电话交换网(public switched telephone network，pstn)、蓝牙网络、zigbee网络、或近场通信(near field communication，nfc)网络等，或其任意组合。
40.在本实施例中，电子设备100可以是但不限于笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等电子设备上，本实施例对电子设备的具体类型不作任何限制。
41.可以理解地，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
42.基于图1的实现架构，本实施例提供一种目标区域检测方法，由图1所示的电子设备执行，下面基于图1示出的电子设备100的结构图对本实施例提供的目标区域检测方法的步骤进行详细阐述。请结合参阅图2，本实施例所提供的一种目标区域检测方法，应用于电子设备，电子设备还包括预先训练得到的目标区域检测网络，目标区域检测网络包括融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络；目标区域检测方法包括步骤101至步骤105。
43.步骤101：获取待检测的目标对象的多个图像数据.
44.步骤102：将各图像数据输入至候选区域识别子网络，从各图像数据中确定得到带有至少一个候选区域的目标图像数据。
45.步骤103：将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，整体特征数据表征各图像数据的融合特征结果。
46.步骤104：将各图像数据分别输入至第二特征提取子网络，得到各图像数据对应的图像特征数据，图像特征数据包括各图像数据对应的特征结果。
47.步骤105：将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。
48.在本实施例中，目标区域检测方法可以应用在人脸识别中。例如，在多张张行人照片中，需要识别某个人脸。其中，目标对象为某个人脸，图像数据可以是拍摄的多张行人照片。通常情况，行人照片中会包括多个路人，将拍摄的行人照片输入至候选区域识别子网络，可能会得到一个或多个候选区域。例如，有2个路人的面部特征比较相近，则这2个人脸可能会作为候选区域。而这2个候选区域不全是我们想要的结果。此时，可以通过第一特征提取子网络及第二特征提取子网络对图像数据做特征提取，获得整体特征数据及图像特征数据，将整体特征数据、图像特征数据及目标图像数据输入至融合子网络，以我们想要的目标区域，从而提高目标区域检测准确度。
49.目标区域检测方法还可以应用在医学图像检测中。例如，在同一器官的多个序列图像数据中，需要识别某个非正常区域，该非正常区域可以是细胞组织发生变化，从而不同于其他处的细胞组织，例如病变。
50.在本实施例中，目标区域检测方法应用于预先训练得到的目标区域检测网络。在训练目标区域检测网络之前，首先需要获取样本图像数据，样本图像数据可以是不同人器官扫描获得的多个图像数据。这些样本图像数据中，预先标记有目标区域，并将标记的目标区域作为标签值。将样本图像数据输入到初始目标区域检测网络中，初始目标区域检测网络包括融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络，需要说明的是，融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络的参数均未调整。将样本图像数据输入到初始目标区域检测网络，得到初始目标区域检测网络的预测值，计算预测值与该样本图像数据的标签值的损失，判断损失是否达到预设条件，若未达到，将损失反向传播，对初始目标区域检测网络的参数进行调整，以此迭代，直至预测值与该样本图像数据的标签值的损失达到预设条件，得到目标区域检测网络。通过大量样本图像数据对初始目标区域检测网络进行训练，从而得到训练好的目标区域检测网络。
51.训练好的目标区域检测网络包括融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络。其中，候选区域识别子网络用于根据输入的待检测的目标对象的多个图像数据，得到目标图像数据以及目标图像数据中的候选区域。而第一特征提取子网络用于根据输入的各图像数据，得到目标对象的整体特征数据。第二特征提取子网络用于根据分别输入的各图像数据，得到目标对象对应的图像特征数据。融合子网络用于根据输入的目标图像数据、整体特征数据及图像特征数据，确定得到各候选区域中的目标区域。
52.需要说明的是，第一特征提取子网络和第二特征提取子网络是并联设置的，也就是说，两个网络的输入及输出时相互独立，互不干扰的。即使两个网络的输入数据来源相同，但由于输入方式及内部处理方式不同，从而两个网络的输出结果也是不同的。
53.需要注意的是，即使整体特征数据与图像特征数据的尺寸相同，因为输入方式及处理方式不同，其所包含的特征信息是不同的。不难理解，图像特征数据是通过各图像数据分别输入至第二特征提取子网络处理得到，每个图像数据独立进行卷积处理，图像特征数据包括的是各图像数据对应的特征结果，可以理解的是，图像特征数据中某一像素点反映的是某一个图像数据的特征结果。
54.而整体特征数据是通过各图像数据同时输入至第一特征提取子网络的不同通道
中处理得到的，在处理时，各图像数据彼此之间有一定影响，整体特征数据表征的是各图像数据的融合特征结果。也就是说，整体特征数据中某一像素点反映的是各图像数据的融合特征结果。
55.在本实施例中，目标对象是获得图像数据的对象，应用在医学图像检测中，目标对象为某一器官，例如，肝脏或肺等。利用电子计算机断层扫描(computedtomography，ct)图像、磁共振检查(magneticresonance,mr)图像、4d超声超声波图像等方式，对该器官进行扫描，所获得的序列图像即为图像数据。需要解释的是，同一器官可以获得多个图像数据。例如，在肝脏造影前进行扫描，可以获得一个图像数据，在肝脏造型后进行扫描，可以获得另一个图像数据。这些图像数据对应的是同一器官，但是由于扫描时期不同，所得到的的图像数据对于该器官组织的表现也不同。举例来说，肝脏某一处发生非正常变化，例如病变，则该组织在造影前后通过扫描获得多个图像数据，而对于该器官同一位置的像素点，在不同的图像数据中，该像素点的颜色可能不同。
56.在本实施例中，如果器官中有一处或多处区域的细胞组织发生非正常变化，那么将该器官的各图像数据输入至候选区域识别子网络，会得到目标图像数据以及目标图像数据中的候选区域。候选区域是指候选区域识别子网络根据该器官的各图像数据检测识别到的该器官可能发生非正常变化的区域。而目标图像数据是指候选区域识别子网络根据输入的各图像数据，输出的一个图像数据，值得注意的是，该图像数据带有识别出的候选区域。
57.需要解释的是，在本实施例中，目标图像数据是由一系列像素点构成，每个像素点有相应的数值。正常区域的像素点，其数值大都是处于某一数值范围，而发生非正常变化的区域，其像素点的数值明显区别于正常区域像素点的数值范围。例如，每个像素点的数值的取值范围是0至1，正常区域的像素点的取值处于0至0.5，如果某些像素点的数值大于0.5，则该像素点所构成的区域设置为候选区域，即认为在该处发生非正常变化。可以理解的的是，目标图像数据中候选区域是根据各图像数据识别出的候选区域的汇总。
58.在得到带有候选区域的目标对象后，由于不确定当前的候选区域是否为最终实际结果，因而在本实施例中，将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据。整体特征数据表征各图像数据的融合特征结果。本实施例还将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，图像特征数据包括各图像数据对应的特征结果。
59.在本实施例中，在得到带有候选区域的目标图像数据、整体特征数据及图像特征数据后，通过将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合处理，将目标图像数据中的各像素点的数值进行更新，实现候选区域进行进一步筛选检测，以得到目标区域。目标区域可以是1个或多个，也可以是0个，本实施例对此不做限定。
60.本发明实施例所提供的一种目标区域检测方法，通过获取待检测的目标对象的多个图像数据，然后将各图像数据输入至候选区域识别子网络，从各图像数据中确定得到带有至少一个候选区域的目标图像数据，再通过将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及将各图像数据分别输入至第二特征提取子网络，得到各图像数据对应的图像特征数据，之后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以
及图像特征数据，对候选区域进一步筛选，提高目标区域检测的准确度。
61.在一种可选的实施方式中，上述提到的候选区域识别子网络可以是残差神经网络(resnet)或目标检测网络(rcnn)等。想要说明的是，候选区域识别子网络对各图像数据中发生非正常变化的区域进行检测识别，从而输出带有候选区域的目标图像数据。而根据各图像数据检测识别出目标图像数据，是目标区域检测的初始步骤。
62.在本实施例中，将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域的步骤，包括：
63.根据候选区域识别子网络，将各图像数据分别输入到候选区域识别子网络的至少一个通道中；候选区域识别子网络的通道的数量大于等于图像数据的数量。
64.将各通道中的图像数据进行卷积处理，确定得到目标图像数据以及目标图像数据中的候选区域。
65.在一种可选的实施方式中，候选区域识别子网络具有多个通道，通道的数量大于等于图像数据的数量。例如，图像数据有30个，候选区域识别子网络的通道可以有30个或32个。若图像数据的数量小于通道的数量，则将图像数据重复输入至剩余的通道中。例如，图像数据有30个，候选区域识别子网络的通道有32个，则将30个图像数据分别输入至30个通道中，再从30个图像数据中选取2个图像数据分别输入至剩余的2个通道中。
66.将图像数据输入至32个通道后，将32个通道中的图像数据进行卷积处理。详细的说，将32个通道中的图像数据分别进行卷积，得到卷积后的32个通道图像数据。针对每个通道图像数据，将相同位置像素点的数值进行相加，得到一个新的数值，将该数值设置为新图像数据中相应位置像素点的数值。按照上述步骤，得到新图像数据每一个像素点的数值，则新图像数据即为目标图像数据。例如，得到卷积后32个尺寸为64*64*64的通道图像数据，将每个通道图像数据相同位置像素点的数值进行相加，最终得到一个新的64*64*64的图像数据，该图像数据即为目标图像数据。
67.得到目标图像数据后，可以通过像素值筛选以得到候选区域。详细的说，目标图像数据由一系列像素点构成，每个像素点对应一个数值。正常区域的像素点，其数值是处于一定的数值范围，而发生非正常变化的区域，其像素点的数值明显区别于正常区域像素点的数值。例如，每个像素点的数值的取值范围是0至1，将目标图像数据中像素点数值小于0.5的像素点所构成的区域设置为正常区域，数值大于0.5的像素点所构成的区域设置为候选区域，从而得到目标图像数据中的候选区域。可以理解的是，目标图像数据中候选区域是根据各图像数据识别出的各候选区域的汇总。
68.在本实施例中，第二特征提取子网络包括多个输入子网络，输入子网络的数量大于等于图像数据的数量。例如图像数据有30个，则输入子网络可以是32个或者是64个。
69.需要注意的是，在本实施例中，需要将各图像数据输入至第一特征提取子网络及第二特征提取子网络。区别在于，在输入至第一特征提取子网络时，是将各图像数据同时输入至第一特征提取子网络的各通道中，而在输入至第二特征提取子网络时，是将各图像数据分别输入至第二特征提取子网络的各输入子网络中，容易理解的是，图像数据输入两个网络的输入方式不同。
70.详细的说，第一特征提取子网络具有多个通道，通道数量大于等于图像数据的数量，多余的通道可以输入已经输入过的图像数据，从而得到的整体特征数据，整体特征数据
用于表征各图像数据的融合特征结果。例如，图像数据有8个，第一特征提取子网络的通道有8个，则将8个图像数据分别输入至8个通道中。
71.将图像数据输入至8个通道后，将8个通道中的图像数据进行卷积处理，得到卷积后的8个图像数据，将卷积后的8个图像数据进行拼接得到整体特征数据。例如，将8个尺寸为64*64*64的图像数据分别输入至8个通道中进行卷积，得到8个尺寸为1*1*64卷积后的图像数据，将卷积后的8个图像数据进行拼接，得到1*1*8*64的整体特征数据。
72.详细的说，将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据的步骤，包括：
73.将各图像数据分别输入至各输入子网络，得到各图像数据对应的各中间特征数据。
74.将各中间特征数据进行拼接处理，得到目标对象对应的图像特征数据。
75.其中，输入子网络的数量大于等于图像数据的数量，每个图像数据各自进行卷积处理，在进行卷积处理时，各图像数据彼此之间没有影响。各图像数据经过卷积处理后，得到各图像数据对应的各中间特征数据。在得到各中间特征数据后，将中间特征数据进行拼接处理，得到目标对象对应的图像特征数据。例如，得到8个中间特征数据，8个中间特征数据的尺寸均是1*1*64，将8个中间特征数据拼接处理，得到尺寸为1*1*8*64的图像特征数据。
76.在本实施例中，获取整体特征数据及图像特征数据时为了对候选区域的进一步筛选检测，详细的说，结合图3所示，在得到在整体特征数据及图像特征数据后，将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域，包括步骤201至步骤203。
77.步骤201：根据融合子网络，对目标图像数据进行降维压缩处理，得到降维压缩后的目标图像数据。
78.步骤202：将降维压缩后的目标图像数据与整体特征数据及图像特征数据进行拼接融合处理，得到拼接融合后的目标图像数据。
79.步骤203：将拼接融合后的目标图像数据进行升维还原处理，确定得到各候选区域中的目标区域。
80.根据融合子网络，将目标图像数据进行降维压缩处理，得到降维压缩后的目标图像数据。降维压缩后的目标图像数据与整体特征数据及图像特征数据只有一个维度不同。例如，整体特征数据的尺寸为1*1*8*64的特征，图像特征数据为1*1*8*64的特征。目标图像数据在输入融合子网络之前的尺寸为64*64*64。将该目标图像数据输入至16通道的融合子网络，经过降维压缩处理，尺寸变为1*1*16*64。降维压缩后的目标图像数据与整体特征数据及图像特征数据有只有一个维度不同，将目标图像数据与整体特征数据及图像特征数据进行拼接融合处理，得到拼接融合后的目标图像数据的尺寸为1*1*32*64。之后，将拼接融合后的目标图像数据进行升维还原处理，升维还原至64*64*64*1，也可以写成64*64*64，即升维还原至原先的尺寸。
81.目标图像数据在完成融合处理后，对于目标图像数据中的各候选区域而言，候选区域中的每个像素点所代表的数值会被更新，通过更新后的每个像素点的数值，即可确定得到目标区域。
82.详细的说，将拼接融合后的目标图像数据进行升维还原处理，确定得到各候选区域中的目标区域的步骤，包括：
83.将拼接融合后的目标图像数据进行升维还原处理，得到升维还原后的目标图像数据。
84.将升维还原后的目标图像数据进行二值化处理，确定得到各候选区域中的目标区域。
85.其中，二值化处理就是将目标图像数据变成二值化的图像数据。对于升维还原后的目标图像数据，其上的每个像素点都有对应的数值，这些数值的取值有多种，经过二值化处理后，每个像素点的数值只有两种取值。例如，经过二值化处理后，每个像素点的数值可以是1或者是0。
86.为了便于本领域理解与实施，本实施例给出关于二值化处理的具体实施方式。将升维还原后的目标图像数据进行二值化处理的步骤，包括：
87.根据升维还原后的目标图像数据，获取目标图像数据中各像素点的数值。
88.将各像素点的数值与预设阈值进行比较，将大于预设阈值的像素点标记为目标区域的目标像素点。
89.在本实施例中，预设阈值为一个预设的数值。目标图像数据中包含一系列像素点，每个像素点有相应的数值，所有像素点的取值范围可以为0至1，像素点的数值越接近0，则说明该像素点属于正常区域的概率越大，而像素点的数值越接近1，则说明该像素点属于目标区域的概率越大。而预设阈值的取值可以依据像素点的取值范围进行设定，例如，当像素点的取值范围为0至1，预设阈值可以为0.5。将各像素点的数值与预设阈值进行比较，将大于预设阈值的像素点的数值设置为1，小于预设阈值的像素点的数值设置为0，其中，像素点数值为1的标记为目标区域的目标像素点。
90.概括的说，本发明实施例所提供的一种目标区域检测方法，通过获取待检测的目标对象的多个图像数据，然后将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域，再通过将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，之后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以及图像特征数据，对候选区域进一步筛选，从而提高目标区域检测的准确度。
91.基于同一发明构思，请结合参阅图4，本实施例还提供一种目标区域检测装置10，包括：数据获取模块11，第一处理模块12，第二处理模块13，第三处理模块14，第四处理模块15。
92.数据获取模块11用于获取待检测的目标对象的多个图像数据；
93.第一处理模块12用于将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域；
94.第二处理模块13用于将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据；整体特征数据表征各图像数据的融合特征结果；
95.第三处理模块14用于将各图像数据分别输入至第二特征提取子网络，得到目标对
象对应的图像特征数据；图像特征数据包括各图像数据对应的特征结果；
96.第四处理模块15用于将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。
97.在一种可选的实施方式中，第四处理模块15还用于：
98.根据融合子网络，对目标图像数据进行降维压缩处理，得到降维压缩后的目标图像数据；
99.将降维压缩后的目标图像数据与整体特征数据及图像特征数据进行拼接融合处理，得到拼接融合后的目标图像数据；
100.将拼接融合后的目标图像数据进行升维还原处理，确定得到各候选区域中的目标区域。
101.在一种可选的实施方式中，第四处理模块15还用于：
102.将拼接融合后的目标图像数据进行升维还原处理，得到升维还原后的目标图像数据；
103.将升维还原后的目标图像数据进行二值化处理，确定得到各候选区域中的目标区域。
104.在一种可选的实施方式中，第四处理模块15还用于：
105.根据升维还原后的目标图像数据，获取目标图像数据中各像素点的数值；
106.将各像素点的数值与预设阈值进行比较，将大于预设阈值的像素点标记为目标区域的像素点。
107.在一种可选的实施方式中，目标区域检测方法还包括第五处理模块16，第五处理模块用于：
108.获取样本图像数据；
109.将样本图像数据输入到初始目标区域检测网络中，得到初始目标区域检测网络的预测值；
110.计算预测值与该样本图像数据的标签值的损失；
111.判断损失是否达到预设条件，若未达到，将损失反向传播，对初始目标区域检测网络的参数进行调整，以此迭代，直至预测值与该样本图像数据的标签值的损失达到预设条件，得到目标区域检测网络。
112.在一种可选的实施方式中，第三处理模块14还用于：
113.将各图像数据分别输入至各输入子网络，得到各图像数据对应的各中间特征数据；
114.将各中间特征数据进行拼接处理，得到目标对象对应的图像特征数据。
115.在一种可选的实施方式中，第一处理模块12还用于：
116.根据候选区域识别子网络，将各图像数据分别输入到候选区域识别子网络的至少一个通道中；候选区域识别子网络的通道的数量大于等于图像数据的数量；
117.将通道中的图像数据进行卷积处理，确定得到目标图像数据以及目标图像数据中的候选区域。
118.本发明实施例所提供的一种目标区域检测装置，通过数据获取模块获取待检测的目标对象的多个图像数据，然后通过第一处理模块将各图像数据输入至候选区域识别子网
络，确定得到目标图像数据以及目标图像数据中的候选区域，再通过第二处理模块将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及通过第三处理模块将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，之后通过第四处理模块将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以及图像特征数据，对候选区域进一步筛选，从而提高目标区域检测的准确度。
119.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的目标区域检测装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
120.在上述基础上，本实施例提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述任一实施方式的目标区域检测方法。
121.所属领域的技术人员可以清楚地了解到，由于为描述的方便和简洁，上述描述的可读存储介质的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
122.综上，本发明实施例所提供的一种目标区域检测方法、装置及电子设备，通过获取待检测的目标对象的多个图像数据，然后将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域，再通过将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据，以及将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据，之后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，得到图像数据的整体特征数据以及图像特征数据，根据整体特征数据以及图像特征数据，对候选区域进一步筛选，从而提高目标区域检测的准确度。
123.以上所述，仅为本发明的各种实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种目标区域检测方法，其特征在于，应用于电子设备，所述电子设备包括预先训练得到的目标区域检测网络，所述目标区域检测网络包括融合子网络以及并联设置的候选区域识别子网络、第一特征提取子网络、第二特征提取子网络；所述方法包括：获取待检测的目标对象的多个图像数据；将各所述图像数据输入至所述候选区域识别子网络，确定得到目标图像数据以及所述目标图像数据中的候选区域；将各所述图像数据输入至所述第一特征提取子网络，得到所述目标对象对应的整体特征数据；所述整体特征数据表征各所述图像数据的融合特征结果；将各所述图像数据输入至第二特征提取子网络，得到所述目标对象对应的图像特征数据；所述图像特征数据包括各所述图像数据对应的特征结果；将所述目标图像数据、所述整体特征数据及所述图像特征数据输入至所述融合子网络进行融合，确定得到各所述候选区域中的目标区域。2.根据权利要求1所述的目标区域检测方法，其特征在于，所述将所述目标图像数据、所述整体特征数据及所述图像特征数据输入至所述融合子网络进行融合，确定得到各所述候选区域中的目标区域，包括：根据所述融合子网络，对所述目标图像数据进行降维压缩处理，得到降维压缩后的目标图像数据；将降维压缩后的目标图像数据与所述整体特征数据及所述图像特征数据进行拼接融合处理，得到拼接融合后的目标图像数据；将拼接融合后的目标图像数据进行升维还原处理，确定得到各所述候选区域中的目标区域。3.根据权利要求2所述的目标区域检测方法，其特征在于，所述将拼接融合后的目标图像数据进行升维还原处理，确定得到各所述候选区域中的目标区域，包括：将拼接融合后的目标图像数据进行升维还原处理，得到升维还原后的目标图像数据；将升维还原后的目标图像数据进行二值化处理，确定得到各所述候选区域中的目标区域。4.根据权利要求3所述的目标区域检测方法，其特征在于，所述将升维还原后的目标图像数据进行二值化处理，确定得到各所述候选区域中的目标区域包括：根据升维还原后的目标图像数据，获取所述目标图像数据中各像素点的数值；将各像素点的数值与预设阈值进行比较，将大于所述预设阈值的像素点标记为所述目标区域的像素点。5.根据权利要求1所述的目标区域检测方法，其特征在于，在所述应用于预先训练得到的目标区域检测网络之前，所述方法还包括：获取样本图像数据；将所述样本图像数据输入到初始目标区域检测网络中，得到所述初始目标区域检测网络的预测值；计算所述预测值与该样本图像数据的标签值的损失；判断所述损失是否达到预设条件，若未达到，将所述损失反向传播，对所述初始目标区域检测网络的参数进行调整，以此迭代，直至预测值与该样本图像数据的标签值的损失达
到预设条件，得到目标区域检测网络。6.根据权利要求1所述的目标区域检测方法，其特征在于，所述第二特征提取子网络包括多个输入子网络，所述输入子网络的数量大于等于所述图像数据的数量；所述将各所述图像数据分别输入至第二特征提取子网络，得到所述目标对象对应的图像特征数据，包括：将各所述图像数据分别输入至各所述输入子网络，得到各所述图像数据对应的各中间特征数据；将各所述中间特征数据进行拼接处理，得到所述目标对象对应的所述图像特征数据。7.根据权利要求1所述的目标区域检测方法，其特征在于，所述将各所述图像数据输入至所述候选区域识别子网络，确定得到目标图像数据以及所述目标图像数据中的候选区域，包括：根据所述候选区域识别子网络，将各所述图像数据分别输入到所述候选区域识别子网络的至少一个通道中；所述通道的数量大于等于所述图像数据的数量；将各所述通道中的图像数据进行卷积处理，确定得到所述目标图像数据以及所述目标图像数据中的候选区域。8.一种目标区域检测装置，其特征在于，包括：数据获取模块，用于获取待检测的目标对象的多个图像数据；第一处理模块，用于将各所述图像数据输入至所述候选区域识别子网络，确定得到目标图像数据以及所述目标图像数据中的候选区域；第二处理模块，用于将各所述图像数据输入至所述第一特征提取子网络，得到所述目标对象对应的整体特征数据；第三处理模块，用于将各所述图像数据分别输入至第二特征提取子网络，得到所述目标对象对应的图像特征数据；第四处理模块，用于将所述目标图像数据、所述整体特征数据及所述图像特征数据输入至所述融合子网络进行融合，确定得到各所述候选区域中的目标区域。9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一所述的目标区域检测方法。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一所述的目标区域检测方法。

技术总结
本发明实施例公开了一种目标区域检测方法、装置及电子设备，涉及图像检测技术领域。通过获取待检测的目标对象的多个图像数据，将各图像数据输入至候选区域识别子网络，确定得到目标图像数据以及目标图像数据中的候选区域，再将各图像数据输入至第一特征提取子网络，得到目标对象对应的整体特征数据。然后将各图像数据分别输入至第二特征提取子网络，得到目标对象对应的图像特征数据。最后将目标图像数据、整体特征数据及图像特征数据输入至融合子网络进行融合，以确定得到各候选区域中的目标区域。如此，通过设置的两个特征提取子网络，提高目标区域检测的准确度。高目标区域检测的准确度。高目标区域检测的准确度。


技术研发人员：谢传淼 耿志君 张嵘 赵静 沈静娴
受保护的技术使用者：谢传淼
技术研发日：2022.04.06
技术公布日：2022/5/25