深度图处理方法、装置及电子设备与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种深度图处理方法、装置及电子设备。


背景技术：

2.随着计算机技术、多媒体技术的发展，人们对三维世界的感知需求不断提升，越来越多的应用需要获取三维场景相对于摄像机的距离(即深度)，如散景虚化、三维重建、人机交互、模式识别等，都是利用深度图来表征物体的第三维信息。而一般的摄像技术只能以二维的方式记录三维的空间，因此，如何获取高质量的深度信息成了计算机视觉至关重要的技术。
3.常见的深度图产生方法有立体匹配算法，如局部立体匹配、全局立体匹配和二者相结合形成的半全局立体匹配。局部立体匹配算法大多基于窗口实现，其复杂度低、易于实时实现，但局部立体匹配算法产生的深度图往往噪声较大，在低纹理区域、重复纹理区域和遮挡区域容易产生错误匹配。全局算法一般加入平滑项，通过解决最优化问题来计算，往往复杂度高，计算成本较大。半全局立体匹配作为逐像素匹配的方法，采用互信息评价匹配代价，并通过动态规划在一维平滑约束中实现最优路径的搜索。以上基于立体匹配的算法都容易在低纹理区域、重复纹理区域和遮挡区域等产生错误匹配，从而得到错误的深度值。


技术实现要素：

4.本发明提供的深度图处理方法、装置及电子设备，能够在双目立体匹配的基础上，结合基于深度学习的单目深度估计，提高深度图的质量。
5.第一方面，本发明提供一种深度图处理方法，所述方法包括：
6.基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；
7.确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；
8.当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；
9.当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。
10.可选地，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：
11.基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。
12.可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：
13.对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合
所述第一深度图分布。
14.可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：
15.将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；
16.将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。
17.第二方面，本发明提供一种深度图处理装置，所述装置包括：
18.双目立体匹配单元，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；
19.确定单元，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；
20.单目深度估计单元，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；
21.拟合单元，用于对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系；
22.第一处理单元，用于利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；
23.第二处理单元，用于当所述第一置信度图中低置信区的面积小于所述预定阈值，对所述第一深度图进行深度图的后续处理和应用。
24.可选地，所述装置还包括：
25.模型建立单元，用于在所述双目立体匹配单元基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。
26.可选地，所述第一处理单元，还用于对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。
27.可选地，所述第一处理单元，还用于将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。
28.第三方面，本发明提供一种电子设备，所述电子设备包括：
29.至少一个处理器；以及
30.与所述至少一个处理器通信连接的存储器；其中，
31.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述深度图处理方法。
32.第四方面，本发明提供一种芯片，所述芯片包括：
33.至少一个处理器；以及
34.与所述至少一个处理器通信连接的存储器；其中，
35.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行上述深度图处理方法。
36.第五方面，本发明提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述深度图处理方法。
37.本发明实施例提供的深度图处理方法、装置及电子设备，将基于深度学习的单目深度估计和基于双目立体匹配深度估计相结合，将二者的优势互补，能够得到更准确的深度图，提升深度图的质量，特别是在密集重复纹理、低纹理、遮挡区域等容易匹配错误的区域；另外，对于无量纲或图像处理域不同(深度图域或视差图域)的单目深度建立和双目立体匹配深度的关系，可将单目深度转换到双目深度分布，可无缝连接后续处理和应用。
附图说明
38.图1为本发明一实施例深度图处理方法的流程图；
39.图2为本发明另一实施例深度图处理方法的流程图；
40.图3为本发明一实施例深度图处理装置的结构示意图；
41.图4为本发明另一实施例深度图处理装置的结构示意图。
具体实施方式
42.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.本发明实施例提供一种深度图处理方法，所述方法应用于电子设备，如图1所示，所述方法包括：
44.s11、基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图。
45.s12、确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区。
46.s13、当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用。
47.s14、当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。
48.本发明实施例提供的深度图处理方法，将基于深度学习的单目深度估计和基于双目立体匹配深度估计相结合，将二者的优势互补，能够得到更准确的深度图，提升深度图的质量，特别是在密集重复纹理、低纹理、遮挡区域等容易匹配错误的区域；另外，对于无量纲或图像处理域不同(深度图域或视差图域)的单目深度建立和双目立体匹配深度的关系，可将单目深度转换到双目深度分布，可无缝连接后续处理和应用。
49.下面结合具体实施例对本发明深度图处理方法进行详细说明。
50.本实施例基于双目立体匹配得到深度图，当该匹配置信度较低时，采用单目深度估计得到深度图，并对单目深度估计的深度图进行转换，或二者融合，使其分布与双目立体
匹配一致，便于后续应用。
51.如图2所示，本实施例提供的深度图处理方法包括：
52.s21、基于深度学习进行单目深度估计模型训练，得到单目深度估计模型m1。
53.s22、基于立体匹配算法对主副图进行立体匹配，得到深度图dmap1和深度图的置信度图cmap1。
54.s23、根据置信度图cmap1，判断置信度图cmap1中是否有大于或等于预定阈值的低置信区s1，并得到低置信区mask1和高置信区mask2，当s1大于或等于所述预定阈值时，执行步骤s24-s26；否则执行步骤s27。
55.s24、认为该深度图不可信区域较多，质量较差，此时用单目深度估计模型m1，对主图进行单目深度估计，得到深度图dmap2；
56.s25、因单目和双目处理的图像域不同(或深度图域、或视差图域)或量纲不同，为了便于使用相同的后续处理和应用，需要对单目和双目的深度图进行关系建立，进行分布统一处理。此时，对高置信区mask2内的dmap1和dmap2进行拟合，得到对应关系r1；
57.s26、利用所述对应关系和单目深度图dmap2获得dmap3，并对dmap3进行深度图的后续处理和应用。
58.具体地，可以选择对单目深度图dmap2通过关系r1计算得到dmap3，则dmap3符合双目深度图dmap1分布；或者，可以选择将低置信区mask1内部的dmap2通过关系r1计算得到低置信区mask1内部的dmap3’，将低置信区mask1内部的dmap1中的像素用dmap3’中的对应像素替换，即：从高置信区mask2中取双目深度dmap1，从低置信区mask1中取dmap3’，将dmap1和dmap3’融合，优势互补，得到dmap3。
59.s27、认为该深度图dmap1可信，对dmap1进行深度图的后续处理和应用。
60.可选地，当s1大于等于所述预定阈值时，可以不执行步骤s25-s26，在执行完步骤s24之后，直接在dmap2的分布上进行深度图的后续处理和应用，只是与步骤s27中对dmap1进行深度图的后续处理和应用相比，需要用不同的参数处理，系统需保存两套后续处理过程。
61.本发明实施例提供的深度图处理方法，将基于深度学习的单目深度估计和基于双目立体匹配深度估计相结合，将二者的优势互补，能够得到更准确的深度图，提升深度图的质量，特别是在密集重复纹理、低纹理、遮挡区域等容易匹配错误的区域；另外，对于无量纲或图像处理域不同(深度图域或视差图域)的单目深度建立和双目立体匹配深度的关系，可将单目深度转换到双目深度分布，可无缝连接后续处理和应用；另外，基于轻量级的单目深度估计的计算复杂度低，效率高，可实时处理。
62.本发明实施例还提供一种深度图处理装置，所述装置位于电子设备，如图3所示，所述装置包括：
63.双目立体匹配单元11，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；
64.确定单元12，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；
65.单目深度估计单元13，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；
memory，ram)等。
85.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种深度图处理方法，其特征在于，所述方法包括：基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。2.根据权利要求1所述的方法，其特征在于，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。3.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。4.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。5.一种深度图处理装置，其特征在于，所述装置包括：双目立体匹配单元，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；确定单元，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；单目深度估计单元，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；拟合单元，用于对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系；第一处理单元，用于利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；第二处理单元，用于当所述第一置信度图中低置信区的面积小于所述预定阈值，对所述第一深度图进行深度图的后续处理和应用。6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
模型建立单元，用于在所述双目立体匹配单元基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。7.根据权利要求5或6所述的装置，其特征在于，所述第一处理单元，还用于对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。8.根据权利要求5或6所述的装置，其特征在于，所述第一处理单元，还用于将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。10.一种芯片，其特征在于，所述芯片包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。11.一种芯片模组，其特征在于，所述芯片模组包括权利要求10所述的芯片。12.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至4中任一项所述的方法。

技术总结
本发明提供一种深度图处理方法、装置及电子设备。所述方法包括：基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及第一深度图的第一置信度图；确定第一置信度图中低置信区的面积，并得到低置信区和高置信区；当第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和第二深度图获得第三深度图，并对第三深度图进行深度图的后续处理和应用；当第一置信度图中低置信区的面积小于预定阈值时，对第一深度图进行深度图的后续处理和应用。本发明提高深度图的质量。的质量。的质量。


技术研发人员：董晓霞
受保护的技术使用者：展讯通信（上海）有限公司
技术研发日：2022.02.10
技术公布日：2022/5/25