本发明涉及图像处理,具体涉及一种图像配准方法及电子设备。
背景技术:
1、牙齿是人体重要的组成部分,对于维持咀嚼功能和面部形态具有至关重要的作用。然而,由于疾病、损伤或衰老等原因,人们常常需要进行牙齿修复。在进行牙齿修复前,患者经常需要知道牙齿修复之后的效果,以便选择合适的修复方案。因此,需要将患者的2d牙齿图像与3d口腔模型进行配准,以显示牙齿修复之后的效果。
2、目前,由于2d牙齿图像与3d口腔模型一般较为复杂,现有技术中主要通过手动或半自动选取特征点的方式进行图像配准。目前尚无成熟的针对2d牙齿图像与3d口腔模型进行配准的全自动的方法。
3、然而,现有的方法虽然在一定程度上能够实现2d牙齿图像与3d口腔模型的配准,但由于一般需要人工参与,配准效率较低。
技术实现思路
1、针对现有技术存在的不足,本技术提供了一种图像配准方法及电子设备,通过基于第一坐标系、第二坐标系、第一特征点和第二特征点将3d口腔模型和2d牙齿图像进行配准,能够自动在2d牙齿图像上的相应位置显示3d口腔模型以供目标对象预览牙齿修复后的效果,无需人工参与配准,能够提高配准效率。
2、为解决上述问题,本发明提供如下技术方案:
3、第一方面,本技术实施例提供一种图像配准方法,包括:获取目标对象的3d口腔模型和2d牙齿图像,其中,所述3d口腔模型包括牙齿模型;
4、基于所述3d口腔模型确定咬合中心点;
5、基于所述咬合中心点和所述牙齿模型的中心点确定所述3d口腔模型的第一坐标系;
6、基于所述2d牙齿图像的中心点确定所述2d牙齿图像的第二坐标系;
7、基于所述牙齿模型的中心点确定所述3d口腔模型的第一特征点;
8、基于所述2d牙齿图像确定所述2d牙齿图像的第二特征点,其中,所述第二特征点与所述第一特征点一一对应;
9、基于所述第一坐标系、所述第二坐标系、所述第一特征点和所述第二特征点将所述2d牙齿图像和所述3d口腔模型进行配准。
10、在一些实施方式中,所述基于所述咬合中心点和所述牙齿模型的中心点确定所述3d口腔模型的第一坐标系,包括:
11、以所述咬合中心点为所述第一坐标系的原点;
12、基于所述牙齿模型的中心点确定所述第一坐标系的第一坐标轴和第二坐标轴;
13、将所述第一坐标系的第一坐标轴和第二坐标轴叉乘得到所述第一坐标系的第三坐标轴;
14、根据所述第一坐标系的原点、第一坐标轴、第二坐标轴和第三坐标轴确定所述第一坐标系。
15、在一些实施方式中,所述基于所述牙齿模型的中心点确定所述第一坐标系的第一坐标轴和第二坐标轴,包括:
16、基于所述3d口腔模型中多对上下咬合的牙齿模型的中心点确定多个第一向量,其中,每个所述第一向量的两个端点为一对所述上下咬合的牙齿模型的中心点;
17、根据多个所述第一向量的平均向量确定所述第一坐标系的第一坐标轴;
18、基于所述3d口腔模型中多对左右相对的牙齿模型的中心点确定多个第二向量,其中,每个所述第二向量的两个端点为一对所述左右相对的牙齿模型的中心点;
19、根据多个所述第二向量的平均向量确定所述第一坐标系的第二坐标轴。
20、在一些实施方式中,所述基于所述牙齿模型的中心点确定所述3d口腔模型的第一特征点,包括:
21、将所述3d口腔模型中预设牙位号的牙齿模型的中心点作为所述3d口腔模型的第一特征点。
22、在一些实施方式中,所述基于所述2d牙齿图像确定所述2d牙齿图像的第二特征点,包括:
23、识别所述2d牙齿图像中的牙齿区域;
24、将所述2d牙齿图像中预设牙位号的牙齿区域的中心点作为所述2d牙齿图像的第二特征点。
25、在一些实施方式中,所述识别所述2d牙齿图像中的牙齿区域,包括:
26、按照预设规则确定所述2d牙齿图像中的每个像素点对应的第一点集;
27、逐一遍历所述2d牙齿图像中的所有像素点,将每个所述像素点对应的第一点集中的所有像素点的像素值相加,得到每个所述像素点对应的计算值;
28、计算每个所述像素点对应的计算值与所有相邻的像素点对应的计算值之差,得到每个所述像素点对应的多个差值;
29、当所述像素点对应的多个差值满足预设条件时,将所述像素点确定为区域边缘像素点;
30、当遍历完所述2d牙齿图像中的所有像素点,根据所述2d牙齿图像中的所有区域边缘像素点确定所述2d牙齿图像中的区域的边缘线;
31、基于所述2d牙齿图像中的区域的边缘线确定所述2d牙齿图像中的区域;
32、基于所述2d牙齿图像中的区域和模板区域确定所述2d牙齿图像中的牙齿区域。
33、在一些实施方式中,所述基于所述2d牙齿图像中的区域和模板区域确定所述2d牙齿图像中的牙齿区域,包括:
34、当所述2d牙齿图像中的区域的边缘线与所述模板区域中的唇部区域的边缘线的相似度大于预设程度时,将所述2d牙齿图像中的区域确定为所述唇部区域;
35、根据所述唇部区域确定所述唇部区域的中心点;
36、根据所述唇部区域的中心点和所述唇部区域中的其他区域的边缘线确定所述牙齿区域,其中,所述牙齿区域包括门牙区域。
37、在一些实施方式中,所述基于所述第一坐标系、所述第二坐标系、所述第一特征点和所述第二特征点将所述2d牙齿图像和所述3d口腔模型进行配准,包括:
38、根据所述第一特征点和所述第二特征点计算缩放比例;
39、根据所述缩放比例确定缩放矩阵;
40、基于所述3d口腔模型的咬合中心点的坐标和所述2d牙齿图像的中心点的坐标计算得到移动向量;
41、根据所述移动向量确定移动矩阵;
42、根据所述第一坐标系和所述第二坐标系确定将所述第二坐标系转向所述第一坐标系的第一旋转矩阵;
43、将所述缩放矩阵、所述移动矩阵和所述第一旋转矩阵连乘得到最终变换矩阵;
44、将所述2d牙齿图像左乘所述最终变换矩阵,以将所述2d牙齿图像和所述3d口腔模型进行配准。
45、在一些实施方式中,在所述将所述2d牙齿图像左乘所述最终变换矩阵,以将所述2d牙齿图像和所述3d口腔模型进行配准之后,所述方法还包括:
46、识别所述2d牙齿图像中的第一眼部特征点和第二眼部特征点;
47、根据所述第一眼部特征点和所述第二眼部特征点确定第三向量;
48、计算所述第三向量与所述第二坐标系中的水平方向上的坐标轴的夹角;
49、根据所述夹角确定第二旋转矩阵;
50、将所述2d牙齿图像左乘所述第二旋转矩阵,得到进一步配准后的所述2d牙齿图像。
51、第二方面,本技术实施例提供一种电子设备,所述电子设备包括:
52、至少一个处理器;以及,
53、与所述至少一个处理器通信连接的存储器;其中,
54、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的图像配准方法。
55、本技术提供了一种图像配准方法及电子设备,本技术通过基于第一坐标系、第二坐标系、第一特征点和第二特征点将3d口腔模型和2d牙齿图像进行配准,能够自动在2d牙齿图像上的相应位置显示3d口腔模型以供目标对象预览牙齿修复后的效果,无需人工参与配准,能够提高配准效率。
1.一种图像配准方法,其特征在于,包括:
2.根据权利要求1所述的图像配准方法,其特征在于,所述基于所述咬合中心点和所述牙齿模型的中心点确定所述3d口腔模型的第一坐标系,包括:
3.根据权利要求2所述的图像配准方法,其特征在于,所述基于所述牙齿模型的中心点确定所述第一坐标系的第一坐标轴和第二坐标轴,包括:
4.根据权利要求1所述的图像配准方法,其特征在于,所述基于所述牙齿模型的中心点确定所述3d口腔模型的第一特征点,包括:
5.根据权利要求1至4任一项所述的图像配准方法,其特征在于,所述基于所述2d牙齿图像确定所述2d牙齿图像的第二特征点,包括:
6.根据权利要求5所述的图像配准方法,其特征在于,所述识别所述2d牙齿图像中的牙齿区域,包括:
7.根据权利要求6所述的图像配准方法,其特征在于,所述基于所述2d牙齿图像中的区域和模板区域确定所述2d牙齿图像中的牙齿区域,包括:
8.根据权利要求1所述的图像配准方法,其特征在于,所述基于所述第一坐标系、所述第二坐标系、所述第一特征点和所述第二特征点将所述2d牙齿图像和所述3d口腔模型进行配准,包括:
9.根据权利要求8所述的图像配准方法,其特征在于,在所述将所述2d牙齿图像左乘所述最终变换矩阵,以将所述2d牙齿图像和所述3d口腔模型进行配准之后,所述方法还包括:
10.一种电子设备,其特征在于,所述电子设备包括:
