1.本技术涉及医学图像处理技术领域,特别是涉及配准方法、系统、计算机设备和存储介质。
背景技术:
2.在计算机辅助手术中,需要建立术前三维影像空间和术中手术空间的映射关系。在传统技术中,在术中拍摄多张二维影像,将术前三维影像与术中二维影像进行2d-3d(2dimensional-3dimensional,二维-三维)配准,间接建立起术前三维影像空间和术中手术空间的映射关系。
3.现有的2d-3d配准方法通常存在大量复杂的人机交互过程,包括:需要在多张二维影像、三维影像中手动选取多个解剖点,手动选取待配准区域等,大量的人机交互,操作繁琐,还会影响配准的准确度。
技术实现要素:
4.基于此,有必要针对上述技术问题,提供了不需要大量人机交互、操作简单、准确度高的配准方法、系统、计算机设备和存储介质。
5.第一方面,本技术提供了一种配准方法。所述方法包括:
6.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
7.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
8.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
9.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
10.在其中一个实施例中,所述基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,包括:
11.按照预设倍数对所述三维影像和所述多张二维影像进行下采样,得到下采样三维影像和多张下采样二维影像;
12.按照所述预设倍数对应的预设步长调整所述下采样三维影像的姿态,得到调整后的下采样三维影像;
13.对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像,其中,每张第一投影影像的投影位姿与对应的二维影像的拍摄位姿相同;
14.若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设
倍数满足第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,得到调整后三维影像,并确定第一调整值,根据所述第一调整值确定第二转换矩阵。
15.在其中一个实施例中,所述对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像之后,还包括:
16.若所述多张第一投影影像和所述多张下采样二维影像不满足所述第一预设条件,则按照所述预设倍数对应的预设步长调整所述调整后的下采样三维影像的姿态,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件。
17.在其中一个实施例中,所述对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像之后,还包括:
18.若所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数不满足所述第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,以更新所述三维影像,降低所述预设倍数,基于降低后的预设倍数对更新后的三维影像和所述多张二维影像进行下采样,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数满足所述第二预设条件。
19.在其中一个实施例中,所述第一预设条件包括:基于所述多张第一投影影像和所述多张下采样二维影像确定的第一相似度,大于所述预设倍数对应的第一阈值;所述第二预设条件包括:所述预设倍数等于第二阈值。
20.在其中一个实施例中,所述基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定目标二维影像,包括:
21.在所述调整后三维影像中确定所述目标部位对应的目标三维影像,以及所述目标三维影像的第一中心点;
22.对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,并基于所述第一中心点确定每张第二投影影像的第二中心点和距离集合,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同,所述距离集合用于反映第二中心点到目标部位的边缘的距离;
23.基于所述第一中心点、所述第二转换矩阵和多个第一转换矩阵,确定每张二维影像的目标中心点;
24.基于每张二维影像的目标中心点和每张二维影像对应的距离集合,在每张二维影像中确定目标二维影像。
25.在其中一个实施例中,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵,包括:
26.在所述调整后三维影像中确定所述目标部位对应的目标三维影像;
27.对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同;
28.基于多张第二投影影像和所述多张目标二维影像确定第二相似度;
29.若所述第二相似度不满足第三预设条件,且当前迭代次数不满足第四预设条件,则基于所述第二相似度调整所述调整后三维影像的姿态,以优化所述第二转换矩阵,并重
复上述确定第二相似度的过程,直至确定的第二相似度满足所述第三预设条件,或者当前迭代次数满足所述第四预设条件,得到目标转换矩阵。
30.在其中一个实施例中,所述第三预设条件包括:所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值小于第三阈值;所述第四预设条件包括:当前迭代次数等于第四阈值。
31.在其中一个实施例中,所述基于所述第二相似度调整所述调整后三维影像的姿态,包括:
32.获取所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值;
33.根据所述相似度差值确定调整步长,并根据所述调整步长调整所述调整后三维影像的姿态,其中,所述相似度差值和所述调整步长正相关。
34.第二方面,本技术还提供了一种配准系统。所述系统包括:二维影像采集设备和处理器;
35.所述二维影像采集设备,用于在术中拍摄多张二维影像,并将术中拍摄的多张二维影像发送至所述处理器;
36.所述处理器,用于获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系,基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系,基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
37.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
38.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
39.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
40.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
41.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
42.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
43.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的
第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
44.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
45.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
46.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
47.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
48.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
49.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
50.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
51.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
52.上述配准方法、系统、计算机设备、存储介质和计算机程序产品,获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,基于三维影像和多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,实现术前三维影像坐标系和术中空间坐标系的粗配准;基于调整后三维影像、多张二维影像、多个第一转换矩阵和第二转换矩阵,在每张二维影像中确定仅包括目标部位的目标二维影像,基于调整后三维影像和多张目标二维影像,继续对调整后三维影像的姿态进行调整,以优化第二转换矩阵,实现目标部位在术前三维影像坐标系与术中空间坐标系之间的精配准。上述配准方法中,不需要在术前的三维影像和术中的多张二维影像中手动选取解剖点、不需要大量的人机交互,也避免了大量人机交互带来误差,提高了术前三维影像与术中二维影像配准的准确度。
附图说明
53.图1为本发明一个实施例中配准方法的流程示意图;
54.图2为本发明一个具体实施例中配准方法的流程示意图;
55.图3为本发明一个具体实施例中第一拍摄位姿的二维影像的示意图;
56.图4为本发明一个具体实施例中第二拍摄位姿的二维影像的示意图;
57.图5为本发明一个具体实施例中第一拍摄位姿的目标二维影像的示意图;
58.图6为本发明一个具体实施例中第二拍摄位姿的目标二维影像的示意图;
59.图7为本发明一个实施例中配准系统的结构框图;
60.图8为本发明一个实施例中计算机设备的内部结构图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
62.在一个实施例中,如图1所示,提供了一种配准方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
63.s101,获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵。
64.其中,所述三维影像是在手术之前,通过三维医学影像设备拍摄人体得到的影像,所述三维影像可以是算机断层扫描(computed tomography,ct)影像、磁共振影像(magnetic resonance imaging,mri)、正电子发射型计算机断层影像(positron emission computed tomography,pet)等。
65.所述多张二维影像包括至少两张二维影像,多张二维影像是在手术中,通过二维医学影像设备拍摄人体得到的影像,所述二维影像可以是直接数字化x射线影像(direct digit radiography,ddr),所述至少两张二维影像的拍摄位姿不同,所述至少两张二维影像中存在两张二维影像的角度处于预设角度区间,所述两张二维影像的角度,指的是二维医学影像设备在拍摄两张二维影像时出射的两条射线之间的角度,也是两张二维影像的成像面之间的角度,所述预设角度区间为50度至130度。
66.所述三维影像和所述多张二维影像均包括目标部位,所述目标部位可以是人体中的骨骼、脏器等身体部位。
67.所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系。
68.具体地,预先在二维医学影像设备,以及人体中打入追踪阵列,基于二维医学影像设备中的追踪阵列建立二维医学影像设备的设备空间坐标系,基于人体中的追踪阵列建立术中空间坐标系;
69.根据二维医学影像设备的追踪阵列的坐标,以及人体的追踪阵列的坐标,计算出设备空间坐标系与术中空间坐标系之间的转换矩阵r1;
70.通过二维医学影像设备拍摄多张不同拍摄位姿的二维影像,根据多张不同拍摄位姿的二维影像标定得到二维医学影像设备的内参,基于二维医学影像设备的内参,确定设备空间坐标系分别与每张二维影像的术中二维影像坐标系的转换矩阵r2;
71.基于每张二维影像的术中二维影像坐标系对应的转换矩阵r2,以及设备空间坐标系与术中空间坐标系之间的转换矩阵r1,确定每张二维影像的二维影像坐标系与术中空间坐标系之间的转换矩阵,也就是第一转换矩阵。
72.例如,通过二维医学影像设备拍摄多张二维影像,包括第一拍摄位姿的二维影像p1和第二拍摄位姿的二维影像p2,根据p1和p2对二维医学影像设备进行标定,得到p1的二
维影像坐标系和术中空间坐标系之间的第一转换矩阵t1a,以及p2的二维影像坐标系和术中空间坐标系之间的第一转换矩阵t1b。
73.s102,基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵。
74.其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与术中空间坐标系之间的转换关系。
75.具体地,对三维影像的姿态进行调整,得到调整后的三维影像,在不同投影位姿对调整后的三维影像进行投影,得到每张二维影像对应的第一投影影像,对于相对应的二维影像和第一投影影像,二维影像的拍摄位姿和第一投影影像的投影位姿相同;确定每张二维影像和对应的第一投影影像之间的相似程度,并根据相似程度判断是否继续对调整后的三维影像的姿态进行调整,若每张二维影像和对应的第一投影影像之间的相似程度较小,则继续对调整后的三维影像的姿态进行调整,以更新调整后的三维影像,并重复上述确定相似程度的过程,直至根据相似程度判断不再继续对调整后的三维影像的姿态进行调整,得到调整后三维影像。
76.在对所述三维影像的姿态进行调整,得到调整后三维影像的过程中,通过旋转步长和平移步长实现姿态调整,根据调整过程中调整的总旋转步长和总平移步长,确定第二转换矩阵。
77.调整后三维影像在不同投影位姿下的第一投影影像,与对应的二维影像相似,调整后三维影像在不同投影位姿下的第一投影影像,与对应的二维影像未完全对准;因此,对所述三维影像的姿态进行调整,得到调整后三维影像的过程是粗配准过程,第二转换矩阵是粗配准得到的转换矩阵,在一些实施例中,在粗配准之后,通过s103和s104实现目标部位在术前三维影像坐标系与术中空间坐标系的精配准。
78.s103,基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像。
79.其中,所述目标二维影像仅包括目标部位。三维影像和多张二维影像中可能包括除了目标部位以外的其他身体部位,例如,目标部位是l3脊椎,三维影像和多张二维影像中包括l1脊椎,l2脊椎,l3脊椎,l4脊椎和l5脊椎。
80.具体地,在调整后三维影像中确定仅包括目标部位的目标三维影像,在不同投影位姿对目标三维影像进行投影,得到每张二维影像对应的第二投影影像,对于相对应的二维影像和第二投影影像,二维影像的拍摄位姿和第二投影影像的投影位姿相同;在每张第二投影影像中确定目标部位的中心点,以及中心点至目标部位的边缘的距离,得到每张第二投影影像的距离集合。基于多个第一转换矩阵和第二转换矩阵,确定每张二维影像中目标部位的中心点,根据每张第二投影影像的距离集合和每张二维影像中目标部位的中心点,在每张二维影像中确定目标部位对应的目标二维影像。
81.s104,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
82.具体地,基于多张第二投影影像和多张目标二维影像确定相似度,并确定优化所述第二转换矩阵的迭代次数,若确定的相似度和迭代次数满足优化条件,则对所述调整后三维影像的姿态进行调整,以更新调整后三维影像,进而优化第二转换矩阵,迭代次数加1,
在调整后三维影像中确定仅包括目标部位的目标三维影像,在不同投影位姿对目标三维影像进行投影,得到多张第二投影影像,并重复上述确定相似度和迭代次数的过程,直至相似度和迭代次数不满足优化条件,将不满足优化条件所对应的第二转化矩阵,作为目标转换矩阵,实现目标部位在术前三维影像坐标系与术中空间坐标系之间的精配准。
83.上述配准方法中,获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,基于三维影像和多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,实现术前三维影像坐标系和术中空间坐标系的粗配准;基于调整后三维影像、多张二维影像、多个第一转换矩阵和第二转换矩阵,在每张二维影像中确定仅包括目标部位的目标二维影像,基于调整后三维影像和多张目标二维影像,继续对调整后三维影像的姿态进行调整,以优化第二转换矩阵,实现目标部位在术前三维影像坐标系与术中空间坐标系之间的精配准。上述配准方法中,不需要在术前的三维影像和术中的多张二维影像中手动选取解剖点、不需要大量的人机交互,也避免了大量人机交互带来误差,提高了术前三维影像与术中二维影像进行配准的准确度。
84.在一个实施例中,为了提高粗配准的效率,对三维影像和多张二维影像进行下采样,根据下采样倍数确定调整步长,逐次调整下采样后三维影像的姿态,使得下采样后三维影像与多张二维影像配准,再改变下采样倍数,重复上述逐次调整下采样后三维影像的姿态;通过逐级改变下采样倍数,以及在每个下采样倍数下,逐次调整下采样后三维影像的姿态,直至得到调整后三维影像,以及调整后三维影像对应的第二转换矩阵。
85.s102包括:
86.s201,按照预设倍数对所述三维影像和所述多张二维影像进行下采样,得到下采样三维影像和多张下采样二维影像。
87.具体地,按照所述预设倍数对所述三维影像和所述多张二维影像进行下采样,即按照所述预设倍数缩小三维影像和多张二维影像。
88.s202,按照所述预设倍数对应的预设步长调整所述下采样三维影像的姿态,得到调整后的下采样三维影像。
89.预先设定预设倍数对应的预设步长,预设步长包括预设旋转步长和预设平移步长;按照所述预设倍数缩小三维影像和多张二维影像,得到下采样三维影像和多张下采样二维影像,再按照预设倍数对应的预设旋转步长和预设平移步长,调整下采样三维影像的姿态,得到调整后的下采样三维影像。
90.预设倍数,以及预设倍数对应的预设旋转步长和预设平移步长可以根据需求设定,例如,预设倍数可以是8、4和2;可以设定8对应的预设旋转步长为10
°
,预设平移步长为20mm,设定4对应的预设旋转步长为5
°
,预设平移步长为10mm,设定2对应的预设旋转步长为2
°
,预设平移步长为5mm。
91.s203,对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像。
92.具体地,在不同投影位姿对调整后的下采样三维影像进行投影,得到每张二维影像对应的第一投影影像,第一投影影像的投影位姿与对应的二维影像的拍摄位姿相同;下采样处理并未改变二维影像的拍摄位姿,因此,二维影像的拍摄位姿与对应的下采样二维影像的拍摄位姿相同,进而,二维影像对应的第一投影影像的投影位姿和下采样二维影像
的拍摄位姿相同。
93.s204,若多张第一投影影像和所述多张下采样二维影像不满足所述第一预设条件,则按照所述预设倍数对应的预设步长调整所述调整后的下采样三维影像的姿态,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件。
94.其中,所述第一预设条件包括:基于所述多张第一投影影像和所述多张下采样二维影像确定的第一相似度,大于所述预设倍数对应的第一阈值。
95.具体地,若基于所述多张第一投影影像和所述多张下采样二维影像确定第一相似度不大于预设倍数对应的第一阈值,则按照所述预设倍数对应的预设步长调整所述调整后的下采样三维影像的姿态,并重复执行s203,得到每张二维影像对应的第一投影影像,直至基于得到的多张第一投影影像和多张下采样二维影像确定的第一相似度,大于预设倍数对应的第一阈值。
96.基于所述多张第一投影影像和多张下采样二维影像确定第一相似度包括:确定每个第一投影影像和对应的下采样二维影像(对于相对应的第一投影影像和下采样二维影像,第一投影影像的投影位姿和下采样二维影像的拍摄位姿相同)之间的相似度,将确定的所有相似度相加得到第一相似度。
97.预设倍数对应的第一阈值可以根据需求设定,例如,当多张二维影像包括两张二维影像时,可以设定预设倍数8对应的第一阈值为0.2,预设倍数4对应的第一阈值为0.4,预设倍数2对应的第一阈值为0.6。
98.s205,若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数不满足所述第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,以更新所述三维影像,降低所述预设倍数,基于降低后的预设倍数对更新后的三维影像和所述多张二维影像进行下采样,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数满足所述第二预设条件。
99.其中,所述第二预设条件包括:所述预设倍数等于第二阈值。
100.具体地,基于所述多张第一投影影像和所述多张下采样二维影像确定第一相似度不大于预设倍数对应的第一阈值后,判断预设倍数是否等于第二阈值,第二阈值是预先设定的较小的值,若预设倍数不等于第二阈值,表示预设倍数较大,下采样三维影像和三维影像的尺寸差距较大,需要按照预设下采样步长降低预设倍数,以缩小下采样三维影像和三维影像的尺寸差距。
101.调整后的下采样三维影像对应的多张第一投影影像,和所述多张下采样二维影像已经满足第一预设条件,因此,基于调整后的下采样三维影像继续调整姿态,可以减少粗配准的时长。根据所述预设倍数将调整后的下采样三维影像的尺寸恢复至与所述三维影像相同的尺寸,得到更新后的三维影像,以便于后续通过降低后的预设倍数对更新后的三维影像进行下采样,缩小下采样三维影像和三维影像的尺寸差距。更新后的三维影像,与更新前的三维影像的姿态不同。
102.在更新所述三维影像,以及降低所述预设倍数后,重复执行s202至s204,直至第一相似度不大于降低后的预设倍数对应的第一阈值,并且降低后的预设倍数等于第二阈值。
103.按照预设下采样步长降低预设倍数,具体为将预设倍数除以下采样步长,得到降低后的预设倍数,所述预设下采样步长可以根据需求设定。例如,预设下采样步长为2,按照预设下采样步长对预设倍数进行下采样处理,则是将预设倍数缩小2倍。
104.s206,若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数满足第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,得到调整后三维影像,并确定第一调整值,根据所述第一调整值确定第二转换矩阵。
105.具体地,若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数满足第二预设条件,则不再对调整后的下采样三维影像的姿态进行调整,将调整后的下采样三维影像的尺寸恢复至与所述三维影像相同的尺寸,得到调整后三维影像。
106.所述第一调整值包括总旋转步长和总平移步长;对所述三维影像的姿态进行调整,得到调整后三维影像的过程中,包括多次按照预设倍数对应的预设步长调整下采样三维影像的姿态的过程,获取多次按照预设倍数对应的预设步长调整下采样三维影像的姿态的过程,所对应的总旋转步长和总平移步长,得到第一调整值,根据第一调整值确定第二转换矩阵。
107.举例说明,假设多张二维影像包括两张二维影像,第二阈值为2,预设下采样步长为2;s102包括:
108.m01,分别对三维影像p01、第一拍摄位姿对应的二维影像p11和第二拍摄位姿对应的二维影像p21进行预设倍数为8的下采样处理,得到下采样三维影像p02、下采样二维影像p12和下采样二维影像p22,分别在第一投影位姿和第二投影位姿对p02进行投影,得到第一投影位姿的第一投影影像d1,以及第二投影位姿的第一投影影像d2,其中,第一拍摄位姿和第一投影位姿相同,第二拍摄位姿和第二投影位姿相同,基于p12、p22、d1和d2计算第一相似度,若第一相似度不大于0.2,则按照8对应的预设旋转步长(10
°
)和预设平移步长(20mm)调整p02的姿态,得到调整后的下采样三维影像p02,重复上述确定第一相似度的过程,直至确定的第一相似度大于0.2,判断当前的预设倍数与第二阈值是否相等,在该步骤中,由于预设倍数8不等于第二阈值2,则根据预设倍数8对p02进行上采样,以更新三维影像p01,按照预设下采样步长(2)降低预设倍数至4。
109.m02,分别对三维影像p01、第一拍摄位姿的二维影像p11和第二拍摄位姿的二维影像p21进行预设倍数为4的下采样处理,得到下采样三维影像p02、下采样二维影像p12和下采样二维影像p22,分别在第一投影位姿和第二投影位姿对p02进行投影,得到第一投影位姿的第一投影影像d1,以及第二投影位姿的第一投影影像d2,基于p12、p22、d1和d2计算第一相似度,若第一相似度不大于0.4,则按照4对应的预设旋转步长(5
°
)和预设平移步长(10mm)调整p02的姿态,得到调整后的下采样三维影像p02,重复上述确定第一相似度的过程,直至确定的第一相似度大于0.4,判断当前的预设倍数与第二阈值是否相等,在该步骤中,由于预设倍数4不等于第二阈值2,则根据预设倍数4对p02进行上采样,以更新三维影像p01,按照预设下采样步长(2)降低预设倍数至2。
110.m03,分别对三维影像p01、第一投影位姿的二维影像p11和第二投影位姿的二维影像p21进行预设倍数为2的下采样处理,得到下采样三维影像p02、下采样二维影像p12和下采样二维影像p22,分别在第一投影位姿和第二投影位姿对p02进行投影,得到第一投影位
姿的第一投影影像d1,以及第二投影位姿的第一投影影像d2,基于p12、p22、d1和d2计算第一相似度,若第一相似度不大于0.6,则按照2对应的预设旋转步长(2
°
)和预设平移步长(5mm)调整p02的姿态,得到调整后的下采样三维影像p02,重复上述确定第一相似度的过程,直至确定的第一相似度大于0.6,判断当前的预设倍数与第二阈值是否相等,在该步骤中,由于预设倍数2等于第二阈值2,则根据预设倍数2对p02进行上采样,得到调整后三维影像,并确定第二转换矩阵。
111.在本实施例中,实现了三维影像的术前三维影像坐标系与所述术中空间坐标系的粗配准,在粗配准过程中,不需要在术前的三维影像和术中的多张二维影像中手动选取解剖点、不需要大量的人机交互,通过逐级改变下采样的预设倍数,在每个预设倍数下逐次调整下采样三维影像的姿态,提高了粗配准速度,实现快速、自动完成术前三维影像坐标系与所述术中空间坐标系的粗配准。
112.在一个实施例中,s103包括:
113.s301,在所述调整后三维影像中确定所述目标部位对应的目标三维影像,以及所述目标三维影像的第一中心点。
114.具体地,通过图像分割算法对三维影像进行分割,得到三维影像对应的分割掩膜,确定目标部位,并基于三维影像对应的分割掩膜,确定目标部位对应的分割掩膜,根据所述分割掩膜,在所述调整后三维影像中确定仅包括目标部位的目标三维影像,并在所述目标三维影像中确定目标部位的第一中心点。
115.s302,对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,并基于所述第一中心点确定每张第二投影影像的第二中心点和距离集合。
116.其中,对于相对应的二维影像和第二投影影像,二维影像的拍摄位姿和第二投影影像的投影位姿相同,所述距离集合用于反映第二中心点到目标部位的边缘的距离。
117.具体地,在不同投影位姿对目标三维影像进行投影,得到每张二维影像对应的第二投影影像;对于任一第二投影影像,在任一第二投影影像中,确定第一中心点投影得到的第二中心点,并确定第二投影影像中目标部位的最小外接矩形,获取第二中心点至所述最小外接矩形的每条边的距离,得到任一第二投影影像中所述目标部位对应的距离集合。也就是说,第二中心点到目标部位的边缘的距离,指的是第二中心点到目标部位的最小外接矩形的每条边的距离。
118.例如,在第一投影位姿和第二投影位姿对目标三维影像进行投影,得到第一投影位姿的第二投影影像x1,和第二投影位姿的第二投影影像x2;在x1中确定第一中心点投影得到的第二中心点f1,在x2中确定第一中心点投影得到的第二中心点f2;在x1中确定目标部位的最小外接矩形c1,确定f1到c1的四条边的距离,得到x1对应的距离集合a1;在x2中确定目标部位的最小外接矩形c2,确定f2到c2的四条边的距离,得到x2对应的距离集合a2。
119.s303,基于所述第一中心点、所述第二转换矩阵和多个第一转换矩阵,确定每张二维影像的目标中心点。
120.具体地,通过第二转换矩阵,将术前三维影像坐标系下的第一中心点,转换至术中空间坐标系,得到第一转换点,根据每个第一转换矩阵,将术中空间坐标系中的第一转换点,转换至每张二维影像的术中二维影像坐标系,得到每张二维影像中的目标中心点。
121.例如,通过第二转换矩阵t2,将第一中心点m1转换至术中空间坐标系,得到第一转
换点m2,通过第一拍摄位姿的二维影像对应的第一转换矩阵t1a,将m2转换至第一拍摄位姿的二维影像的术中二维影像坐标系,得到第一拍摄位姿的二维影像的目标中心点n1;通过第二拍摄位姿的二维影像对应的第一转换矩阵t1b,将m2转换至第二拍摄位姿的二维影像的术中二维影像坐标系,得到第二拍摄位姿的二维影像的目标中心点n2。
122.s304,基于每张二维影像的目标中心点和每张二维影像对应的距离集合,在每张二维影像中确定目标二维影像。
123.具体地,由于二维影像与第二投影影像相对应,距离集合是在第二投影影像中确定的,因此,二维影像和距离集合之间存在对应关系;每张二维影像对应的距离集合,是每张二维影像对应的第二投影影像的距离集合。
124.例如,在第一投影位姿对目标三维影像进行投影,得到第一投影位姿的第二投影影像x1,第二投影影像x1与第一拍摄位姿的二维影像y1相对应,确定x1的距离集合a1,a1与二维影像y1相对应,确定y1的目标中心点n1,根据二维影像y1的n1,以及二维影像y1对应的距离集合a1,在二维影像y1中确定目标二维影像。
125.在任一二维影像中,根据任一二维影像的目标中心点,以及该目标中心点对应的距离集合确定截取区域,根据截取区域,在任一二维影像中截取得到目标二维影像。
126.可以通过像素点个数表示距离,所述距离集合包括:左侧距离、右侧距离、上侧距离和下侧距离;根据目标中心点、左侧距离和上侧距离确定左上角坐标点,根据目标中心点、右侧距离和上侧距离确定右上角坐标点,目标中心点、左侧距离和下侧距离确定左下角坐标点,根据目标中心点、右侧距离和下侧距离确定右下角坐标点,根据左上角坐标点、右上角坐标点、左下角坐标点和右下角坐标点,确定截取区域。
127.考虑到粗配准的误差,对所述距离集合进行扩充处理,以使得目标二维影像可以包括完成的目标部位;可以将左侧距离、右侧距离、上侧距离和下侧距离分别增加预设数值个像素点,例如,将左侧距离、右侧距离、上侧距离和下侧距离分别增加40个像素点。
128.在一个实施例中,s104包括:
129.s401,在所述调整后三维影像中确定所述目标部位对应的目标三维影像;对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像;
130.s402,基于多张第二投影影像和所述多张目标二维影像确定第二相似度。
131.具体地,确定每个第二投影影像和对应的目标二维影像(对于相对应的目标二维影像和第二投影影像,目标二维影像的拍摄位姿和第二投影影像的投影位姿相同)之间的相似度,将确定的所有相似度相加得到第二相似度。
132.s403,若所述第二相似度不满足第三预设条件,且当前迭代次数不满足第四预设条件,则基于所述第二相似度调整所述调整后三维影像的姿态,以优化所述第二转换矩阵,并重复上述确定第二相似度的过程,直至确定的第二相似度满足所述第三预设条件,或者当前迭代次数满足所述第四预设条件,得到目标转换矩阵。
133.其中,所述第三预设条件包括:所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值小于第三阈值;所述第四预设条件包括:当前迭代次数等于第四阈值。所述当前迭代次数是调整所述调整后三维影像的姿态的次数。
134.具体地,基于多张目标二维影像,对调整后三维影像的姿态进行迭代调整,以对第
二转换矩阵进行迭代优化,直至当前确定的第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值小于第三阈值,或者当前迭代次数等于第四阈值。所述第三阈值和所述第四阈值可以根据需求设定,例如,所述第三阈值可以设定为0.005,所述第四阈值可以设定为40。
135.在第i次调整所述调整后三维影像的姿态后,基于调整后三维影像确定多张第二投影影像,基于多张第二投影影像和多张目标二维影像确定第二相似度si,计算si和si-1(第i-1次调整所述调整后三维影像的姿态后计算得到的第二相似度)的相似度差值,并获取当前迭代次数i,若相似度差值不小于第三阈值,并且i不等于第四阈值,则基于si,第i 1次调整所述调整后三维影像的姿态。
136.所述基于所述第二相似度调整所述调整后三维影像的姿态,包括:
137.获取所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值;根据所述相似度差值确定调整步长,并根据所述调整步长调整所述调整后三维影像的姿态。
138.具体地,所述调整步长包括调整旋转步长和调整平移步长,所述相似度差值和所述调整步长正相关,相似度差值越大,则调整步长越大,若相似度差值越小,则调整步长越小,通过限定相似度差值和调整步长正相关,可以根据相似度差值自适应调整所述调整后三维影像的姿态,可以加快迭代优化的速度,并且得到更准确的目标转换矩阵。
139.在一种实现方式中,s402之后,若所述调整步长与上一次调整所述调整后三维影像的姿态时确定的调整步长之间的相似度差值小于第五阈值,则得到目标转换矩阵。所述第五阈值可以根据需求设定,例如,所述第五阈值可以设定为0.005。
140.在基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整的过程中,包括多次根据所述调整步长调整所述调整后三维影像的姿态的过程,确定多次根据所述调整步长调整所述调整后三维影像的姿态的过程中产生的总调整步长;总调整步长包括总调整旋转步长和总调整平移步长,根据第二转换矩阵、总调整旋转步长和总调整平移步长确定目标转换矩阵。目标转换矩阵可以实现目标部位在术前三维影像坐标系与所述术中空间坐标系的精配准。
141.在本实施例中,确定目标部位,可能是唯一需要人机交互的操作,除此之外,精配准不需要其他人机交互,操作简单;在调整后三维影像中确定目标部位对应的目标三维影像,根据目标三维影像对应的多张第二投影影像和多张目标二维影像,确定第二相似度,基于第二相似度对调整后三维影像的姿态进行自适应迭代调整,以对第二转换矩阵进行迭代优化,直至得到目标转换矩阵,加快了迭代优化第二转换矩阵的速度,并且可以得到更准确的目标转换矩阵。
142.为了便于理解所述配准方法的整体方案,参见图2,以目标位部位为脊柱中的一个脊椎为例,说明配准方法的具体过程,包括:
143.获取脊柱术前的三维影像以及预处理:
144.a01,获取脊柱在术前拍摄的三维影像y0;
145.a02,对y0进行预处理,得到每个脊椎的分割掩膜,以及每个脊椎的分割掩膜的标签(通过图像分割算法对y0中的脊椎进行分割,得到每个脊椎的分割掩膜,并为每个分割掩膜配置标签);
146.获取脊柱在术中拍摄的二维影像:
147.a03,获取脊柱在术中拍摄的第一拍摄位姿的二维影像y1和第二拍摄位姿的二维影像y2,y1如图3所示,y2如图4所示;
148.a04,基于y1和y2,确定y1对应的二维影像坐标系和术中空间坐标系之间的第一转换矩阵t1a,以及y2对应的二维影像坐标系和术中空间坐标系之间的第一转换矩阵t1b;
149.粗配准:
150.a05,根据y0、y1和y2,进行粗配准,得到术前三维影像坐标系与所述术中空间坐标系之间的第二转换矩阵t2,以及调整后三维影像y4;
151.确定待配准的目标部位:
152.a06,指定目标部位的标签,以确定目标部位的分割掩膜,根据目标部位的分割掩膜,在y4中确定目标三维影像y0,以及目标部位的第一中心点s1;
153.a07,在二维影像中确定仅包括目标部位的目标二维影像:
154.a08,在第一投影位姿和第二投影位姿对y0进行投影,得到第一投影位姿的第二投影影像y01,以及第二投影位姿的第二投影影像y02;第一投影位姿和第一拍摄位姿相同,第二投影位姿和第二拍摄位姿相同;
155.a09,确定y01中的目标部位的最小外接矩形rec1,在y02中的目标部位的最小外接矩形rec2;
156.a10,根据t2将s1转换到术中空间坐标系,得到s2,根据t1a将s2转换到y1对应的二维影像坐标系,得到s3,根据t1b将s2转换到y2对应的二维影像坐标系,得到s4;
157.a11,根据s3和rec1,在y1中确定目标部位对应的目标二维影像y1,根据s4和rec2,在y1中确定目标部位对应的目标二维影像y2;y1如图5所示,y2如图6所示;
158.精配准:
159.a12,根据y1、y2、y01和y02计算第二相似度;
160.a13,判断第二相似度是否满足第三预设条件,若不满足则进入a15,若满足则进入a16;
161.a14,获取当前迭代次数i,判断当前迭代次数是否满足第四预设条件,若不满足则进入步骤a15,若满足则进入a16;
162.a15,i=i 1,并根据第二相似度调整y4的姿态,进入a06;
163.a16,得到目标转换矩阵。
164.本实施例中,所述获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,基于三维影像和多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像,以及调整后三维影像对应的第二转换矩阵,实现术前三维影像坐标系和术中空间坐标系的粗配准;基于调整后三维影像、多张二维影像、多个第一转换矩阵和第二转换矩阵,在每张二维影像中确定仅包括目标部位的目标二维影像,基于调整后三维影像和多张目标二维影像,继续对调整后三维影像的姿态进行调整,以优化第二转换矩阵,实现目标部位在术前三维影像坐标系与术中空间坐标系之间的精配准。上述配准方法中,不需要在术前的三维影像和术中的多张二维影像中手动选取解剖点、不需要大量的人机交互,也避免了大量人机交互带来误差,提高了术前三维影像与术中二维影像进行配准的准确度。
165.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
166.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的配准方法的配准系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个配准系统实施例中的具体限定可以参见上文中对于配准方法的限定,在此不再赘述。
167.在一个实施例中,如图7所示,提供了一种配准系统,包括:二维影像采集设备100和处理器200;
168.所述二维影像采集设备100,用于在术中拍摄多张二维影像,并将术中拍摄的多张二维影像发送至所述处理器200;
169.所述处理器200,用于获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系,基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系,基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
170.在一个实施例中,所述处理器200具体用于:
171.按照预设倍数对所述三维影像和所述多张二维影像进行下采样,得到下采样三维影像和多张下采样二维影像,按照所述预设倍数对应的预设步长调整所述下采样三维影像的姿态,得到调整后的三维影像,对调整后的三维影像进行投影,得到与每张二维影像对应的第一投影影像,其中,每张第一投影影像的投影位姿与对应的二维影像的拍摄位姿相同,若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数满足第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,得到调整后三维影像,并确定第一调整值,根据所述第一调整值确定第二转换矩阵。
172.在一个实施例中,所述处理器200具体用于:
173.若所述多张第一投影影像和所述多张下采样二维影像不满足所述第一预设条件,则按照所述预设倍数对应的预设步长调整所述调整后的下采样三维影像的姿态,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件。
174.在一个实施例中,所述处理器200具体用于:
175.若所述多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数不满足所述第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,以更新所述三维影像,降低所述预设倍数,基于降低后的预设倍数对更新后的三维影像和所述多张二维影像进行下采样,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数满足所述第二预设条件。
176.在一个实施例中,所述第一预设条件包括:基于所述多张第一投影影像和所述多张下采样二维影像确定的第一相似度,大于所述预设倍数对应的第一阈值;所述第二预设条件包括:所述预设倍数等于第二阈值。
177.在一个实施例中,所述处理器200具体用于:
178.在所述调整后三维影像中确定所述目标部位对应的目标三维影像,以及所述目标三维影像的第一中心点,对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,并基于所述第一中心点确定每张第二投影影像的第二中心点和距离集合,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同,所述距离集合用于反映第二中心点到目标部位的边缘的距离,基于所述第一中心点、所述第二转换矩阵和多个第一转换矩阵,确定每张二维影像的目标中心点,基于每张二维影像的目标中心点和每张二维影像对应的距离集合,在每张二维影像中确定目标二维影像。
179.在一个实施例中,所述处理器200具体用于:
180.在所述调整后三维影像中确定所述目标部位对应的目标三维影像,第二投影单元,用于对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同,基于多张第二投影影像和所述多张目标二维影像确定第二相似度,若所述第二相似度不满足第三预设条件,且当前迭代次数不满足第四预设条件,则基于所述第二相似度调整所述调整后三维影像的姿态,以优化所述第二转换矩阵,并重复上述确定第二相似度的过程,直至确定的第二相似度满足所述第三预设条件,或者当前迭代次数满足所述第四预设条件,得到目标转换矩阵。
181.在一个实施例中,所述第三预设条件包括:所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值小于第三阈值;所述第四预设条件包括:当前迭代次数等于第四阈值。
182.在一个实施例中,所述处理器200具体用于:
183.获取所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值,第二调整单元子单元,用于根据所述相似度差值确定调整步长,并根据所述调整步长调整所述调整后三维影像的姿态,其中,所述相似度差值和所述调整步长正相关。
184.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、
移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
185.本领域技术人员可以理解,图8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
186.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
187.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
188.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
189.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
190.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
191.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
192.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
193.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
194.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
195.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
196.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
197.获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;
198.基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;
199.基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;
200.基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。
201.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
202.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
203.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
204.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:
1.一种配准方法,其特征在于,所述方法包括:获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系;基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系;基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。2.根据权利要求1所述的方法,其特征在于,所述基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,包括:按照预设倍数对所述三维影像和所述多张二维影像进行下采样,得到下采样三维影像和多张下采样二维影像;按照所述预设倍数对应的预设步长调整所述下采样三维影像的姿态,得到调整后的下采样三维影像;对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像,其中,每张第一投影影像的投影位姿与对应的二维影像的拍摄位姿相同;若多张第一投影影像和所述多张下采样二维影像满足第一预设条件,且所述预设倍数满足第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,得到调整后三维影像,并确定第一调整值,根据所述第一调整值确定第二转换矩阵。3.根据权利要求2所述的方法,其特征在于,所述对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像之后,还包括:若所述多张第一投影影像和所述多张下采样二维影像不满足所述第一预设条件,则按照所述预设倍数对应的预设步长调整所述调整后的下采样三维影像的姿态,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件。4.根据权利要求2所述的方法,其特征在于,所述对调整后的下采样三维影像进行投影,得到与每张二维影像对应的第一投影影像之后,还包括:若所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数不满足所述第二预设条件,则根据所述预设倍数对调整后的下采样三维影像进行上采样,以更新所述三维影像;降低所述预设倍数,基于降低后的预设倍数对更新后的三维影像和所述多张二维影像进行下采样,以重复上述得到与每张二维影像对应的第一投影影像的过程,直至所述多张第一投影影像和所述多张下采样二维影像满足所述第一预设条件,且所述预设倍数满足所述第二预设条件。5.根据权利要求2所述的方法,其特征在于,所述第一预设条件包括:基于所述多张第一投影影像和所述多张下采样二维影像确定的第一相似度,大于所述预设倍数对应的第一
阈值;所述第二预设条件包括:所述预设倍数等于第二阈值。6.根据权利要求1所述的方法,其特征在于,所述基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定目标二维影像,包括:在所述调整后三维影像中确定所述目标部位对应的目标三维影像,以及所述目标三维影像的第一中心点;对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,并基于所述第一中心点确定每张第二投影影像的第二中心点和距离集合,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同,所述距离集合用于反映第二中心点到目标部位的边缘的距离;基于所述第一中心点、所述第二转换矩阵和多个第一转换矩阵,确定每张二维影像的目标中心点;基于每张二维影像的目标中心点和每张二维影像对应的距离集合,在每张二维影像中确定目标二维影像。7.根据权利要求1所述的方法,其特征在于,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵,包括:在所述调整后三维影像中确定所述目标部位对应的目标三维影像;对所述目标三维影像进行投影,得到与每张二维影像对应的第二投影影像,其中,每张第二投影影像的投影位姿与对应的二维影像的拍摄位姿相同;基于多张第二投影影像和所述多张目标二维影像确定第二相似度;若所述第二相似度不满足第三预设条件,且当前迭代次数不满足第四预设条件,则基于所述第二相似度调整所述调整后三维影像的姿态,以优化所述第二转换矩阵,并重复上述确定第二相似度的过程,直至确定的第二相似度满足所述第三预设条件,或者当前迭代次数满足所述第四预设条件,得到目标转换矩阵。8.根据权利要求7所述的方法,其特征在于,所述第三预设条件包括:所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值小于第三阈值;所述第四预设条件包括:当前迭代次数等于第四阈值。9.根据权利要求7所述的方法,其特征在于,所述基于所述第二相似度调整所述调整后三维影像的姿态,包括:获取所述第二相似度与上一次调整所述调整后三维影像的姿态时确定的第二相似度之间的相似度差值;根据所述相似度差值确定调整步长,并根据所述调整步长调整所述调整后三维影像的姿态,其中,所述相似度差值和所述调整步长正相关。10.一种配准系统,其特征在于,所述系统包括:二维影像采集设备和处理器;所述二维影像采集设备,用于在术中拍摄多张二维影像,并将术中拍摄的多张二维影像发送至所述处理器;所述处理器,用于获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵,其中,所述三维影像和所述多张二维影像均包括目标部位,所述
第一转换矩阵,用于反映对应的二维影像的术中二维影像坐标系与术中空间坐标系之间的转换关系,基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵,其中,所述第二转换矩阵,用于反映所述三维影像的术前三维影像坐标系与所述术中空间坐标系之间的转换关系,基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像,基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
技术总结
本申请涉及配准方法、系统、计算机设备和存储介质。所述方法包括:获取术前拍摄的三维影像、术中拍摄的多张二维影像,以及每张二维影像对应的第一转换矩阵;基于所述三维影像和所述多张二维影像,对所述三维影像的姿态进行调整,得到调整后三维影像以及第二转换矩阵;基于所述调整后三维影像、所述多张二维影像、多个第一转换矩阵以及所述第二转换矩阵,在每张二维影像中确定所述目标部位对应的目标二维影像;基于所述调整后三维影像和多张目标二维影像,对所述调整后三维影像的姿态进行调整,以优化所述第二转换矩阵,得到目标转换矩阵。本方法不需要大量人机交互、操作简单,并且提高了配准的准确度。提高了配准的准确度。提高了配准的准确度。
技术研发人员:付春萌
受保护的技术使用者:武汉联影智融医疗科技有限公司
技术研发日:2022.02.17
技术公布日:2022/5/25
转载请注明原文地址:https://tc.8miu.com/read-10858.html