:本发明涉及医学图像配准,具体为一种基于深度形变配准的剂量叠加方法、装置、设备及介质。
背景技术
0、
背景技术:
1、放射治疗是恶性肿瘤的主要治疗手段之一,有超过50%的恶性肿瘤患者需要接受放射治疗。在治疗过程中,如何确保肿瘤靶区受到足够的剂量照射,同时最大限度地减少周围正常组织的损伤,是放射治疗的关键问题。剂量叠加技术是指将多次放疗的剂量分布进行累加,以评估靶区和危及器官的总受照剂量。在自适应放疗中,剂量叠加技术用于评估修正后的放疗计划对靶区和危及器官的剂量影响。剂量叠加技术的实现需要依赖于精确的形变配准结果,通过形变配准技术将不同时间点的图像进行配准后,可以将每次放疗的剂量分布映射到同一坐标系下,并进行累加计算。累加后的剂量分布可以直观地展示靶区和危及器官的总受照剂量情况,为放疗计划的优化提供重要依据;
2、现有技术一的技术方案是基于demons的形变配准算法,demons算法是一种非参数化可形变配准方法,最早源自光流算法。它通过光流算法的多次迭代,并使用高斯滤波器对位移场进行平滑处理,以得到配准所需的变化。demons算法使用参考图像的梯度以及参考图像与浮动图像的灰度差值来计算每个点的坐标偏移量,从而得到整幅图的坐标偏移量。然后,使用这些偏移量对浮动图像进行重采样和插值,重复迭代此过程直到达到设定的迭代次数或相似度阈值
3、现有技术一的缺点:
4、一、计算复杂度较高,需要较长的处理时间。
5、二、容易陷入局部最优解而导致配准失败。
6、三、依赖于简单的数学模型或迭代优化算法,难以处理复杂的形变情况;
7、为此,提出一种基于深度形变配准的剂量叠加方法、装置、设备及介质。
技术实现思路
0、
技术实现要素:
1、本发明的目的在于提供一种基于深度形变配准的剂量叠加方法、装置、设备及介质,本发明提出基于深度学习的形变配准模型,并根据此模型来实现剂量的精确叠加,以解决上述背景技术中提出的问题之一。
2、第一方面:为解决上述技术问题,本技术采用的一个技术方案是:一种基于深度形变配准的剂量叠加方法,包括以下步骤:
3、获取多模态数据集,并预处理图像数据,且所述多模态数据集包括参考ct图像、浮动ct图像、提取对应所述参考ct图像的参考剂量图像以及提取对应所述浮动ct图像的浮动剂量图像;
4、根据预处理后的所述多模态数据集构建浮动刚性变换ct图像,导入所述参考ct图像和所述浮动ct图像的计算机断层扫描图像序列,导入所述参考剂量图像和所述浮动剂量图像的三维剂量图像,将所述参考ct图像和所述浮动ct图像进行刚性配准,得到4x4的空间变换矩阵,并将所述浮动ct图像进行刚性变换,得到浮动刚性变换ct图像;
5、构建深度形变配准模型:所述深度形变配准模型包括transformer编码器和cnn解码器,将所述参考ct图像和浮动刚性变换ct图像输入到所述深度形变配准模型进行形变配准,得到形变场;
6、根据所述4x4的空间变换矩阵对浮动剂量图像进行刚性变换,得到浮动刚性变换剂量图像;
7、响应于所述形变场对浮动刚性变换剂量图像进行形变,得到浮动形变剂量图像,根据参考剂量图像和浮动形变剂量图像进行逐像素相加,得到剂量叠加图像。
8、优选的,所述构建深度形变配准模型,具体包括:
9、transformer与cnn的结合:通过transformer编码器以捕捉输入的浮动ct图像和参考ct图像之间的空间对应关系通过cnn解码器将transformer编码器提供的信息处理为密集位移场;
10、引入级联配准架构,通过串联多个配准模型,逐步修正形变场;
11、根据互信息损失函数、正则化损失和分割损失来计算图像形变配准的损失。
12、优选的,所述构建深度形变配准模型为无监督形变配准框架,具体包括:
13、将参考ct图像和浮动ct图像输入到深度神经网络中,所述深度神经网络推理出形变场,然后利用空间转换层对所述浮动ct图像进行形变插植,最终得到形变后的图像;
14、在训练过程中,通过所述形变后的图像与参考ct图像图像求损失函数值,通过反向传播对网络参数进行更新;
15、空间转换层利用形变场或者变换参数对规则的空间网格进行变换,生成不规则的采样网格,并利用该网格对输入图像进行重采样,实现无监督学习。
16、优选的,所述互信息损失函数、正则化损失和分割损失来计算图像形变配准的损失,计算形变的浮动ct图像和参考ct图像之间的相似性;正则化形变场,使用浮动ct图像和参考ct图像对的器官分割区域以及预测的形变场计算dice损失,得到总损失函数:
17、
18、
19、其中lsim是图像相似性损失,lreg是正则化损失,lseg是分割损失,而α、β、γ是它们的权重系数。此外,if、im、sf、sm分别表示参考ct图像、浮动ct图像、最终形变场、参考ct图像的器官分割区域以及浮动ct图像的器官分割区域。
20、优选的,所述分割损失包括利用参考ct图像的器官分割区域s,以及浮动ct图像的器官分割区域sm来引入解构约束,直接最小化与间的dice损失,其中c表示第c个结构,通过使用线性插值将对c个通道的sm进行扭曲来计算从而将lseg的梯度反向传播到网络中。
21、优选的,所述多模态数据集通过数据仓库工具进行预处理,所述预处理包括数据清洗和数据标准化,并对数据清洗后的预处理数据按照预定要求进行数据集合。
22、优选的,所述数据清洗包括缺失值处理、重复值处理、异常值处理和数据标准化;
23、所述数据集合包括抽取数据、转换数据和加载数据:
24、所述抽取数据为从多个数据源中抽取原始数据;和/或;
25、所述转换数据为用于对数据进行清洗、转换和标准化处理;和/或;
26、所述加载数据为将处理好的数据加载到数据仓库或数据库中。
27、第二方面:为解决上述技术问题,本技术采用的另一个技术方案是:一种基于深度形变配准的剂量叠加系统,包括:
28、获取模块,用于获取多模态数据集,并预处理图像数据,且所述多模态数据集包括参考ct图像、浮动ct图像、提取对应所述参考ct图像的参考剂量图像以及提取对应所述浮动ct图像的浮动剂量图像;
29、输入模块,用于根据预处理后的所述多模态数据集构建浮动刚性变换ct图像,导入所述参考ct图像和所述浮动ct图像的计算机断层扫描图像序列,导入所述参考剂量图像和所述浮动剂量图像的三维剂量图像,将所述参考ct图像和所述浮动ct图像进行刚性配准,得到4x4的空间变换矩阵,并将所述浮动ct图像进行刚性变换,得到浮动刚性变换ct图像;
30、构建模型模块,用于所述深度形变配准模型包括transformer编码器和cnn解码器,将所述参考ct图像和浮动刚性变换ct图像输入到所述深度形变配准模型进行形变配准,得到形变场;
31、刚性变换模块,用于根据所述4x4的空间变换矩阵对浮动剂量图像进行刚性变换,得到浮动刚性变换剂量图像;
32、逐像素模块,用于响应于所述形变场对浮动刚性变换剂量图像进行形变,得到浮动形变剂量图像,根据参考剂量图像和浮动形变剂量图像进行逐像素相加,得到剂量叠加图像。
33、第三方面:为解决上述技术问题,本技术采用的另一个技术方案是:一种电子设备,包括处理器、存储器和通信接口,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现如上述任一种基于深度形变配准的剂量叠加方法的步骤。
34、第四方面:为解决上述技术问题,本技术采用的另一个技术方案是:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一种所述的一种基于深度形变配准的剂量叠加方法的步骤。
35、本发明的优点:
36、1、深度形变配准模型具有强大的特征提取和学习能力,能够从大量训练数据中学习到复杂的形变规律,从而实现对复杂形变的精确配准。通过构建适当的深度学习模型,可以自动提取图像中的关键特征,并基于这些特征进行形变场的估计和优化。
37、2、通过端到端的训练和优化,能够自动学习到图像之间的最佳配准映射关系。在训练过程中,可以通过引入各种形式的噪声和变换来增强模型的鲁棒性。此外,深度学习模型还可以结合先验知识(如形变场的平滑性、一致性和拓扑正确性等约束)进行正则化处理,进一步提高配准的精度和鲁棒性。
38、3、深度形变配准模型可以利用gpu等并行计算设备进行加速,从而显著提高配准速度。此外,深度学习模型通过优化算法和模型架构的设计,可以在保证配准精度的同时降低计算复杂度,提高配准效率。这使得基于深度学习的形变配准方法在实际应用中具有更高的实用性和可行性。
39、4、深度形变配准模型具有强大的自适应和学习能力,能够自动从训练数据中学习到配准所需的参数和规则。这使得基于深度学习的形变配准方法能够实现更高程度的自动化和智能化。在训练过程中,模型可以自动调整参数以优化配准效果,无需人工干预。此外,深度学习模型还可以结合其他图像处理技术(如图像分割、特征提取等)进行联合优化,进一步提高配准的智能化水平。
1.一种基于深度形变配准的剂量叠加方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述构建深度形变配准模型,具体包括:
3.根据权利要求1所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述构建深度形变配准模型为无监督形变配准框架,具体包括:
4.根据权利要求2所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述互信息损失函数、正则化损失和分割损失来计算图像形变配准的损失,计算形变的浮动ct图像和参考ct图像之间的相似性;正则化形变场,使用浮动ct图像和参考ct图像对的器官分割区域以及预测的形变场计算dice损失,得到总损失函数:
5.根据权利要求4所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述分割损失包括利用参考ct图像的器官分割区域sf以及浮动ct图像的器官分割区域sm来引入解构约束,直接最小化与间的dice损失,其中c表示第c个结构,通过使用线性插值将对c个通道的sm进行扭曲来计算从而将lseg的梯度反向传播到网络中。
6.根据权利要求1所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述多模态数据集通过数据仓库工具进行预处理,所述预处理包括数据清洗和数据标准化,并对数据清洗后的预处理数据按照预定要求进行数据集合。
7.根据权利要求6所述的一种基于深度形变配准的剂量叠加方法,其特征在于,所述数据清洗包括缺失值处理、重复值处理、异常值处理和数据标准化;
8.一种基于深度形变配准的剂量叠加系统,应用于权利要求1-7任一项所述的基于深度形变配准的剂量叠加方法,其特征在于,包括:
9.一种电子设备,其特征在于,包括处理器、存储器和通信接口,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1至7中任一项所述的一种基于深度形变配准的剂量叠加方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的一种基于深度形变配准的剂量叠加方法。