本发明涉及医学图像处理,具体涉及一种基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法。
背景技术:
1、肾癌的发展过程中可能出现肾癌被膜侵犯,即肿瘤穿透肾被膜,侵入肾周脂肪或邻近结构,这是癌症扩散的早期迹象。由于早期症状不明显,患者往往在中晚期才就诊,凸显早期发现的重要性。
2、目前对于肾癌被膜侵犯的分类主要应用了影像组学。然而,影像组学面临两个挑战:一是如何从图像中精确提取表型特征;二是如何从特征中筛选与疾病相关的潜在特征。传统影像组学特征提取过程复杂且计算资源消耗大,且由于算法差异,结果可能存在不确定性。其次,从大量特征中选择与疾病状态相关的特征困难,需要深入理解疾病的生物学机制并且进行大量的统计分析。
3、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、为克服现有技术所存在的缺陷,现提供一种基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,以解决传统的影像组学肾癌被膜侵犯分类存在分类结果的不确定性且困难的问题。
2、为实现上述目的,提供一种基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,包括以下步骤:
3、构建肾癌病人的数据集,所述数据集包括所述肾癌病人的多期术前增强ct图像和临床数据;
4、对所述术前增强ct图像的感兴趣区域分割并裁剪出大尺寸ct图像和小尺寸ct图像;
5、将所述多期术前增强ct图像的所述大尺寸ct图像和所述小尺寸ct图像划分为训练集和测试集;
6、基于所述训练集分别提取影像组学特征和深度学习特征;
7、对所述临床数据进行统计学分析并转化为数值特征;
8、采用bfpps算法对所述影像组学特征、所述深度学习特征和数值特征分别进行特征选择以获取最优特征;
9、通过dlff-net对所述影像组学特征、所述深度学习特征和数值特征的最优特征进行特征融合获得融合特征;
10、将所述融合特征输入梯度提升决策树分类器中进行训练和测试以实现肾癌被膜侵犯的分类预测。
11、进一步的,所述多期术前增强ct图像包括皮髓质期的增强ct图像、实质期的增强ct图像和排泄期的增强ct图像。
12、进一步的,所述裁剪出大尺寸ct图像和小尺寸ct图像的步骤包括:
13、根据voi最大轴向尺寸的1倍进行裁剪所述术前增强ct图像的感兴趣区域以获得所述小尺寸ct图像;
14、根据voi最大轴向尺寸的2倍进行裁剪所述术前增强ct图像的感兴趣区域以获得所述大尺寸ct图像。
15、进一步的,所述数据集还包括临床症状和体征、血常规和肿瘤形态。
16、进一步的,所述梯度提升决策树分类器通过构建多个决策树以对病人肾癌被膜侵犯类型分类。
17、进一步的,所述通过dlff-net对所述影像组学特征、所述深度学习特征和数值特征的最优特征进行特征融合获得融合特征的步骤包括:
18、所述dlff-net将每种特征向量转换为相同大小以对接,并应用激活函数计算获得五个特征向量;
19、将所述五个特征相邻组合呈一个单一的融合特征。
20、进一步的,所述通过dlff-net对所述影像组学特征、所述深度学习特征和数值特征的最优特征进行特征融合获得融合特征的步骤还包括通过对比学习模型优化所述融合特征的特征表示,利用对比损失函数以增强所述融合特征的表达能力和区分度。
21、本发明的有益效果在于,本发明的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,基于多尺度和多模态数据,获取了多尺度ct数据,并结合多模态特征(包括ct深度学习特征、ct影像组学特征和临床数据特征),采用块过滤后剪枝搜索算法进行特征选择,并通过基于深度学习的特征融合网络对多种特征进行融合和对比学习模型优化特征表示,最后使用梯度提升决策树分类器进行分类,显著提高了分类的准确性和效率。
22、本发明的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法具有高度的自动化水平,减少了对人工干预的需求,保证了良好的实用性和鲁棒性。
23、本发明的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法通过从数据平台获取多尺度ct数据,并提取多模态特征(ct深度学习特征、ct影像组学特征和临床特征),并结合特征选择技术,以及特征融合和对比学习,能够准确判断肾癌是否存在被膜侵犯。当检测出被膜侵犯时,会生成包含分类结果的报告,辅助临床医生进行诊断和治疗决策。
1.一种基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述多期术前增强ct图像包括皮髓质期的增强ct图像、实质期的增强ct图像和排泄期的增强ct图像。
3.根据权利要求1所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述裁剪出大尺寸ct图像和小尺寸ct图像的步骤包括:
4.根据权利要求1所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述数据集还包括临床症状和体征、血常规和肿瘤形态。
5.根据权利要求1所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述梯度提升决策树分类器通过构建多个决策树以对病人肾癌被膜侵犯类型分类。
6.根据权利要求1所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述通过dlff-net对所述影像组学特征、所述深度学习特征和数值特征的最优特征进行特征融合获得融合特征的步骤包括:
7.根据权利要求6所述的基于多尺度和多模态特征融合的肾癌被膜侵犯分类方法,其特征在于,所述通过dlff-net对所述影像组学特征、所述深度学习特征和数值特征的最优特征进行特征融合获得融合特征的步骤还包括通过对比学习模型优化所述融合特征的特征表示,利用对比损失函数以增强所述融合特征的表达能力和区分度。