一种肺结节图像的分类方法和系统与流程

1.本发明涉及图像识别领域，尤其涉及一种肺结节图像的分类方法和系统。


背景技术：

2.肺结节密度分类一般分为实性、部分实性、磨玻璃、钙化四种类型，医生对结节密度类型的判定主要是根据结节附近及结节内部的hu值，但是人工判断收到工作经验影响，且容易产生误判。


技术实现要素：

3.本发明所要解决的技术问题是针对现有技术的不足，提供一种肺结节图像的分类方法和系统。
4.本发明解决上述技术问题的技术方案如下：
5.一种肺结节图像的分类方法，包括：
6.输入包括肺结节图像的像素块和肺结节的分割掩膜；
7.对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；
8.提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；
9.根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。
10.本发明的有益效果是：本方案通过对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵，根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类，通过本发明不需要高要求的硬件设备条件，不需要大量的标注数据，减少人工损耗，结合了结节分割的信息，从医生阅片时判断肺结节类型的方法出发，具有很强的可解释性，分类效果好。
11.进一步地，所述对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层具体包括：
12.提取出所述像素块的面积最大横断面的层作为第一横断面层；
13.提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。
14.采用上述进一步方案的有益效果是：本方案通过预处理操作中，仅截取到了医生所关注的图像范围，很好地避免了背景等无关因素的干扰。
15.进一步地，所述提取所述第一横断面层和所述第二横断面层的前景像素还包括：
16.提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；
17.对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。
18.进一步地，所述对所述前景像素进行预设处理获得目标特征矩阵具体包括：
19.对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；
20.采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；
21.对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；
22.将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。
23.采用上述进一步方案的有益效果是：本方案通过将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵，不仅解决了不同结节尺寸区别大的问题，还很好地体现了结节中灰度值的占比情况。特征提取步骤中，使用两种不同的方法得到了结节灰度特征，提取到了结节中hu范围的特征，而医生在判断结节类型的时候，正是通过对结节中hu值范围的判断，分类效果好，降低人工操作误差。
24.进一步地，还包括：对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层。
25.采用上述进一步方案的有益效果是：本方案通过腐蚀操作，去除结节边缘受到部分容积效应影响的像素，优化分割掩膜数据；
26.所述获得前景像素矩阵具体包括：
27.提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。
28.本发明解决上述技术问题的另一种技术方案如下：
29.一种肺结节图像的分类系统，包括：输入模块、预处理模块、特征提取模块和分类模块；
30.所述输入模块用于输入包括肺结节图像的像素块和肺结节的分割掩膜；
31.所述预处理模块用于对所述像素块和分割掩膜进行预处理处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；
32.所述特征提取模块用于提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；
33.所述分类模块用于根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。
34.本发明的有益效果是：本方案通过对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵，根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类，通过本发明不需要高要求的硬件设备条件，不需要大量的标注数据，减少人工损耗，结合了结节分割的信息，从医生阅片时判断肺结节类型的方法出发，具有很强的可解释性，分类效果好。
35.进一步地，所述预处理模块具体用于提取出所述像素块的面积最大横断面的层作为第一横断面层；
36.提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。
37.采用上述进一步方案的有益效果是：本方案通过预处理操作中，仅截取到了医生
所关注的图像范围，很好地避免了背景等无关因素的干扰。
38.进一步地，所述特征提取模块具体用于提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；
39.对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。
40.进一步地，所述特征提取模块具体用于对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；
41.采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；
42.对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；
43.将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。
44.采用上述进一步方案的有益效果是：本方案通过将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵，不仅解决了不同结节尺寸区别大的问题，还很好地体现了结节中灰度值的占比情况。特征提取步骤中，使用两种不同的方法得到了结节灰度特征，提取到了结节中hu范围的特征，而医生在判断结节类型的时候，正是通过对结节中hu值范围的判断，分类效果好，降低人工操作误差。
45.进一步地，还包括：掩膜优化模块，用于对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层。
46.采用上述进一步方案的有益效果是：本方案通过腐蚀操作，去除结节边缘受到部分容积效应影响的像素，优化分割掩膜数据。
47.所述特征提取模块具体用于提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。
48.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
49.图1为本发明的实施例提供的一种肺结节图像的分类方法的流程示意图；
50.图2为本发明的实施例提供的一种肺结节图像的分类系统的结构框图；
51.图3为本发明的其他实施例提供的分类算法的处理流程示意图。
具体实施方式
52.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
53.如图1所示，为本发明实施例提供的一种肺结节图像的分类方法，包括：s1，输入包括肺结节图像的像素块和肺结节的分割掩膜；
54.s2，对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；
55.需要说明的是，在某一实施例中，通过预处理到肺结节的面积最大横断面可以包括：根据肺结节掩膜在每个横断面的面积，计算得到面积最大的横断面。具体的计算方法为，遍历肺结节分割掩膜的每个横断面，计算该横断面的前景像素个数，将该个数视为该层面前景的面积；计算出像素个数最多的层面，即为面积最大的横断面。
56.取出结节的影像像素块对应面积最大横断面的层，记为img
slice
，同时取出肺结节分割掩膜对应面积最大横断面的层，记为mask
slice
。医生在判定肺结节类型时，通常在横断面上浏览结节影像。截取结节横断面影像，更接近医生的结节判定方法。
57.s3，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；
58.s4，根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。其中，分类器可以包括：随机森林分类器，或其他类型的分类器，如svm。
59.在某一实施例中，如图3所示，输入为包含结节的肺部ct影像像素块img
origin
，及对应的肺结节分割掩膜mask
origin
。结节分割掩膜中，值为1的像素为前景，代表img
origin
对应的位置为结节区域；值为0的像素为背景，代表img
origin
对应的位置为非结节区域。该掩膜可以由人工手动标出，也可以由自动分割算法，例如unet等，自动分割得到。
60.本方案通过对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵，根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类，通过本发明不需要高要求的硬件设备条件，不需要大量的标注数据，减少人工损耗，结合了结节分割的信息，从医生阅片时判断肺结节类型的方法出发，具有很强的可解释性，分类效果好。
61.优选地，在上述任意实施例中，所述对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层具体包括：
62.提取出所述像素块的面积最大横断面的层作为第一横断面层；
63.提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。
64.本方案通过预处理操作中，仅截取到了医生所关注的图像范围，很好地避免了背景等无关因素的干扰。
65.优选地，在上述任意实施例中，所述提取所述第一横断面层和所述第二横断面层的前景像素还包括：
66.提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；
67.对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。
68.需要说明的是，在某一实施例中，获取前景像素矩阵可以包括：取出img
slice
中与mask
slice-erode
中前景对应的像素，并拉直成一维，记为array
foreground
。
69.由于ct影像中hu值的范围较大，医生在阅片时会设置固定的窗宽窗位。因此，模仿医生阅片时的方式，对array
foreground
进行加窗操作。设置想要看到的hu值范围[h
min
，h
max
]，然后将array
foreground
中小于h
min
的像素置为h
min
，array
foreground
中大于h
max
的像素置为h
max
。本发明某一实施例中，h
min
和h
max
设置为肺窗，设置值可以如-1200、600。
[0070]
优选地，在上述任意实施例中，所述对所述前景像素进行预设处理获得目标特征矩阵具体包括：
[0071]
对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；
[0072]
采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；
[0073]
对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；
[0074]
将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。
[0075]
需要说明的是，对所述前景像素进行预设处理可以包括：
[0076]
首先，将array
foreground
按照中的像素值按照从小到大排序，得到排序后的前景像素矩阵array
foreground-sorted
。
[0077]
然后，采用插值方法，例如线性插值法，将前景像素矩阵插值为长度为n的特征矩阵feature。n可以根据数据集情况设置为合适的正整数。本发明某一实施例中，可以设置n＝100。
[0078]
在另一实施例中，计算array
foreground
的归一化后的灰度直方图feature2。具体计算方法可以为：
[0079]
设置灰度级l，本发明中，设置l＝18。计算array
foreground
的灰度直方图gh，然后将gh中的每个元素都除以array
foreground
的长度，得到feature2。
[0080]
最终，将feature1和feature2拼接在一起，得到feature矩阵。
[0081]
本方案通过将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵，不仅解决了不同结节尺寸区别大的问题，还很好地体现了结节中灰度值的占比情况。特征提取步骤中，使用两种不同的方法得到了结节灰度特征，提取到了结节中hu范围的特征，而医生在判断结节类型的时候，正是通过对结节中hu值范围的判断，分类效果好，降低人工操作误差。
[0082]
优选地，在上述任意实施例中，还包括：对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层；
[0083]
所述获得前景像素矩阵具体包括：
[0084]
提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。
[0085]
需要说明的是，在某一实施例中，通过对肺结节分割掩膜mask
slice
进行腐蚀操作，得到腐蚀后的掩膜mask
slice-erode
，去除结节边缘受到部分容积效应影响的像素。
[0086]
本方案通过腐蚀操作，去除结节边缘受到部分容积效应影响的像素，优化分割掩膜数据。
[0087]
在某一实施例中，如图2所示，一种肺结节图像的分类系统，包括：输入模块1101、预处理模块1102、特征提取模块1103和分类模块1104；
[0088]
所述输入模块1101用于输入包括肺结节图像的像素块和肺结节的分割掩膜；
[0089]
所述预处理模块1102用于对所述像素块和分割掩膜进行预处理处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；
[0090]
所述特征提取模块1103用于提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；
[0091]
所述分类模块1104用于根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。
[0092]
本方案通过对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵，根据所述目标特征矩阵对分
类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类，通过本发明不需要高要求的硬件设备条件，不需要大量的标注数据，减少人工损耗，结合了结节分割的信息，从医生阅片时判断肺结节类型的方法出发，具有很强的可解释性，分类效果好。
[0093]
优选地，在上述任意实施例中，所述预处理模块1102具体用于提取出所述像素块的面积最大横断面的层作为第一横断面层；
[0094]
提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。
[0095]
本方案通过预处理操作中，仅截取到了医生所关注的图像范围，很好地避免了背景等无关因素的干扰。
[0096]
优选地，在上述任意实施例中，所述特征提取模块1103具体用于提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；
[0097]
对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。
[0098]
优选地，在上述任意实施例中，所述特征提取模块1103具体用于对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；
[0099]
采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；
[0100]
对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；
[0101]
将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。
[0102]
本方案通过将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵，不仅解决了不同结节尺寸区别大的问题，还很好地体现了结节中灰度值的占比情况。特征提取步骤中，使用两种不同的方法得到了结节灰度特征，提取到了结节中hu范围的特征，而医生在判断结节类型的时候，正是通过对结节中hu值范围的判断，分类效果好，降低人工操作误差。
[0103]
优选地，在上述任意实施例中，还包括：掩膜优化模块，用于对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层；
[0104]
所述特征提取模块具体用于提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。
[0105]
本方案通过腐蚀操作，去除结节边缘受到部分容积效应影响的像素，优化分割掩膜数据。
[0106]
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
[0107]
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
[0108]
读者应理解，在本说明书的描述中，参考术语
″
一个实施例
″
、
″
一些实施例
″
、
″
示例
″
、
″
具体示例
″
、或
″
一些示例
″
等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0109]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
[0110]
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0111]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种肺结节图像的分类方法，其特征在于，包括：输入包括肺结节图像的像素块和肺结节的分割掩膜；对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。2.根据权利要求1所述的一种肺结节图像的分类方法，其特征在于，所述对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层具体包括：提取出所述像素块的面积最大横断面的层作为第一横断面层；提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。3.根据权利要求1或2所述的一种肺结节图像的分类方法，其特征在于，所述提取所述第一横断面层和所述第二横断面层的前景像素还包括：提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。4.根据权利要求3所述的一种肺结节图像的分类方法，其特征在于，所述对所述前景像素进行预设处理获得目标特征矩阵具体包括：对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。5.根据权利要求3所述的一种肺结节图像的分类方法，其特征在于，还包括：对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层；所述获得前景像素矩阵具体包括：提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。6.一种肺结节图像的分类系统，其特征在于，包括：输入模块、预处理模块、特征提取模块和分类模块；所述输入模块用于输入包括肺结节图像的像素块和肺结节的分割掩膜；所述预处理模块用于对所述像素块和分割掩膜进行预处理处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层；所述特征提取模块用于提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵；所述分类模块用于根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类。7.根据权利要求6所述的一种肺结节图像的分类系统，其特征在于，所述预处理模块具
体用于提取出所述像素块的面积最大横断面的层作为第一横断面层；提取出所述分割掩膜的面积最大横断面的层作为第二横断面层。8.根据权利要求6或7所述的一种肺结节图像的分类系统，其特征在于，所述特征提取模块具体用于提取所述第一横断面层和所述第二横断面层的前景像素，并处理成一维，获得前景像素矩阵；对所述前景像素矩阵进行加窗操作，获得加窗处理后的前景像素矩阵。9.根据权利要求8所述的一种肺结节图像的分类系统，其特征在于，所述特征提取模块具体用于对所述前景像素矩阵进行排序处理，获得排序后的前景像素矩阵；采用插值方法对所述排序后的前景像素矩阵进行处理后的第一特征矩阵；对所述前景像素矩阵进行灰度归一化处理获得第二特征矩阵；将所述第一特征矩阵与所述第二特征矩阵进行拼接获得所述目标特征矩阵。10.根据权利要求8所述的一种肺结节图像的分类系统，其特征在于，还包括：掩膜优化模块，用于对所述第二横断面层进行腐蚀操作获得腐蚀后的第二横断面层；所述特征提取模块具体用于提取所述第一横断面层和所述腐蚀后的第二横断面层的前景像素，并处理成一维，获得前景像素矩阵。

技术总结
本发明公开了一种肺结节图像的分类方法和系统，涉及图像识别领域。该方法包括：输入包括肺结节图像的像素块和肺结节的分割掩膜，对所述像素块和分割掩膜进行预处理分别获得所述像素块的第一横断面层和所述分割掩膜的第二横断面层，提取所述第一横断面层和所述第二横断面层的前景像素，并对所述前景像素进行预设处理获得目标特征矩阵，根据所述目标特征矩阵对分类器进行训练，通过训练后的分类器对所述肺结节图像进行结节类型分类，通过本发明不需要高要求的硬件设备条件，不需要大量的标注数据，减少人工损耗，结合了结节分割的信息，从医生阅片时判断肺结节类型的方法出发，具有很强的可解释性，分类效果好。分类效果好。分类效果好。


技术研发人员：柴象飞 郭娜 张路 刘鹏飞 张莞舒
受保护的技术使用者：慧影医疗科技（北京）股份有限公司
技术研发日：2022.01.29
技术公布日：2022/5/25