一种胃癌HER2数字病理切片智能辅助判读方法与流程

一种胃癌her2数字病理切片智能辅助判读方法
技术领域
1.本发明涉及一种胃癌her2数字病理切片智能辅助判读方法。


背景技术：

2.人表皮生长因子受体2（human epidermal growth factor receptor 2, her2）阳性胃癌是胃癌的重要亚型，靶向her2的免疫治疗能显著改善晚期胃癌患者的预后，并已成为晚期胃癌的一线标准治疗。正确检测和评价胃癌的her2蛋白表达和基因扩增状态对胃癌的临床诊疗具有重要意义。
3.当前对her2免疫组化染色切片进行her2蛋白表达评估主要通过人工进行，医生在病理诊断过程中需要在显微镜下对苏木精-伊红染色（he染色）切片和her2免疫组化染色切片进行逐个反复比对，通过不断切换显微镜视野倍数，寻找可疑癌变区域，根据肿瘤细胞膜着色的百分比及着色强度评分，分为0、1 、2 、3 ，其中0和1 判断为阴性，3 判断为阳性，而2 则需要fish检测进行验证her2的扩增状态，这一工作不同国家不同实验室之间检测阳性率存在差异，且阅片耗时长，肉眼判断易出错，主观差异大，诊断流程效率低下。在我国，广大基层医院很多实验室不具备her2检测条件，从而导致部分her2阳性的患者不能得到及时、有效的靶向治疗。
4.近几年，人工智能在医学领域的应用取得了一系列的成果，然而，目前还没有对胃癌的her2评分智能判读算法。目前her2辅助判读大多基于乳腺癌，胃癌领域智能判断还未出现。且随着深度神经网络的加深，模型复杂度变高，推理速度慢，不太适用医院医生的实时诊断需求，其次，所需要的计算机设备要求高，对于一些基层医院，并不具备相关条件。


技术实现要素：

5.本发明的目的在于提供一种胃癌her2数字病理切片智能辅助判读方法，能够辅助医生判读，且智能判读实时性高。
6.为实现上述目的，本发明的技术方案是：一种胃癌her2数字病理切片智能辅助判读方法，首先构建并训练unet分割模型检测胃癌细胞区域并分割出胃癌细胞；其次，设计一种基于he染色切片和her2免疫组化切片的胃癌数字病理切片配准方法，将运动图像映射到固定图像，并通过测量两幅图像之间的相似度来评估映射；而后，基于胃癌数字病理切片的配准结果，对her2免疫组化图像按照10倍镜视野切分为256*256的小patch训练图像块，并对训练图像块进行0、1 、2 、3 的图像级别分类得到训练样本，送入构建的her2免疫组化图像级别分类模型进行训练，而后将待检测图像输入训练好的her2免疫组化图像级别分类模型得出分类结果，输出每个类别的百分比，并基于各个类别的百分比输出her2分数；最后，根据各个类别的百分比，输入svm分类器，得出做fish与否的建议。
7.在本发明一实施例中，所述构建并训练unet分割模型检测胃癌细胞区域并分割出胃癌细胞的具体实现方式如下：构建并训练unet分割模型，并根据训练后的分割模型得到切片上胃癌区域的分割
结果；由于输入unet分割模型网络结构的病理图像分辨率较高，因此对conv layers进行改进，采用conv relu pooling层提取feature maps，在encode部分，采用多尺度输入的方法，增加尺度信息，并加入空间注意力机制和通道注意力机制，提升分割准确率。
8.在本发明一实施例中，所述基于he染色切片和her2免疫组化切片的胃癌数字病理切片配准方法的原理如下：将运动图像即her2图像映射到固定图像即he图像，通过测量两幅图像之间的相似度来评估映射，对配准方法进行优化，直到映射被视为最佳，映射最佳是以成本决定达到可接受值或在最大迭代次数后停止。
9.在本发明一实施例中，所述her2免疫组化图像级别分类模型的架构采用多分支架构，her2免疫组化图像级别分类模型通过学习resnet网络的残差结构，在简单的3*3卷积模块中加入identity和残差分支。
10.在本发明一实施例中，所述根据各个类别的百分比，输入svm分类器，得出做fish与否的建议的具体实现方式为：将各个类别百分比输出得出向量，并画出柱状图得到可视化效果，将该信息送入svm分类器，输出做fish与否的建议。
11.相较于现有技术，本发明具有以下有益效果：本发明立足于辅助医生开展胃癌病理判读，加速医生判读速度，对于病理医生匮乏的地方医院，辅助医生判读，提供相较客观的数据。通过配准，减轻病理医生在显微镜下来回切换he染色切片和her2免疫组化切片的繁琐工作量，通过分类网络输出类别百分比，得到精准数值，弥补医生客观估计的误差。并且引入了单支路架构，将训练模型和部署模型分开，使模型部署时大大提高了运行速度，更加符合医生判读需求。
12.用途：精准检测和评定胃癌her2蛋白表达和基因扩增对于胃癌治疗策略的选择至关重要。her-eagle项目显示，各地区、各国家的胃癌her2阳性率存在差异。国内有关病理专家结合我国实际，制定了《胃癌her2检测指南》。尽管有了评定的金标准，然而在实际工作中，无法避免假阳性和假阴性，不同病理学家判读的主观差异性大，且耗时耗力，需要不断的切换显微镜倍数，查找癌变区域并根据肿瘤细胞膜着色的百分比及着色强度评分。本发明能够辅助医生解决目前病理科现有her2检测方法存在的问题，在her2型胃癌的诊断、对靶向药物治疗反应的预后以及对病理科医生的培训等领域具有广泛的应用价值。
附图说明
13.图1为本发明流程框架图。
14.图2为本发明her2免疫组化图像与he图像配准示意图。
15.图3为本发明her2免疫组化图像级别分类示意图。
具体实施方式
16.下面结合附图，对本发明的技术方案进行具体说明。
17.本发明一种胃癌her2数字病理切片智能辅助判读方法，首先构建并训练unet分割模型检测胃癌细胞区域并分割出胃癌细胞；其次，设计一种基于he染色切片和her2免疫组化切片的胃癌数字病理切片配准方法，将运动图像映射到固定图像，并通过测量两幅图像
之间的相似度来评估映射；而后，基于胃癌数字病理切片的配准结果，对her2免疫组化图像按照10倍镜视野切分为256*256的小patch训练图像块，并对训练图像块进行0、1 、2 、3 的图像级别分类得到训练样本，送入构建的her2免疫组化图像级别分类模型进行训练，而后将待检测图像输入训练好的her2免疫组化图像级别分类模型得出分类结果，输出每个类别的百分比，并基于各个类别的百分比输出her2分数；最后，根据各个类别的百分比，输入svm分类器，得出做fish与否的建议。
18.以下为本发明具体实现过程。
19.首先，在现有的临床应用中，需要人工肉眼比对he染色切片图像和her2免疫组化切片进行诊断，胃癌her2评分过程繁琐且耗时，目前还没有报道相关的智能判读算法来辅助医生进行胃癌her2评分。因此，本发明专利首次提出一种胃癌her2智能评分算法来辅助医生进行判读。其次，为了加速智能判读的计算过程，在卷积神经网络设计上，采用了3*3卷积和relu，不用分支结构，使得模型的推理速度提升不少，节约大量内存，可以在硬件端实现模型推理速度的提升，更适用于医院设备。
20.为了实现上述目的，本发明分为了四个部分，首先构建并训练unet分割模型检测胃癌细胞区域并分割出胃癌细胞；其次，研究了一种基于he染色切片和her2免疫组化切片的胃癌数字病理切片配准方法，将运动图像映射到固定图像，并通过测量两幅图像之间的相似度来评估映射；基于胃癌数字病理切片的配准结果，对her2肿瘤细胞区域图像按照10倍镜视野切分为256*256的小patch训练图像块，富有经验的病理医生对训练图像块进行0、1 、2 、3 的分类，将筛选好的图像进行颜色归一化和数据扩增处理，最终送入分类网络训练，由分类器得出分类结果，输出每个类别的百分比，测试分类器，根据这些百分比（患者级别）输出her2分数；最后，根据各个类别的百分比，输入svm分类器，得出要不要做fish的建议。流程框架如图1所示。
21.本发明具体实现步骤如下：1、分割he图像胃癌细胞构建并训练unet分割模型，并根据训练后的分割模型得到切片上胃癌区域的分割结果。由于输入网络结构的病理图像分辨率较高，对conv layers进行改进，采用conv relu pooling层提取feature maps，在encode部分，采用多尺度输入的方法，增加尺度信息，并加入了空间注意力机制和通道注意力机制，提升分割准确率。不是图像中所有的区域对任务的贡献都是同样重要的，只有任务相关的区域才是需要关心的，比如胃癌分割任务的主体，空间注意力模型就是寻找网络中最重要的部位即癌症部分进行处理。通道注意力机制的本质，在于建模了各个特征之间的重要性，对于不同的任务可以根据输入进行特征分配，简单而有效。
22.2、her2免疫组化图像与he图像配准本发明设计了一种基于胃癌免疫组化和病理切片快速配准的算法。算法工作原理：有一个参考（固定图像）即he图像，和一个对象（运动图像）即her2图像，将运动图像映射到固定图像，并通过测量两幅图像之间的相似度来评估映射，对配准算法进行优化，直到映射被视为最佳，这种映射是以成本决定达到可接受值或在最大迭代次数后停止。配准算法流程图如图2所示。
23.3、her2免疫组化图像级别分类
基于配准结果，将癌变区域裁剪为256*256大小的补丁，并让病理专家对图像块进行图像级别分类得到训练样本。在神经网络设计层面，网络分支能够有效提高模型的精度，而单支路架构速度非常快，减少分支可以加快模型推理速度，本发明引入了结构重参数化思想，训练模型使用多支路架构，推理模型结构是通过对训练模型的结构重参数化得到的单支路架构，这样既可以达到多分支的精度并且拥有单支路的速度。训练模型架构，采用多分支架构，大量实验结果表明，resnet网络能够提取到鲁棒的特征表示，学习resnet网络的残差结构，通过改进在简单的3*3卷积模块中加入identity和残差分支，有效提高精度。由于3*3卷积速度非常快，在gpu上，3*3卷积的计算密度可达1*1和5*5卷积的四倍，在模型推理阶段，通过融合策略将所有的网络都转换为3*3卷积，便于模型的部署和加速。网络图如图3所示。
24.4、her2免疫组化图像患者级别her2评分加载训练好的网络，将整张病理切片输入重参数化后的部署模型，执行模型的推理，输出0、1 、2 、3 ，计算各个类别百分比，定义her2分数。将各个类别百分比输出得出向量，并画出柱状图得到可视化效果，将该信息送入svm分类器，输出做不做fish的建议，提供医生参考。
25.本发明方法应用产品使用方式如下：如图1所示，本发明首先构建并训练unet分割模型，并根据训练后的分割模型得到切片上胃癌区域的分割结果。研究了一种基于he染色图像和her2免疫组化切片的胃癌数字病理切片配准方法，将运动图像映射到固定图像，并通过测量两幅图像之间的相似度来评估映射。其次，基于胃癌数字病理切片的配准结果，对her2肿瘤细胞区域图像按照10倍镜视野切分为256*256的小patch训练图像块。富有经验的病理医生对训练图像块进行0、1 、2 、3 的分类，将筛选好的图像进行颜色归一化和数据扩增处理，最终送入分类网络训练，由分类器得出分类结果，输出每个类别的百分比，测试分类器，根据这些百分比（患者级别）输出her2分数并得到要不要做fish的建议。具体流程如下：（1）通过医院病理科的专业胃癌病理切片数字化扫描设备，得到胃癌全数字病理切片图像。整合患者信息，构建胃癌数字病理切片数据库。
26.（2）对获得的胃癌数字病理切片进行图像预处理，由于不同的染片工艺，每个技术人员或技术差异可能会使得图片有较大的差异，图像切片可能存在伪影、噪声、白片、组织缺失、撕裂等问题，通过设置阈值消除图像中的无关信息，并对图像进行归一化、几何变换、图像增强，增强有关信息的可检测性。
27.（3）基于unit网络分割he图像胃癌细胞，采用多尺度输入的方法，增加尺度信息，并加入了空间注意力机制和通道注意力机制，提升分割准确率，输出癌变细胞所在区域。
28.（4）将预处理后的he图像和her2图像分别作为固定图像和运动图像，将运动图像映射到固定图像，并通过测量两幅图像之间的相似度来评估映射，对配准算法进行优化，直到映射被视为最佳，这种映射是以成本决定达到可接受值或在最大迭代次数后停止。
29.（5）基于配准结果，将her2图像癌变区域裁剪为256*256大小的补丁，并让病理专家对图像块进行图像级别分类得到训练样本，严格按照要求分成0、1 、2 、3 。并将训练样本数据集按照9:1进行训练集和验证集的数据划分。
30.（6）将训练样本输入卷积神经网络dcnn，训练神经网络，通过改进在简单的3*3卷
积模块中加入identity和残差分支，对训练模型进行重参数化，重构分为三步，第一步，融合卷积层和bn层，再对融合后的1
×
1卷积和identity进行补零（类似padding操作）扩展成3
×
3大小的卷积核；第二步，在输出维度第零维做concat，将4个3
×
3卷积合并为一个；第三步，完成结构重参数化，得到单支路部署模型，将训练好的网络转换成参数量较少的部署网络。
31.（7）将整张病理切片送入部署网络，输出0、1 、2 、3 图像级别分类，计算各个类别比例，根据各类别比例评定患者级别her2分数，画出柱状图得到可视化效果，将该信息送入svm分类器，输出做不做fish的建议，提供医生参考。
32.以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。