OCT三维图像分类方法、系统、计算机装置及存储介质与流程

oct三维图像分类方法、系统、计算机装置及存储介质
技术领域
1.本发明涉及图像处理技术领域，尤其是一种oct三维图像分类方法、系统、计算机装置及存储介质。


背景技术：

2.光学相干断层扫描技术（optical coherence tomography，oct）是近年来迅速发展起来的一种成像技术，它利用光的相干性，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织的三维结构图像。
3.现有技术中对于oct三维图像的分类通常有两类方法：一是直接对已知类型的oct三维图像进行标注，然后根据得到的oct三维图像样本训练用于oct三维图像分类的神经网络，而oct三维图像通常由成百上千的b-scan（横断面扫描）图像组成，直接处理高分辨率的oct三维图像对系统算力的要求较高，模型训练和分类的效率低下；二是对已知类型的oct三维图像的b-scan图像进行标注，然后训练用于b-scan图像分类的神经网络，根据b-scan图像分类的结果确定oct三维图像的分类结果，然而这种方法往往直接采用oct三维图像的类型作为b-scan图像的标签，但当oct三维图像类型为异常时，往往仅有一部分b-scan图像存在相应的异常特征，另一部分b-scan图像则并无该异常特征，从而导致训练样本的标签不准确，影响了b-scan图像分类的准确度，进而影响了oct三维图像分类的准确度。


技术实现要素：

4.本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
5.为此，本发明实施例的一个目的在于提供一种准确、高效的oct三维图像分类方法。
6.本发明实施例的另一个目的在于提供一种oct三维图像分类系统。
7.为了达到上述技术目的，本发明实施例所采取的技术方案包括：一方面，本发明实施例提供了一种oct三维图像分类方法，包括以下步骤：获取多个第一oct三维图像和对应的图像类型，确定所述第一oct三维图像的多个第一b-scan图像，并根据所述图像类型对所述第一b-scan图像进行标注得到b-scan标签，进而根据所述第一b-scan图像和所述b-scan标签训练得到第一b-scan分类模型；根据所述第一b-scan分类模型对所述第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，所述第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，所述第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像；确定所述第二b-scan图像的第二纹理特征向量以及所述第三b-scan图像的第三纹理特征向量，并确定所述第二纹理特征向量与所述第三纹理特征向量的余弦相似度，进而根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像；
根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置，根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型；获取待分类的第二oct三维图像的多个待分类b-scan图像，将所述待分类b-scan图像输入到所述第二b-scan分类模型中，得到所述待分类b-scan图像的b-scan分类结果，进而根据所述b-scan分类结果确定所述第二oct三维图像的分类结果。
8.进一步地，在本发明的一个实施例中，所述根据所述第一b-scan图像和所述b-scan标签训练得到第一b-scan分类模型这一步骤，其具体包括：根据所述第一b-scan图像和所述b-scan标签确定多个训练样本，并根据所述训练样本确定训练样本集；将所述训练样本集输入到预先构建的胶囊神经网络中进行训练，得到所述第一b-scan分类模型；所述胶囊神经网络包括卷积层、主胶囊层、数字胶囊层以及全连接层，所述卷积层用于对所述训练样本进行卷积处理得到多个样本特征子图，所述主胶囊层用于根据所述样本特征子图确定多个向量神经元，所述数字胶囊层用于通过动态路由算法计算各所述向量神经元的激活向量，所述全连接层用于根据所述激活向量的模长确定所述训练样本的分类结果。
9.进一步地，在本发明的一个实施例中，所述确定所述第二b-scan图像的第二纹理特征向量这一步骤，其具体包括：对所述第二b-scan图像进行gabor小波变换得到第二纹理图像；确定所述第二纹理图像的第一均值和第一方差，进而根据所述第一均值和所述第一方差确定所述第二纹理特征向量。
10.进一步地，在本发明的一个实施例中，所述根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像这一步骤，其具体为：当所述余弦相似度大于或等于预设的第一阈值，确定所述第三纹理特征向量对应的第三b-scan图像为所述第二纹理特征向量对应的第二b-scan图像的相似b-scan图像；或，根据所述余弦相似度对所述第三纹理特征向量进行排序得到纹理特征向量序列，所述纹理特征向量序列中的第三纹理特征向量按照对应的余弦相似度从大到小的顺序依次排列，当所述第三纹理特征向量的排序值小于或等于预设的第二阈值，确定所述第三纹理特征向量对应的第三b-scan图像为所述第二纹理特征向量对应的第二b-scan图像的相似b-scan图像。
11.进一步地，在本发明的一个实施例中，所述根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置这一步骤，其具体包括：确定所述相似b-scan图像的b-scan标签中各个类型的b-scan标签的出现频率；选取出现频率最高的b-scan标签作为优化标签，并将所述第二b-scan图像的b-scan标签重置为所述优化标签。
12.进一步地，在本发明的一个实施例中，所述根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan
分类模型这一步骤，其具体包括：根据所述第三b-scan图像和标签重置后的第二b-scan图像确定多个优化样本，并根据所述优化样本确定优化样本集；将所述优化样本集输入到所述第一b-scan分类模型中进行训练，得到优化b-scan分类模型；根据所述优化b-scan分类模型对所述优化样本进行分类，确定分类结果与对应的b-scan标签不一致的优化样本为第四b-scan图像，并计算所述第四b-scan图像的数量与所述优化样本的总数量的第一比值；当所述第一比值大于或等于预设的第三阈值，对所述第四b-scan图像进行标签重置，根据标签重置的结果重新确定优化样本集并返回将所述优化样本集输入到所述第一b-scan分类模型中进行训练，得到优化b-scan分类模型这一步骤；当所述第一比值小于预设的第三阈值，停止训练，得到训练好的第二b-scan分类模型。
13.进一步地，在本发明的一个实施例中，所述b-scan分类结果包括正常b-scan图片和多个不同异常类型的异常b-scan图片，所述根据所述b-scan分类结果确定所述第二oct三维图像的分类结果这一步骤，其具体包括：根据所述b-scan分类结果确定所述异常b-scan图片的数量，并计算所述异常b-scan图片的数量与所述待分类b-scan图像的总数量的第二比值；当所述第二比值大于或等于预设的第四阈值，确定所述第二oct三维图像为异常oct三维图像，并根据所述异常b-scan图片中出现频率最高的异常类型确定所述第二oct三维图像的异常类型；当所述第二比值小于预设的第四阈值，确定所述第二oct三维图像为正常oct三维图像。
14.另一方面，本发明实施例提供了一种oct三维图像分类系统，包括：第一b-scan分类模型训练模块，用于获取多个第一oct三维图像和对应的图像类型，确定所述第一oct三维图像的多个第一b-scan图像，并根据所述图像类型对所述第一b-scan图像进行标注得到b-scan标签，进而根据所述第一b-scan图像和所述b-scan标签训练得到第一b-scan分类模型；第一b-scan图像分类模块，用于根据所述第一b-scan分类模型对所述第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，所述第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，所述第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像；相似b-scan图像确定模块，用于确定所述第二b-scan图像的第二纹理特征向量以及所述第三b-scan图像的第三纹理特征向量，并确定所述第二纹理特征向量与所述第三纹理特征向量的余弦相似度，进而根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像；标签重置与模型优化模块，用于根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置，根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型；
第二oct三维图像分类模块，用于获取待分类的第二oct三维图像的多个待分类b-scan图像，将所述待分类b-scan图像输入到所述第二b-scan分类模型中，得到所述待分类b-scan图像的b-scan分类结果，进而根据所述b-scan分类结果确定所述第二oct三维图像的分类结果。
15.另一方面，本发明实施例提供了一种计算机装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现前面所述的一种oct三维图像分类方法。
16.另一方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行前面所述的一种oct三维图像分类方法。
17.本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：本发明实施例先根据第一oct三维图像的图像类型对第一b-scan图像进行预标注，根据预标注的第一b-scan图像训练得到第一b-scan分类模型；再根据第一b-scan分类模型对第一b-scan图像进行分类，根据分类结果与b-scan标签是否一致分别确定第三b-scan图像和第二b-scan图像；然后根据两者的纹理特征向量的余弦相似度筛选出第二b-scan图像的相似b-scan图像；再根据相似b-scan图像的b-scan标签对第二b-scan图像进行标签重置，并对第一b-scan分类模型进行模型优化，得到第二b-scan分类模型；最后根据第二b-scan分类模型对第二oct三维图像的待分类b-scan图像进行分类，进而可以根据待分类b-scan图像的分类结果确定第二oct三维图像的分类结果。本发明实施例根据模型分类结果与b-scan标签是否一致筛选出标签可能不准确的训练样本，然后根据相似b-scan图像的标签对其进行标签重置，使得重置后的标签更加准确，提高了b-scan图像分类的准确度，进而提高了oct三维图像分类的准确度；通过两者的纹理特征向量的余弦相似度确定第二b-scan图像的相似b-scan图像，使得相似b-scan图像与第二b-scan图像在纹理特征上高度相似，一定程度上提高了重置标签的准确度，从而进一步提高了b-scan图像分类和oct三维图像分类的准确度；通过标签重置和模型优化的交替迭代，优化了训练样本的标签和模型参数，提高了第二b-scan分类模型的分类精度，从而进一步提高了oct三维图像分类的准确度；此外，本发明实施例无需直接处理高分辨率的oct三维图像，降低了对系统算力的要求，提高了模型训练和分类的效率。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
19.图1为本发明实施例提供的一种oct三维图像分类方法的步骤流程图；图2为本发明实施例提供的一种oct三维图像分类方法的具体流程示意图；
图3为本发明实施例提供的一种oct三维图像分类系统的结构框图；图4为本发明实施例提供的一种计算机装置的结构框图。
具体实施方式
20.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
21.在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
22.参照图1，本发明实施例提供了一种oct三维图像分类方法，具体包括以下步骤：s101、获取多个第一oct三维图像和对应的图像类型，确定第一oct三维图像的多个第一b-scan图像，并根据图像类型对第一b-scan图像进行标注得到b-scan标签，进而根据第一b-scan图像和b-scan标签训练得到第一b-scan分类模型。
23.具体地，第一oct三维图像为已知图像类型的oct三维图像，可通过人工标注确定其图像类型为正常或具体的异常类型，然后根据图像类型对第一oct三维图像的所有b-scan图像（即第一b-scan图像）进行标注得到b-scan标签。
24.可以理解的是，oct三维图像包含大量b-scan图像，因此通过对oct三维图像的人工标注可以获得足够的b-scan图像作为后续的训练样本；当oct三维图像类型为异常时，往往仅有一部分b-scan图像存在相应的异常特征，另一部分b-scan图像则并无该异常特征，从而导致目前训练样本的标签并不准确，基于此，本发明实施例将在后续的步骤对其进行标签重置。
25.进一步作为可选的实施方式，根据第一b-scan图像和b-scan标签训练得到第一b-scan分类模型这一步骤，其具体包括：a1、根据第一b-scan图像和b-scan标签确定多个训练样本，并根据训练样本确定训练样本集；a2、将训练样本集输入到预先构建的胶囊神经网络中进行训练，得到第一b-scan分类模型；胶囊神经网络包括卷积层、主胶囊层、数字胶囊层以及全连接层，卷积层用于对训练样本进行卷积处理得到多个样本特征子图，主胶囊层用于根据样本特征子图确定多个向量神经元，数字胶囊层用于通过动态路由算法计算各向量神经元的激活向量，全连接层用于根据激活向量的模长确定训练样本的分类结果。
26.具体地，胶囊神经网络被认定为可以替换传统神经网络的一种新的神经网络，胶囊的设计更符合人类神经元的原理。虽然随着卷积网络的层数的加深，网络可以学到涵括全局的上下文信息，然后利用这些信息进行预测，但实际上，因为卷积是局部连接和并且参数共享，并没有考虑特征之间的相互关联和相互位置关系，cnn中其实没有可用的空间信
息，因此在图像分类和识别中并不能将特征之间的关联和空间位置关系作为判定条件。本发明实施例的胶囊神经网络在卷积层后加入主胶囊层和数字胶囊层，将卷积层的标量数据，进行维度扩展，将图像中所提取到的特征互相关联起来，有利于从整体进行最终的分类判定，进一步提高了oct三维图像分类的准确度。
27.下面对本发明实施例采用的胶囊神经网络进行介绍。
28.具体地，神经元是神经网络的基本单元，胶囊是胶囊神经网络的基本单元。仅使用神经元进行预测时，最终输出结果只有具体的分类概率值，难以说明神经元具体的识别过程；当用胶囊的形式将多个具有相同识别特性的神经元进行组合后，可用多维向量的形式输出最终预测结果，该多维向量的模长则表示对应的预测概率值，向量的方向表示具体特征在图像中的方位，包括特征子图的方向、大小和宽度等位置信息。
29.在模型训练时，首先是按照标签类别将特征子图导入到胶囊神经网络中，然后通过卷积层进行卷积操作。卷积层的参数由一系列可以迭代学习的滤波器构成，每个滤波器在宽度和高度上都比较小，可设置为3*3，输入和数据维度保持一致。当滤波器沿着图像的宽和高移动时，会生成一个二维的激活子图，每个滤波器会有一整个滤波器的集合，会形成多个激活子图。
30.然后进行胶囊卷积和胶囊输出。胶囊输出为设定数目的胶囊层的向量输出，无法直接读取分类结果，需要在后续运算中取其模长判断类型。将胶囊输出的结果向量中维度为1的维度去掉，达到维度一致的作用。再将处理后的结果运用全连接层进行分类结果的判定。
31.全连接层在后续运算中起到“分类器”的作用。网络的最后一层作为全连接层的输入，可以选择sigmoid激活函数。根据输入样本数和类别数判定全连接层最终的输出维度，以二维数组的形式展示最终的输出向量结果，该输出向量的长度表示对应类别的概率值。
32.可以理解的是，本发明实施例中对胶囊神经网络进行训练达到预设的次数之后，即可得到第一b-scan分类模型，后续完成标签重置后再继续训练。
33.s102、根据第一b-scan分类模型对第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像。
34.具体地，由于在对第一b-scan图像进行标注时采用的是oct三维图像的图像类别，导致第一b-scan图像的标签并不完全准确，因此本发明实施例在初步训练得到第一b-scan分类模型后，根据第一b-scan分类模型对第一b-scan图像的分类结果与对应的b-scan标签是否一致来筛选出标签可能不准确的第一b-scan图像，并在后续的步骤对其进行标签重置。
35.s103、确定第二b-scan图像的第二纹理特征向量以及第三b-scan图像的第三纹理特征向量，并确定第二纹理特征向量与第三纹理特征向量的余弦相似度，进而根据余弦相似度从第三b-scan图像中筛选出第二b-scan图像的若干个相似b-scan图像。
36.具体地，纹理特征是一种全局特征，它描述了图像或图像区域所对应物体的表面性质，需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功；此外，作为一种统计特征，纹理特
征具有旋转不变性，并且对于噪声有较强的抵抗能力。
37.余弦相似度，又称为余弦相似性，是通过测量两个向量的夹角的余弦值来度量它们之间的相似性，可通过下式进行计算：其中，similarity表示余弦相似度，θ表示向量a和b的夹角。
38.当两个向量有相同的指向时，余弦相似度的值为1；当两个向量夹角为90
°
时，余弦相似度的值为0；当两个向量指向完全相反的方向时，余弦相似度的值为-1。余弦相似度通常用于高维正空间，因此其取值范围是[-1，1]。对于高维特征向量，它们在特征空间中的欧氏距离通常很大，而如果使用余弦相似度的话，它们之间的夹角可能很小，因而相似度高。此外，在文本、图像、视频等领域，研究的对象的特征维度往往很高，余弦相似度在高维情况下依然保持“相同时为1，正交时为0，相反时为-1”的性质，而欧氏距离的数值则受维度的影响，范围不固定，并且含义也比较模糊。
[0039]
可以理解的是，本发明实施例中对第二b-scan图像和第三b-scan图像进行纹理特征提取得到第二纹理特征向量和第三纹理特征向量，然后对于每一个第二纹理特征向量，计算所有第三纹理特征向量与其的余弦相似度，然后根据余弦相似度的大小筛选出第二b-scan图像的相似b-scan图像。
[0040]
进一步作为可选的实施方式，确定第二b-scan图像的第二纹理特征向量这一步骤，其具体包括：b1、对第二b-scan图像进行gabor小波变换得到第二纹理图像；b2、确定第二纹理图像的第一均值和第一方差，进而根据第一均值和第一方差确定第二纹理特征向量。
[0041]
具体地，gabor小波是一种重要的纹理特征提取方法，利用其基函数的正交性，gabor小波不仅可以有效地提取纹理特征, 而且可以消除冗余信息。
[0042]
gabor小波可以看作母小波是gabor函数的小波变换。假设用i (x, y) 表示第二b-scan图像的像素点, 那么该图像的二维离散gabor小波变换可以表示为：其中，w
mn
（x，y）表示第二纹理图像的像素点，x和y表示像素在图像中的位置，m和n分别表示小波变换的尺度和方向，m的取值范围为0,1,
⋯
,m，n的取值范围为0,1,
⋯
,n，g
mn
表示gabor小波变换函数，x1和y1表示gabor滤波器的掩模尺寸变量，*表示共轭复数。
[0043]
第一均值和第一方差可以表示为：第一均值和第一方差可以表示为：其中，μ
mn
表示第一均值，σ
mn
表示第一方差。
[0044]
第二纹理特征向量可以表示为：tfc=[μ
00
，σ
00
，μ
01
，σ
01
，
⋯
，μ
mn
，σ
mn
]其中，tfc表示第二纹理特征向量。
[0045]
同样地，基于上述计算过程也可以得到第三纹理特征向量，在此不做赘述。
[0046]
进一步作为可选的实施方式，根据余弦相似度从第三b-scan图像中筛选出第二b-scan图像的若干个相似b-scan图像这一步骤，其具体为：当余弦相似度大于或等于预设的第一阈值，确定第三纹理特征向量对应的第三b-scan图像为第二纹理特征向量对应的第二b-scan图像的相似b-scan图像；或，根据余弦相似度对第三纹理特征向量进行排序得到纹理特征向量序列，纹理特征向量序列中的第三纹理特征向量按照对应的余弦相似度从大到小的顺序依次排列，当第三纹理特征向量的排序值小于或等于预设的第二阈值，确定第三纹理特征向量对应的第三b-scan图像为第二纹理特征向量对应的第二b-scan图像的相似b-scan图像。
[0047]
具体地，筛选相似b-scan图像有两种实施方式，第一种是当余弦相似度大于或等于第一阈值时，确定对应的第三b-scan图像为相似b-scan图像，这种方式的优点在于可根据第一阈值的设置把控相似b-scan图像的相似程度；第二种是根据余弦相似度的大小从大到小进行排序，选取排在前若干位的第三b-scan图像为相似b-scan图像，这种方式的优点在于可根据第二阈值的设置把控相似b-scan图像的数目。
[0048]
本发明实施例中，第一阈值用于筛选余弦相似度较大的第三b-scan图像，第一阈值可取0.75；第二阈值用于筛选在纹理特征向量序列中排序值较小的第三b-scan图像，第二阈值可取100、200、300等数值；在实际的应用中，可根据具体情况选用合适的筛选方式和合适的阈值。
[0049]
s104、根据相似b-scan图像的b-scan标签对第二b-scan图像进行标签重置，根据第三b-scan图像和标签重置后的第二b-scan图像对第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型。
[0050]
进一步作为可选的实施方式，根据相似b-scan图像的b-scan标签对第二b-scan图像进行标签重置这一步骤，其具体包括：c1、确定相似b-scan图像的b-scan标签中各个类型的b-scan标签的出现频率；c2、选取出现频率最高的b-scan标签作为优化标签，并将第二b-scan图像的b-scan标签重置为优化标签。
[0051]
具体地，标签重置的过程即为对标签重新赋值的过程，本发明实施例中，针对每一个第二b-scan图像，选取其相似b-scan图像的b-scan标签中出现频率最高的b-scan标签作为优化标签，将该第二b-scan图像的标签重置为新的优化标签，这样即完成了该次迭代中对该第二b-scan图像的标签重置。当所有第二b-scan图像的标签均已重置完成，即可进行模型优化。
[0052]
进一步作为可选的实施方式，根据第三b-scan图像和标签重置后的第二b-scan图像对第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型这一步骤，其具体包括：d1、根据第三b-scan图像和标签重置后的第二b-scan图像确定多个优化样本，并
根据优化样本确定优化样本集；d2、将优化样本集输入到第一b-scan分类模型中进行训练，得到优化b-scan分类模型；d3、根据优化b-scan分类模型对优化样本进行分类，确定分类结果与对应的b-scan标签不一致的优化样本为第四b-scan图像，并计算第四b-scan图像的数量与优化样本的总数量的第一比值；d4、当第一比值大于或等于预设的第三阈值，对第四b-scan图像进行标签重置，根据标签重置的结果重新确定优化样本集并返回将优化样本集输入到第一b-scan分类模型中进行训练，得到优化b-scan分类模型这一步骤；d5、当第一比值小于预设的第三阈值，停止训练，得到训练好的第二b-scan分类模型。
[0053]
本发明实施例中，模型优化的收敛条件为分类结果与对应的b-scan标签不一致的优化样本的数量与优化样本总数量的比值低于预设的第三阈值（如百分之0.1），当达到该收敛条件即可停止优化并输出训练好的第二b-scan分类模型；当未达到该收敛条件时，需要再次对分类结果与对应的b-scan标签不一致的优化样本进行标签重置，并再次进行模型优化，直至达到该收敛条件。
[0054]
s105、获取待分类的第二oct三维图像的多个待分类b-scan图像，将待分类b-scan图像输入到第二b-scan分类模型中，得到待分类b-scan图像的b-scan分类结果，进而根据b-scan分类结果确定第二oct三维图像的分类结果。
[0055]
进一步作为可选的实施方式，b-scan分类结果包括正常b-scan图片和多个不同异常类型的异常b-scan图片，根据b-scan分类结果确定第二oct三维图像的分类结果这一步骤，其具体包括：e1、根据b-scan分类结果确定异常b-scan图片的数量，并计算异常b-scan图片的数量与待分类b-scan图像的总数量的第二比值；e2、当第二比值大于或等于预设的第四阈值，确定第二oct三维图像为异常oct三维图像，并根据异常b-scan图片中出现频率最高的异常类型确定第二oct三维图像的异常类型；e3、当第二比值小于预设的第四阈值，确定第二oct三维图像为正常oct三维图像。
[0056]
具体地，由于待分类的第二oct三维图像中可能包含大量正常的b-scan图片和少量异常的b-scan图片，若直接根据b-scan图片的分类结果中出现频率最高的类型确定第二oct三维图像的图像类型，则很可能会将原本属于异常的第二oct三维图像分类为正常，因此，本发明实施例预先设定一个第四阈值（如百分之十）用于判定第二oct三维图像是否存在异常，当异常b-scan图片的数量与待分类b-scan图像的总数量的比值大于或等于该阈值时，即可确定第二oct三维图像为异常，进而再根据异常b-scan图片中出现频率最高的异常类型确定第二oct三维图像的异常类型，从而进一步提高了oct三维图像分类的准确度。
[0057]
以上对本发明实施例的方法步骤进行了说明，下面结合一具体实施例对本发明的oct三维图像分类方法的具体实施流程做进一步介绍。
[0058]
如图2所示为本发明实施例提供的一种oct三维图像分类方法的具体流程示意图，本发明实施例先根据第一oct三维图像的图像类型对第一b-scan图像进行预标注，根据预
标注的第一b-scan图像确定训练样本集，输入胶囊神经网络训练得到第一b-scan分类模型；再根据第一b-scan分类模型对第一b-scan图像进行分类，根据分类结果与b-scan标签是否一致分别确定第三b-scan图像和第二b-scan图像；对第三b-scan图像和第二b-scan图像进行gabor小波变换得到第三纹理特征向量和第二纹理特征向量，然后根据两者的余弦相似度筛选出第二b-scan图像的相似b-scan图像；再根据相似b-scan图像的b-scan标签对第二b-scan图像进行标签重置，并对第一b-scan分类模型进行模型优化，迭代进行标签重置和模型优化直至达到预设的收敛条件，得到第二b-scan分类模型；最后根据第二b-scan分类模型对第二oct三维图像的待分类b-scan图像进行分类，进而可以根据待分类b-scan图像的分类结果确定第二oct三维图像的分类结果。
[0059]
可以理解的是，本发明实施例根据模型分类结果与b-scan标签是否一致筛选出标签可能不准确的训练样本，然后根据相似b-scan图像的标签对其进行标签重置，使得重置后的标签更加准确，提高了b-scan图像分类的准确度，进而提高了oct三维图像分类的准确度；通过两者的纹理特征向量的余弦相似度确定第二b-scan图像的相似b-scan图像，使得相似b-scan图像与第二b-scan图像在纹理特征上高度相似，一定程度上提高了重置标签的准确度，从而进一步提高了b-scan图像分类和oct三维图像分类的准确度；通过标签重置和模型优化的交替迭代，优化了训练样本的标签和模型参数，提高了第二b-scan分类模型的分类精度，从而进一步提高了oct三维图像分类的准确度；此外，本发明实施例无需直接处理高分辨率的oct三维图像，降低了对系统算力的要求，提高了模型训练和分类的效率。
[0060]
参照图3，本发明实施例提供了一种oct三维图像分类系统，包括：第一b-scan分类模型训练模块，用于获取多个第一oct三维图像和对应的图像类型，确定第一oct三维图像的多个第一b-scan图像，并根据图像类型对第一b-scan图像进行标注得到b-scan标签，进而根据第一b-scan图像和b-scan标签训练得到第一b-scan分类模型；第一b-scan图像分类模块，用于根据第一b-scan分类模型对第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像；相似b-scan图像确定模块，用于确定第二b-scan图像的第二纹理特征向量以及第三b-scan图像的第三纹理特征向量，并确定第二纹理特征向量与第三纹理特征向量的余弦相似度，进而根据余弦相似度从第三b-scan图像中筛选出第二b-scan图像的若干个相似b-scan图像；标签重置与模型优化模块，用于根据相似b-scan图像的b-scan标签对第二b-scan图像进行标签重置，根据第三b-scan图像和标签重置后的第二b-scan图像对第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型；第二oct三维图像分类模块，用于获取待分类的第二oct三维图像的多个待分类b-scan图像，将待分类b-scan图像输入到第二b-scan分类模型中，得到待分类b-scan图像的b-scan分类结果，进而根据b-scan分类结果确定第二oct三维图像的分类结果。
[0061]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也
相同。
[0062]
参照图4，本发明实施例提供了一种计算机装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现前面的一种oct三维图像分类方法。
[0063]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0064]
本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行前面的一种oct三维图像分类方法。
[0065]
本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种oct三维图像分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0066]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0067]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0068]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0069]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存
储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0070]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0071]
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
[0072]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
[0073]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0074]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0075]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种oct三维图像分类方法，其特征在于，包括以下步骤：获取多个第一oct三维图像和对应的图像类型，确定所述第一oct三维图像的多个第一b-scan图像，并根据所述图像类型对所述第一b-scan图像进行标注得到b-scan标签，进而根据所述第一b-scan图像和所述b-scan标签训练得到第一b-scan分类模型；根据所述第一b-scan分类模型对所述第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，所述第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，所述第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像；确定所述第二b-scan图像的第二纹理特征向量以及所述第三b-scan图像的第三纹理特征向量，并确定所述第二纹理特征向量与所述第三纹理特征向量的余弦相似度，进而根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像；根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置，根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型；获取待分类的第二oct三维图像的多个待分类b-scan图像，将所述待分类b-scan图像输入到所述第二b-scan分类模型中，得到所述待分类b-scan图像的b-scan分类结果，进而根据所述b-scan分类结果确定所述第二oct三维图像的分类结果。2.根据权利要求1所述的一种oct三维图像分类方法，其特征在于，所述根据所述第一b-scan图像和所述b-scan标签训练得到第一b-scan分类模型这一步骤，其具体包括：根据所述第一b-scan图像和所述b-scan标签确定多个训练样本，并根据所述训练样本确定训练样本集；将所述训练样本集输入到预先构建的胶囊神经网络中进行训练，得到所述第一b-scan分类模型；所述胶囊神经网络包括卷积层、主胶囊层、数字胶囊层以及全连接层，所述卷积层用于对所述训练样本进行卷积处理得到多个样本特征子图，所述主胶囊层用于根据所述样本特征子图确定多个向量神经元，所述数字胶囊层用于通过动态路由算法计算各所述向量神经元的激活向量，所述全连接层用于根据所述激活向量的模长确定所述训练样本的分类结果。3.根据权利要求1所述的一种oct三维图像分类方法，其特征在于，所述确定所述第二b-scan图像的第二纹理特征向量这一步骤，其具体包括：对所述第二b-scan图像进行gabor小波变换得到第二纹理图像；确定所述第二纹理图像的第一均值和第一方差，进而根据所述第一均值和所述第一方差确定所述第二纹理特征向量。4.根据权利要求1所述的一种oct三维图像分类方法，其特征在于，所述根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像这一步骤，其具体为：当所述余弦相似度大于或等于预设的第一阈值，确定所述第三纹理特征向量对应的第三b-scan图像为所述第二纹理特征向量对应的第二b-scan图像的相似b-scan图像；
或，根据所述余弦相似度对所述第三纹理特征向量进行排序得到纹理特征向量序列，所述纹理特征向量序列中的第三纹理特征向量按照对应的余弦相似度从大到小的顺序依次排列，当所述第三纹理特征向量的排序值小于或等于预设的第二阈值，确定所述第三纹理特征向量对应的第三b-scan图像为所述第二纹理特征向量对应的第二b-scan图像的相似b-scan图像。5.根据权利要求1所述的一种oct三维图像分类方法，其特征在于，所述根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置这一步骤，其具体包括：确定所述相似b-scan图像的b-scan标签中各个类型的b-scan标签的出现频率；选取出现频率最高的b-scan标签作为优化标签，并将所述第二b-scan图像的b-scan标签重置为所述优化标签。6.根据权利要求1所述的一种oct三维图像分类方法，其特征在于，所述根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型这一步骤，其具体包括：根据所述第三b-scan图像和标签重置后的第二b-scan图像确定多个优化样本，并根据所述优化样本确定优化样本集；将所述优化样本集输入到所述第一b-scan分类模型中进行训练，得到优化b-scan分类模型；根据所述优化b-scan分类模型对所述优化样本进行分类，确定分类结果与对应的b-scan标签不一致的优化样本为第四b-scan图像，并计算所述第四b-scan图像的数量与所述优化样本的总数量的第一比值；当所述第一比值大于或等于预设的第三阈值，对所述第四b-scan图像进行标签重置，根据标签重置的结果重新确定优化样本集并返回将所述优化样本集输入到所述第一b-scan分类模型中进行训练，得到优化b-scan分类模型这一步骤；当所述第一比值小于预设的第三阈值，停止训练，得到训练好的第二b-scan分类模型。7.根据权利要求1至6中任一项所述的一种oct三维图像分类方法，其特征在于，所述b-scan分类结果包括正常b-scan图片和多个不同异常类型的异常b-scan图片，所述根据所述b-scan分类结果确定所述第二oct三维图像的分类结果这一步骤，其具体包括：根据所述b-scan分类结果确定所述异常b-scan图片的数量，并计算所述异常b-scan图片的数量与所述待分类b-scan图像的总数量的第二比值；当所述第二比值大于或等于预设的第四阈值，确定所述第二oct三维图像为异常oct三维图像，并根据所述异常b-scan图片中出现频率最高的异常类型确定所述第二oct三维图像的异常类型；当所述第二比值小于预设的第四阈值，确定所述第二oct三维图像为正常oct三维图像。8.一种oct三维图像分类系统，其特征在于，包括：第一b-scan分类模型训练模块，用于获取多个第一oct三维图像和对应的图像类型，确定所述第一oct三维图像的多个第一b-scan图像，并根据所述图像类型对所述第一b-scan图像进行标注得到b-scan标签，进而根据所述第一b-scan图像和所述b-scan标签训练得到
第一b-scan分类模型；第一b-scan图像分类模块，用于根据所述第一b-scan分类模型对所述第一b-scan图像进行图像分类，并根据分类结果确定第二b-scan图像和第三b-scan图像，所述第二b-scan图像为分类结果与对应的b-scan标签不一致的第一b-scan图像，所述第三b-scan图像为分类结果与对应的b-scan标签一致的第一b-scan图像；相似b-scan图像确定模块，用于确定所述第二b-scan图像的第二纹理特征向量以及所述第三b-scan图像的第三纹理特征向量，并确定所述第二纹理特征向量与所述第三纹理特征向量的余弦相似度，进而根据所述余弦相似度从所述第三b-scan图像中筛选出所述第二b-scan图像的若干个相似b-scan图像；标签重置与模型优化模块，用于根据所述相似b-scan图像的b-scan标签对所述第二b-scan图像进行标签重置，根据所述第三b-scan图像和标签重置后的第二b-scan图像对所述第一b-scan分类模型进行模型优化，得到训练好的第二b-scan分类模型；第二oct三维图像分类模块，用于获取待分类的第二oct三维图像的多个待分类b-scan图像，将所述待分类b-scan图像输入到所述第二b-scan分类模型中，得到所述待分类b-scan图像的b-scan分类结果，进而根据所述b-scan分类结果确定所述第二oct三维图像的分类结果。9.一种计算机装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7中任一项所述的一种oct三维图像分类方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的一种oct三维图像分类方法。

技术总结
本发明公开了OCT三维图像分类方法、系统、计算机装置及存储介质，方法包括：根据第一OCT三维图像的图像类型对第一B-scan图像进行标注，训练得到第一B-scan分类模型；根据第一B-scan分类模型对第一B-scan图像进行分类，根据分类结果与B-scan标签是否一致确定第三B-scan图像和第二B-scan图像；筛选出第二B-scan图像的相似B-scan图像，根据相似B-scan图像的B-scan标签进行标签重置，并对第一B-scan分类模型进行模型优化，得到用于OCT三维图像分类的第二B-scan分类模型。本发明提高了OCT三维图像分类的准确度，可广泛应用于图像处理技术领域。领域。领域。


技术研发人员：安林 秦嘉
受保护的技术使用者：唯仁医疗（佛山）有限公司
技术研发日：2022.04.19
技术公布日：2022/5/25