用于浊度分析的系统、设备和方法与流程

用于浊度分析的系统、设备和方法
1.优先权要求
2.本公开要求于2019年9月24日提交的美国临时专利申请序列第62/904,882号的优先权；其公开内容通过引用并入本文。
技术领域
3.本公开涉及一种用于执行内窥镜手术的系统、设备和方法，并且特别是内窥镜成像环境的浊度分析。


背景技术：

4.内窥镜成像仪可在各种医疗介入期间使用。当成像环境为浑浊或混浊时，由成像仪提供的解剖视图受到限制。混浊可能是由血液、尿液或其它颗粒引起的。在一些内窥镜手术(例如，输尿管镜手术)中，混浊的成像环境可由在成像的腔体中循环流体的流体管理系统进行管理。


技术实现要素：

5.本公开涉及一种内窥镜系统，该内窥镜系统包括被配置为捕获活体内目标部位的图像帧的内窥镜成像仪；以及处理器。处理器被配置为：为在一个时间跨度内捕获的多个图像帧中的每一个确定一个或多个图像度量；分析图像度量在该时间跨度内的变化；以及基于所分析的图像度量中的变化来确定目标部位的浊度度量。
6.在一个实施例中，图像度量是包括红色熵度量和青色熵度量的图像熵度量。
7.在一个实施例中，处理器还被配置为：估计当前图像帧中的血液含量；以及改变当前图像帧以减轻血液含量的视觉效果并增强当前图像帧的其余部分。
8.在一个实施例中，处理器还被配置为：识别当前图像帧中的颗粒并对当前图像帧中的颗粒进行分类。
9.在一个实施例中，内窥镜系统还包括被配置为用浊度度量注释当前图像帧的显示器。
10.在一个实施例中，显示器还被配置为：将已识别的颗粒归为一类；并使用颗粒分类对当前图像帧进行注释。
11.在一个实施例中，已识别的颗粒是肾结石，并且分类与肾结石的大小有关。
12.本公开还涉及一种内窥镜系统，内窥镜系统包括被配置成捕获活体内目标部位的图像帧的内窥镜成像仪；向所述目标部位提供灌溉流体以清晰化内窥镜成像仪的视野的流体输送机构；处理器，该处理器被配置为：确定来自成像仪的至少一个图像的浊度度量；基于浊度度量确定灌溉流体的流体输送调整；以及控制所述流体输送机构，以基于所确定的流体输送调整来调整由流体输送机构提供的流体输送。
13.在一个实施例中，处理器还被配置为：基于识别介入仪器的特征检测来确定介入活动的类型。
14.在一个实施例中，处理器还被配置为：确定介入活动的阶段；以及基于所述介入活动的阶段调整由流体输送机构提供的流体输送。
15.在一个实施例中，处理器还被配置为：识别当前图像帧中的颗粒并对当前图像帧中的颗粒进行分类；以及基于颗粒分类调整由流体输送机构提供的流体输送。
16.在一个实施例中，颗粒是肾结石，并且颗粒分类与肾结石的大小有关。
17.在一个实施例中，处理器还被配置为：确定至少一个图像的血液度量；以及基于血液度量调整由流体输送机构提供的流体输送。
18.在一个实施例中，处理器还被配置为：确定至少一个图像的图像熵度量。
19.在一个实施例中，部分基于图像熵度量来确定浊度度量和血液度量。
20.此外，本公开涉及一种方法，该方法包括为在一个时间跨度内捕获的活体内目标部位的多个图像帧中的每一个确定一个或多个图像度量；分析该时间跨度内图像度量中的变化；以及基于所分析的图像度量中的变化确定目标部位的浊度度量。
21.在一个实施例中，图像度量是包括红色熵度量和青色熵度量的图像熵度量。
22.在一个实施例中，该方法还包括估计当前图像帧中的血液含量；以及改变当前图像帧以减轻血液含量的视觉效果并增强当前图像帧的其余部分。
23.在一个实施例中，该方法还包括识别当前图像帧中的颗粒并对当前图像帧中的颗粒进行分类。
24.在一个实施例中，该方法还包括用浊度度量注释当前图像帧。
附图说明
25.图1示出了根据本公开的各种示例性实施例的用于执行内窥镜手术的系统。
26.图2示出了根据本发明的各种示例性实施例的用于在闭环反馈系统中管理灌溉流体流量的方法。
27.图3示出根据第一示例性实施例的用于增强通过被血液混浊的液体介质的可见性的方法。
28.图4示出根据第二示例性实施例的用于增强通过被血液混浊的液体介质的可见性的方法。
29.图5示出了描述图2-图4的方法的组合实施例的流程图。
具体实施方式
30.可以参考以下描述和所附的附图来进一步理解本公开，其中用相同的参考数字来引用类似的元件。示例性实施例描述用于在内窥镜成像环境中管理浊度的算法改进。典型的泌尿外科手术利用成像设备(例如，输尿管镜或其它内窥镜成像仪)、提供流体的机制(用于清理视野和/或扩大体腔)和治疗机制(例如，boston scientific lithovue
tm
设备和/或激光或射频的能量源等)。
31.本文所描述的改进包括，例如，用于分析内窥镜图像和确定浊度以及向流体管理系统提供信息以管理视野中的清晰度的方法。其它改进包括在算法上从内窥镜图像中减去血液特征并加强血液所模糊的图像特征，特别是用于泌尿外科手术中。一些常见的泌尿外科手术包括肾结石治疗(例如，碎石术)、bph(即，良性前列腺增生)手术(例如，greenlight
tm
激光手术)、前列腺切除术、膀胱肿瘤切除术、子宫肌瘤治疗、诊断等，尽管本领域技术人员将理解，用于改善图像的设备和技术可被用于其中浊度是一个问题的多种手术(即，非泌尿外科手术也是如此)中。
32.图1示出了根据本公开的各种示例性实施例的用于执行内窥镜手术的系统100。系统100包括具有成像仪104和流体输送机构106的内窥镜102，成像仪104用于在内窥镜手术期间获取活体内解剖部位的图像帧，流体输送机构106用于向解剖部位提供流体(例如，生理盐水)，以清除可能削弱成像仪104视野的血液和碎屑。流体输送机构106还提供抽吸，以同时从解剖部位中移除流体。通过这种方式，不断地用基本透明的流体刷新解剖部位，从而可以生成更清晰的图像。
33.系统100还可包括治疗设备108，其根据内窥镜手术的性质进行选择。治疗设备108可以穿过内窥镜102运行，或者可以位于内窥镜102的外部。例如，治疗设备108可以是，例如，用于打碎肾结石的激光或冲击波发生器，或者用于移除前列腺组织的电切镜。当内窥镜手术用于诊断目的时，即，用于检查解剖部位而不是用于治疗疾病，可以不使用治疗设备。尽管关于泌尿成像描述了示例性实施例，但示例性实施例不限于此。某些实施例也可适用于广泛的手术，诸如，例如消化系统内的内窥镜手术等，包括不包括流体输送机构的内窥镜手术。
34.系统100包括处理由成像仪104提供的图像帧并将处理后的图像提供给显示器112的计算机110。在本实施例中，在诸如内窥镜控制台的集成站处提供计算机110和显示器112。用于执行泌尿外科手术的其它特征可在内窥镜控制台上被实施，包括例如控制通过流体输送机构106输送的流体的流速、压力或分配方式的致动器。示例性实施例描述了用于改变和增强显示图像的算法过程，通常是连续地或以任何其它期望的方式。
35.在一个实施例中，从捕获的图像帧确定的图像度量被用于估计视频序列被混浊成像环境遮挡的程度。图像度量包括图像熵度量。图像熵通常可被定义为图像中信息内容的度量，其可通过评估图像中强度值的频率来近似。高熵可反映，例如，与清晰图像相关的大量解剖细节，或它可反映，例如，模糊解剖部位的颗粒漩涡云，并将与非清晰图像相关。熵测量的时间过程可能有助于区分例如高熵的清晰图像和高熵的非清晰图像。例如，一系列图像的熵测量的时间过程可以通过非清晰图像中熵的变化性来区分这两种类型的图像。
36.可替选地，低熵可以反映对比度损失和/或细节模糊。低熵也可能来自非常普通的场景(例如，空白的白墙)。可使用图像熵度量来测量图像熵的量，该图像熵度量包括，例如，图像中的总熵或图像中的红色熵与青色熵的比率。在一个实施例中，红色熵与青色熵的比率可突出血液(由红色熵表示)相对于其它流体(由青色熵表示)的贡献，以突出血液贡献。在一些实施例中，图像熵度量可进一步涵盖图像序列中特定时间频带中的熵波动。如上所述，随时间测量熵波动以区分清晰图像和非清晰图像。具体而言，所观察的图像的高熵度量值的快速变化可以反映与颗粒旋涡云相关的混沌熵，从而表明所观察的图像是非清晰图像。
37.利用光流分析表征图像之间不断变化的场景。光流分析通常识别给定图像中可能对应于先前图像中的邻域的邻域，并识别它们的位置中的差异。用于估计这种位置位移的一种算法是farneback算法。这种分析提供了有关视野中静止和移动物体的信息，以及系统性视野运动(即，相机的平移、旋转、前进和后退)的信息。
38.机器学习系统还可用于根据遮挡水平和场景内容来表征视频片段并对视频片段进行分类。例如，诸如神经网络、卷积神经网络、优化器、线性回归和/或逻辑回归分类器的机器学习方法可被用于发现新的图像分析和/或上述熵度量的组合，以表征视频片段并对视频片段进行分类。机器学习方法可以生成浊度的标量估计，以及血液和颗粒视野的概率。
39.在另一实施例中，其它度量可被用于对视频片段进行分类，诸如，例如空间和时间频率分解。空间频率分析可以有效地测量图像的锐度，以提供对图像清晰度的直接洞察。具有混浊颗粒视野的图像可能呈现相对较高的空间频率，该空间频率与具有高解剖细节的图像的空间频率相似。可以通过时间频率分析来完成区分具有混浊视野的图像的高空间频率和具有高解剖细节的图像。如上所述，时间频率分析是指跟踪度量随时间的变化。
40.机器学习系统可以优化非线性组合器和各种评估，其包括将在下文详细描述的颗粒/结石评估、血液评估和清晰度评估。可以通过上述像素值、强度直方图值、非线性函数(例如，对数)和这些值的时间过程序列的线性组合来得出各种度量。机器学习系统可以使用算法来寻找上述值的替代组合，这些值不直接对应于空间频率或熵，而是更有效地对应于观察者对浊度的印象。
41.机器学习系统在其所呈现的特征空间上运行(即，系统值决定分类)。在一个实施例中，视频机器学习系统具有直接输入到系统中的视频像素。图像度量(例如，空间频谱)是根据常见机器学习模型中的这些值计算的。可以通过可能是有帮助的但不适合机器学习系统中计算的馈送系统分析来扩充特征空间。例如，被认为对这种计算有用的熵，在许多常见的视频处理神经网络结构上是不容易计算的。结果，机器学习系统在提供除了原始像素之外的其它分析时可以表现得更好。向神经网络提供强度直方图数据(包括其对数)，允许网络纳入熵和类似熵的度量，从而更快地收敛到更好的结果。系统可将度量的数学变化识别为更优的。因此，仔细丰富特征空间可以显著提高性能。
42.没有从图像数据直接得出的特定度量本身做合适的工作，以在不断变化的图像背景下估计临床环境中的浊度。示例性实施例描述用于例如通知和调谐神经网络与熵相关度量以从图像数据评估浊度水平的方法。
43.上述度量和分析可以被输入到适当设计的机器学习算法中，该算法执行多个评估，这些评估可以输出到显示器以注释显示的图像帧和/或可以通知进一步的分析。
44.在第一个示例中，执行颗粒或结石评估。颗粒/结石评估确定悬浮在流体中的颗粒的特性。特征检测可被用于确定颗粒的性质。例如，可以将肾结石识别为肾结石，并且可以确定诸如结石大小的度量以及深度估计(即，与成像仪的距离)。结石的运动也可以部分基于上述光流分析进行估计。其它颗粒可以包括，例如，蛋白质、组织、突起、血栓等。颗粒/结石评估可识别颗粒，在图像帧中对其进行分割，并确定其大小。
45.颗粒识别和分类可被用于注释当前图像帧。例如，可将颗粒归类，并显示相关度量，以通知手术医生，并允许做出更快的决策。颗粒/结石分析还可被用于通过流体输送机构106管理灌溉流体的输送。例如，尽管通常混浊的视野可能表明需要增加流体流量，但对可移动结石的识别可能表明减少流体流量以保持结石在成像仪视野中的位置。附加地，根据治疗的性质，颗粒/结石评估可能直接或间接影响治疗设备108的使用。例如，在碎石手术中，将结石分类为，例如，太大而无法取回、太大而无法自然通过或太小而无法自然通过、可能会自动(或在医生指导下)驱动或影响系统在剩余介入期间的运行。
46.在第二示例中，执行清晰度评估。清晰度评估确定图像中浊度的总测量值。如前所述，利用例如图像熵度量作为输入的机器学习过程可产生新的浊度度量。浊度度量可以是例如浊度的标量估计或由机器学习算法开发的一些其它度量。清晰度评估可被用于注释当前显示的图像，并且还可被用于管理灌溉流体的输送。
47.在第三示例中，执行血液评估。血液评估估计腔体内血液含量的总测量值，例如每百万分之几(ppm)，尽管可以使用其它度量。血液评估可被用于注释当前显示的图像，并且还可被用于管理灌溉流体的输送。此外，血液评估可能会通知例如血栓分析、例如bph手术等的激光设置。
48.除了上面讨论的颗粒评估、清晰度评估和血液评估之外，第四评估可被用于在有机体内管理成像的腔体中的流体循环。第四评估与内窥镜手术期间进行的介入类型有关。例如，介入可以是肾结石治疗、前列腺切除术、子宫肌瘤治疗等。特征检测器可被应用于当前图像帧以确定正在进行的介入活动的类型。例如，在激光前列腺切除术期间，激光设备将位于成像仪的fov内，并且可以通过特征检测器被识别为激光设备。
49.在另一个示例中，可通过特征检测器等来识别取石篮设备。一旦被识别，则对介入的阶段进行评估。例如，该系统可以测量结石已被粉碎或以其它方式缩小的程度，和/或可以确定何时将结石收到篮子中进行取回等。因此，在激光碎石手术期间，介入性评估可以与例如至少颗粒/结石评估结合使用，以识别可能影响所需的流动特性的介入阶段(例如，视野无结石、视野有结石、正在进行激光治疗)。介入类型可能会影响灌溉系统流体的最佳流速。例如，由于组织的加热，激光前列腺切除术可能需要比例如肾结石手术更高的流速。组织的加热可能导致腔体内流体的互补性加热。更快速的流体流入和流出可起到保持腔体内更恒定的温度，并防止对健康组织的损伤的作用。
50.图2示出了根据本发明的各种示例性实施例的用于在闭环反馈系统中管理灌溉流体输送的方法200。方法200可采用上述度量中的一些或全部。某些所述度量可以从单个图像帧得出，而其它度量可以从图像帧序列中得出。因此，可以基于多个图像帧执行流体输送的闭环调整。然而，考虑到本领域中通常使用的成像仪的快速帧率，流体输送调整是在足够快的基础上应用的，使得从手术医生的角度来看，调整看起来基本上是连续的。
51.在205中，由成像仪104捕获图像帧序列。如上所述，执行给定计算所需的图像总数可以变化，因此序列中的图像数量可以相应地变化。
52.在210中，从序列中的一个或多个图像帧确定上述度量中的一些或全部。例如，可以从每个图像导出图像熵度量，并在捕获图像时由其确定。在另一个示例中，直接从图像确定像素度量。
53.在215中，使用机器学习组合器算法/功能来处理各种度量和分析，以根据遮挡水平和场景内容来表征图像或视频片段并对图像或视频片段进行分类。如上所述，机器学习算法可以以各种方式组合度量，并根据所发现的分析自我调整度量的权重或使用。需要注意的是，除治疗特征检测和介入阶段评估外，所有上述度量/分析都被输入到机器学习组合器算法，而治疗特征/阶段检测/评估直接根据图像帧确定，并且不通知颗粒评估，血液评估或清晰度评估。
54.在220中，流量管理算法处理颗粒评估、血液评估、清晰度评估和介入阶段评估，以确定是否需要灌溉流体的流体输送调整，并且如果需要，则确定调整值。
55.在225中，将调整值反馈给处理器，并调整由流体输送机构提供的流量。
56.方法步骤205-225在基本连续的基础上执行，提供用于在内窥镜介入期间管理流体流量的闭环反馈系统。
57.在某些上述度量中，特别是与血液评估和清晰度评估有关的度量，可被用于在算法上提供图像增强，以补偿内窥镜介入中的血色视野。可以通过算法从图像中减去血液特征并加强血液模糊的特征管理由血液引起的混浊。下文所述的方法300和400可单独应用或组合应用。
58.图3示出根据第一示例性实施例的用于增强通过被血液混浊的液体介质的可见性的方法300。方法300包括用于管理灌溉流体输送的方法200的某些步骤(或类似于方法200的那些步骤)，并且可以单独使用或与之组合使用。
59.在305中，通过成像仪104根据方法200的步骤205捕获图像序列。在310中，每个图像被划分为固定大小的区域。每个区域可以是例如20x20像素。
60.在315中，类似于方法200的步骤210-215，使用前述机器学习组合器算法对于每个区域计算和处理上述度量中的某些度量。以这种方式，对每个区域的血液含量进行评估，并生成“血液图”，以根据血液的存在来表征每个区域。具体而言，确定并处理通知用于血液评估的机器学习组合器算法的度量，以对每个区域进行分类。无需为方法300执行颗粒/结石评估或清晰度评估，或确定任何介入设备特征。然而，在另一个实施例中，在例如混浊视野是由血液以外的颗粒引起的情况下，可以执行清晰度评估。
61.在320中，血液图的值乘以与组合器中的血液检测相关联的每个度量的区域性帧到帧变化，如针对光流调整的那样。以这种方式，可以利用各个图像子区域来定位被血液遮挡的区域，并且选择性地或成比例地应用图像增强以减轻由血液引起的图像细节的损失。
62.在325中，从320产生的值被用于缩放被计算为与每个度量互补的卷积核或色彩变换，然后将其应用于其区域，并在区域边界处进行s形(sigmoid)缩图。熵相关内核将使用应用于相关色彩通道的低通滤波器内核(用于正熵相关)或高通滤波器内核(用于负熵相关)。
63.在330中，根据包括相位和改变的幅度的每个区域的空间频率表示重新组合图像帧，以降低血色前景的重要性并增强感兴趣的背景。根据卷积核的缩放，血液的视觉效果可能会在图像上不同程度地减弱。增强可应用于空间频率的幅度分量，幅度分量随后可与其相位分量重新组合并转换回常规图像。
64.图4示出根据第二示例性实施例的用于增强通过被血液混浊的液体介质的可见性的方法400。
65.在405中，使用可变形非线性变换将当前图像帧与超分辨率图像映射进行相关。超分辨率图像映射通常可被定义为从较低分辨率图像的融合中生成的改进的分辨率图像。当前图像可与超分辨率图像映射融合以增强当前图像的分辨率。
66.在410中，基于与血液检测相关联的前述度量创建“血液遮罩”，该血液遮罩反映了给定图像帧中推断的血液浊度的空间分布。
67.在415中，当前图像帧与变形的超分辨率映射融合以生成是当前帧和超分辨率映射的加权平均的增强帧。当血液遮罩值较低时，像素被驱动朝向原始图像帧的像素，并且当遮罩值较高时，像素被驱动朝向超分辨率映射的像素。
68.图5示出了描述包括方法200、300和400的元件的组合实施例的流程图500。本领域
技术人员将理解，前面描述的各种度量和分析可单独使用或以多种方式组合使用。
69.在505中，从内窥镜成像馈送中提取图像。如前所述，某些度量/分析(诸如，例如光流分析)需要多张图像来确定。然而，为了流程图500，可以假设已经捕获了足够多的先前图像来执行每个计算。
70.在510中，图像被分离为其红色和青色分量，用于计算各种度量。例如，在515中，计算红色和青色熵值。可以计算诸如，例如红色与青色熵比之类的度量，或者可以直接使用红色青色值。在520中，对红色和青色光谱分量执行空间频率分析。在525中，红色/青色熵值和空间频率分析通知时间频率分析。本领域技术人员将理解，时间频率分析需要一系列图片来分析它们之间的差异。例如，熵波动是随时间而测量的。在530中，在比较红色和青色分量的情况下执行色彩平衡。在535中，执行像素变化率分析，其中比较图像之间的像素值。在540中，执行光流分析以关联连续图像并导出信息(诸如，例如对象或组织随时间的运动)。
71.在545中，通过机器学习系统以各种方式组合上述度量/分析以生成颗粒信息(颗粒/结石评估550)、血液含量信息(血液评估555)和浊度信息(清晰度评估560)。还执行介入评估，在其中识别图像中的介入特征(治疗设备特征检测565)并且评估介入的阶段(治疗阶段评估570)。颗粒、血液、清晰度和介入分析被用于控制灌溉系统的流体流量575。如前所述，流体流量管理575可包括调整流速、压力或分配流体的方式。
72.在580中，可通过根据方法300或400移除或减轻图像的血液分量来增强当前图像。在585中，可根据方法200对当前图像进行注释。当前图像还可以用血液/清晰度评估中得出的血液或浊度度量值进行注释。在590中，显示增强/注释的图像。随着捕获更多图像，执行或确定上述步骤/度量/分析。
73.在另一实施例中，计算机可读介质包括当由计算机执行时使计算机执行上述各种图像处理步骤/分析(例如，确定浊度度量)的指令。
74.本领域技术人员将理解，可以对上述实施例做出变化，而不会脱离其发明构思。还应当理解，与实施例其中一个相关联的结构特征和方法可以被并入其它实施例中。因此，应当理解，本发明不限于所公开的特定实施例，而是在如由所附权利要求所定义的本发明范围内也涵盖了修改。