用于增强胸膜线的可视化的方法和系统与流程

1.某些实施方案涉及超声成像。更具体地讲，某些实施方案涉及一种用于通过在肺部超声扫描的图像中自动检测和标记胸膜线，来增强肺部超声图像中的胸膜线的可视化的方法和系统。


背景技术：

2.超声成像是用于对人体中的器官和软组织进行成像的医学成像技术。超声成像使用实时的、非侵入性高频声波来产生一系列二维(2d)图像和/或三维(3d)图像。
3.超声成像成本低、便携，并且与其他图像模态(诸如计算机断层摄影术(ct)、x射线等)相比，表现出相对较低的covid-19传播风险。超声成像也已知对检测许多肺部异常敏感。超声图像可提供可用于识别covid-19的各种指示。例如，b模式超声图像中描绘的正常胸膜区域可以是细的、明亮的、一致的线。然而，常见的covid-19特征可在b模式超声图像中将胸膜线描绘为非连续的和/或宽的(即，加厚的胸膜)。b模式超声图像中的自动胸膜检测通常涉及整个视频序列的分析，这在计算上是昂贵且耗时的。
4.通过将此类系统与本技术的其余部分中参考附图阐述的本公开的一些方面进行比较，常规和传统方法的进一步限制和缺点对本领域的技术人员将变得显而易见。


技术实现要素：

5.提供了一种用于通过在超声扫描的图像中自动检测和标记胸膜线，来增强胸膜线的可视化的系统和/或方法，该系统和/或方法基本上如结合至少一个附图所示和/或所述，如在权利要求书中更完整地阐述。
6.从以下描述和附图将更全面地理解本公开的这些和其他优点、方面和新颖特征、以及其例示的实施方案的细节。
附图说明
7.图1是根据各种实施方案的示例性超声系统的框图，该示例性超声系统可操作以通过在超声扫描的图像中自动检测和标记胸膜线来提供胸膜线的增强可视化。
8.图2示出了根据各种实施方案的具有识别胸膜线的标记物的肺部的一部分的示例性m模式超声图像和对应的增强b模式超声图像的屏幕截图。
9.图3为示出根据各种实施方案的示例性步骤的流程图，该示例性步骤可用于通过在超声扫描的图像中自动检测和标记胸膜线，来提供胸膜线的增强可视化。
具体实施方式
10.某些实施方案可见于一种用于通过在超声扫描的图像中自动检测和标记胸膜线，来增强胸膜线的可视化的方法和系统。例如，本公开的各方面具有以下技术效果：自动提供实时或存储的超声图像，该超声图像被增强以识别胸膜线以呈现给超声操作者。此外，本公
开的各方面具有以下技术效果：通过以下方式减少计算时间和资源：基于有限数量的m模式图像(例如，1个至3个m模式图像)中胸膜线的识别，在由所采集的影像循环生成的b模式图像中自动标记胸膜线。此外，本公开的各方面更耐受图像采集中的噪声和其他伪影，因为是m模式图像而不是b模式图像被处理以识别胸膜线。另外，本公开的各方面具有以下技术效果：通过在m模式图像中检测胸膜线并在b模式图像中标记胸膜线，来简化后处理以检测covid-19特征，诸如胸膜不规则性。
11.当结合附图阅读时，将更好地理解前述发明内容以及某些实施方案的以下具体实施方式。就附图示出各种实施方案的功能块的图的范围而言，这些功能块不一定表示硬件电路之间的划分。因此，例如，一个或多个功能块(例如，处理器或存储器)可以在单件硬件(例如，通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中来实现。类似地，程序可以是独立程序，可以作为子例程包含在操作系统中，可以是安装的软件包中的功能等。应当理解，各种实施方案不限于附图中所示的布置和工具。还应当理解，可以组合实施方案，或者可以利用其他实施方案，并且可以在不脱离各种实施方案的范围的情况下做出结构的、逻辑的和电气的改变。因此，以下详述不应视为限制性意义，并且本公开的范围由所附权利要求书及其等同物限定。
12.如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对“示例性实施方案”、“各种实施方案”、“某些实施方案”、“代表性的实施方案”等的引用不旨在被解释为排除存在也结合了叙述的特征的附加实施方案。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定属性的一个元素或多个元素的实施方案可以包括不具有该属性的附加元素。
13.另外，如本文所用，术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而，许多实施方案生成(或被配置为生成)至少一个可视图像。此外，如本文所用，短语“图像”用于指超声模式，诸如b模式(2d模式)、m模式、三维(3d)模式、cf模式、pw多普勒、cw多普勒、对比增强超声(ceus)，和/或b模式和/或cf的子模式，诸如谐波成像、剪切波弹性成像(swei)、应变弹性成像、tvi、pdi、b-flow、mvi、ugap，并且在某些情况下还包括mm、cm、tvd，其中“图像”和/或“平面”包括单个波束或多个波束。
14.此外，如本文所用，术语处理器或处理单元是指可执行各种实施方案需要的所需计算的任何类型的处理单元，诸如单核或多核：cpu、加速处理单元(apu)、图形处理单元(gpu)、dsp、fpga、asic或它们的组合。
15.另外，如本文所用，术语胸膜线是指在超声图像数据中描绘的胸膜和/或胸膜区域。虽然例如某些实施方案可描述m模式图像中的胸膜线的检测以及b模式图像中的胸膜线的标记，但除非如此声明，否则本发明的各个方面的范围不应限于胸膜线、m模式图像和b模式图像，并且除此之外和/或另选地可适用于任何合适的解剖结构和成像模式。
16.应当指出的是，本文所述的生成或形成图像的各种实施方案可包括用于形成图像的处理，该处理在一些实施方案中包括波束形成，而在其他实施方案中不包括波束形成。例如，可在不进行波束形成的情况下形成图像，诸如通过将解调数据的矩阵乘以系数矩阵，使得乘积是图像，并且其中该过程不形成任何“波束”。另外，可使用可能源自多于一个发射事件的信道组合(例如，合成孔径技术)来执行图像的形成。
17.在各种实施方案中，例如，在软件、固件、硬件或它们的组合中执行超声处理以形成图像，包括超声波束形成，诸如接收波束形成。具有根据各种实施方案形成的软件波束形成器架构的超声系统的一个具体实施在图1中示出。
18.图1是根据各种实施方案的示例性超声系统100的框图，该示例性超声系统可操作以通过在超声扫描的图像中自动检测和标记胸膜线来提供胸膜线的增强可视化。参见图1，示出了超声系统100和训练系统200。超声系统100包括发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、a/d转换器122、rf处理器124、rf/iq缓冲器126、用户输入设备130、信号处理器132、图像缓冲器136、显示系统134和档案138。
19.发射器102可包括可操作以驱动超声探头104的合适逻辑、电路、接口和/或代码。超声探头104可包括压电元件的二维(2d)阵列。超声探头104可包括通常构成相同元件的一组发射换能器元件106和一组接收换能器元件108。在某些实施方案中，超声探头104可操作为采集覆盖解剖结构(诸如肺部、胎儿、心脏、血管或任何合适的解剖结构)的至少大部分的超声图像数据。
20.发射波束形成器110可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以控制发射器102，该发射器通过发射子孔径波束形成器114驱动该组发射换能器元件106以将超声发射信号发射到感兴趣区域(例如，人、动物、地下空腔、物理结构等)中。发射的超声信号可从感兴趣对象中的结构(如血细胞或组织)反向散射，以产生回波。回波由接收换能器元件108接收。
21.超声探头104中的这组接收换能器元件108可操作以将接收的回波转换为模拟信号，通过接收子孔径波束形成器116进行子孔径波束形成，然后传送到接收器118。接收器118可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作为接收来自接收子孔径波束形成器116的信号。可以将模拟信号传送到多个a/d转换器122中的一个a/d转换器。
22.多个a/d转换器122可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以将来自接收器118的模拟信号转换为对应的数字信号。多个a/d转换器122设置在接收器118与rf处理器124之间。尽管如此，本公开在这方面并不受限制。因此，在一些实施方案中，多个a/d转换器122可被集成在接收器118内。
23.rf处理器124可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以解调由多个a/d转换器122输出的数字信号。根据一个实施方案，rf处理器124可包括复解调器(未示出)，该复解调器可操作以解调数字信号，以形成代表对应回波信号的i/q数据对。然后可将rf或i/q信号数据传送到rf/iq缓冲器126。rf/iq缓冲器126可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作为提供由rf处理器124生成的rf或i/q信号数据的临时存储。
24.接收波束形成器120可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以执行数字波束形成处理，以例如对经由rf/iq缓冲器126从rf处理器124接收的延迟信道信号求和并输出波束求和信号。所得到的经处理的信息可以是从接收波束形成器120输出并且传送到信号处理器132的波束求和信号。根据一些实施方案，接收器118、多个a/d转换器122、rf处理器124和波束形成器120可被集成到单个波束形成器中，该单个波束形成器可以是数字的。在各种实施方案中，超声系统100包括多个接收波束形成器
120。
25.用户输入设备130可用于输入患者数据、图像采集和扫描参数、设置、配置参数，选择协议和/或模板，改变扫描模式，操纵用于查看所采集的超声数据的工具等。在示例性实施方案中，用户输入设备130可操作为配置、管理和/或控制超声系统100中的一个或多个部件和/或模块的操作。就这一点而言，用户输入设备130可用于配置、管理和/或控制发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、rf处理器124、rf/iq缓冲器126、用户输入设备130、信号处理器132、图像缓冲器136、显示系统134和/或档案138的操作。用户输入设备130可包括一个或多个按钮、一个或多个旋转编码器、触摸屏、运动跟踪、语音识别、鼠标设备、键盘、相机和/或能够接收用户指令的任何其它设备。在某些实施方案中，例如，可将用户输入设备130中的一个或多个用户输入设备集成到其他部件(诸如显示系统134或超声探头104)中。例如，用户输入设备130可包括触摸屏显示器。
26.信号处理器132可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以处理超声扫描数据(即，求和的iq信号)，以生成用于在显示系统134上呈现的超声图像。信号处理器132可操作以根据所采集的超声扫描数据上的多个可选择超声模态来执行一个或多个处理操作。在示例性实施方案中，信号处理器132可用于执行显示处理和/或控制处理等。随着接收到回波信号，可以在扫描会话期间实时处理采集的超声扫描数据。除此之外或另选地，超声扫描数据可在扫描会话期间暂时存储在rf/iq缓冲器126中并且在在线操作或离线操作中以不太实时的方式处理。在各种实施方案中，经处理的图像数据可呈现在显示系统134处和/或可存储在档案138处。档案138可以是本地档案、图片归档和通信系统(pacs)，或用于存储图像和相关信息的任何合适的设备。
27.信号处理器132可以是一个或多个中央处理单元、图形处理单元、微处理器、微控制器等等。例如，信号处理器132可以是集成部件，或者可分布在各个位置。在示例性实施方案中，信号处理器132可包括第一模式处理器140、第二模式处理器150和检测处理器160并且能够从用户输入设备130和/或档案138接收输入信息，生成可由显示系统134显示的输出，并且响应于来自用户输入设备130的输入信息来操纵输出等。例如，信号处理器132、第一模式处理器140、第二模式处理器150和检测处理器160能够执行在本文根据各种实施方案所讨论的方法和/或指令集中的任一者。
28.超声系统100可操作以按适用于所考虑的成像情况的帧速率连续采集超声扫描数据。典型的帧速率在20至120的范围内，但可更低或更高。所采集的超声扫描数据可以与帧速率相同、或更慢或更快的显示速率显示在显示系统134上。图像缓冲器136被包括以用于存储未被安排立即显示的所采集的超声扫描数据的处理的帧。优选地，图像缓冲器136具有足够的容量来存储至少几分钟的超声扫描数据的帧。超声扫描数据的帧以根据其采集顺序或时间易于从其取回的方式存储。图像缓冲器136可体现为任何已知的数据存储介质。
29.信号处理器132可包括第一模式处理器140，该第一模式处理器包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以处理所采集的和/或所检索的超声图像，从而根据第一模式生成超声图像。例如，第一模式可以是b模式，并且第一模式处理器140可被配置成将所接收的超声数据的影像循环处理成b模式帧。
30.在各种实施方案中，第一模式处理器140包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以执行进一步的图像处理功能，诸如检测b模式肺部超
声图像中的肋骨阴影。例如，第一模式处理器140可以通过执行图像识别算法、人工智能和/或任何合适的图像识别技术来检测肋骨阴影。例如，第一模式处理器140可部署深度神经网络(例如，人工智能模型)，该深度神经网络可由例如输入层、输出层以及输入层与输出层之间的一个或多个隐藏层构成。每个层可由可称为神经元的多个处理节点构成。例如，第一模式处理器140可推断包括输入层的人工智能模型，该输入层具有用于来自解剖结构的扫描平面的每个像素或一组像素的神经元。输出层可具有与成像解剖结构的一个或多个特征相对应的神经元。例如，输出层可识别肋骨阴影和/或任何合适的成像解剖结构特征。每个层的每个神经元可执行处理功能，并且将处理的超声图像信息传递到下游层的多个神经元中的一个神经元以用于进一步处理。例如，第一层的神经元可学习以识别超声图像数据中的结构边缘。第二层的神经元可学习以基于来自第一层的检测边缘识别形状。第三层的神经元可学习所识别的形状相对于超声图像数据中的标志的位置。由推断深度神经网络(例如，卷积神经网络)的第一模式处理器140执行的处理可以高概率度识别b模式超声图像中的肋骨阴影。所检测的肋骨阴影的位置可被提供给第二模式处理器150并且/或者可被存储在档案138或任何合适的数据存储介质中。
31.信号处理器132可包括第二模式处理器150，该第二模式处理器包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以处理所采集的和/或所检索的超声图像数据，从而根据第二模式生成超声图像。例如，第二模式可以是m模式，并且第二模式处理器150可被配置成将所接收的超声数据的影像循环的一部分处理成一个或多个m模式图像。在代表性实施方案中，第二模式处理器150可被配置成从影像循环生成1个至3个m模式图像。随时间推移，m模式图像各自对应于b模式图像中的一个位置(即，线)。例如，可在一段时间(诸如一个或多个呼吸周期)内采集肺部的超声数据的影像循环。例如，超声数据的影像循环可对应于100个b模式帧或任何合适数量的b模式帧。b模式帧中的每个b模式帧可以包括数行超声数据，诸如160行或任何合适数量的超声数据行。第二模式处理器150可被配置成在100个b模式帧中的每个b模式帧中的相同位置处从160行中的一(1)行生成m模式图像。在某些实施方案中，虚拟m模式线可覆盖在所显示的b模式图像上，以示出同时显示的m模式图像的位置。在示例性实施方案中，第二模式处理器150选择b模式图像中的一个或多个位置(即，虚拟m模式线位置)以生成一个或多个m模式图像。对b模式图像中的一个或多个位置的选择可对应于默认位置并且/或者可基于由第一模式处理器140检测到的肋骨阴影位置。例如，第二模式处理器150可被配置成选择不包括肋骨阴影的一个或多个位置(即，虚拟m模式线位置)。由第二模式处理器150生成的m模式图像(例如，1个至3个m模式图像)可被提供给检测处理器160并且/或者可被存储在档案138或任何合适的数据存储介质处。
32.信号处理器132可包括检测处理器160，该检测处理器包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以基于根据第二模式处理的超声图像数据的部分来识别解剖结构的位置。例如，检测处理器160可被配置成自动检测由第二模式处理器150生成的m模式图像中描绘的胸膜线。解剖结构识别可由执行图像识别算法、人工智能和/或任何合适的图像识别技术的检测处理器160执行。例如，检测处理器160可以执行特征提取以生成对应于m模式图像的取向梯度直方图。检测处理器160可采用分离逻辑以基于所生成的取向梯度直方图(例如，胸膜的平均顶部边缘和平均底部边缘)来确定m模式图像中描绘的胸膜线。
33.又如，检测处理器160可部署深度神经网络(例如，人工智能模型)，该深度神经网络可由例如输入层、输出层以及输入层与输出层之间的一个或多个隐藏层构成。每个层可由可称为神经元的多个处理节点构成。例如，检测处理器160可推断包括输入层的人工智能模型，该输入层具有用于来自第二模式图像(例如，m模式图像)的每个像素或一组像素的神经元。输出层可具有对应于一个或多个解剖结构(诸如胸膜线)的神经元。例如，输出层可识别m模式图像中的胸膜线和/或任何合适的解剖结构。每个层的每个神经元可执行处理功能，并且将处理的超声图像信息传递到下游层的多个神经元中的一个神经元以用于进一步处理。例如，第一层的神经元可学习以识别超声图像数据中的结构边缘。第二层的神经元可学习以基于来自第一层的检测边缘识别形状。第三层的神经元可学习所识别的形状相对于超声图像数据中的标志的位置。由推断深度神经网络(例如，卷积神经网络)的检测处理器160执行的处理可以高概率度识别第二模式图像中的胸膜线。
34.检测处理器160可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以在所生成的第一模式图像中标记在第二模式图像中检测到的解剖结构。例如，标记可包括覆盖在第一模式图像上的线条、框、彩色突出显示、标签等。在各种实施方案中，检测处理器160可被配置成对第一模式图像的像素着色以提供标记物。识别所检测到的解剖结构的标记第一模式图像可以在显示系统134处呈现给用户、存储在档案138或任何合适的数据存储介质处，并且/或者提供给信号处理器132以用于进一步的图像分析和/或处理。例如，包括识别胸膜线的标记物的b模式图像可呈现在显示系统132处、存储在档案138或任何合适的数据存储介质处，并且/或者由信号处理器132进一步处理以检测covid-19特定特征，诸如胸膜不规则性等。
35.与处理影像循环的b模式帧(例如，100个b模式帧)以检测和标记胸膜线相比，由检测处理器160执行的用于在b模式图像中标记胸膜线的有限数量的m模式图像(例如，1个至3个m模式图像)中检测胸膜线，减少了计算资源和计算时间。与处理影像循环的b模式帧以检测和标记胸膜线相比，由检测处理器执行的用于标记b模式图像中的胸膜线的有限数量的m模式图像中检测胸膜线，还更耐受图像采集中的噪声和其他伪影。
36.在示例性实施方案中，具有识别解剖结构(例如，胸膜线)的标记的第一模式图像(例如，b模式帧)可以动态地呈现在显示系统134处，使得超声探头104的操作者可以基本上实时地查看标记图像。由检测处理器160突出显示的b模式图像可存储在档案138中。档案138可以是本地档案、图片归档和通信系统(pacs)，或用于存储超声图像和相关信息的任何合适的设备。
37.图2示出了根据各种实施方案的具有识别胸膜线326的标记物322、324的肺部的一部分的示例性m模式超声图像310和对应的增强b模式超声图像320的屏幕截图300。参考图2，示出了肺部的m模式图像310和b模式图像320的屏幕截图300，其具有大致水平延伸的胸膜线316、326。在示例性实施方案中，m模式图像310可以至少部分地基于所检测到的肋骨(未示出)的位置由第二模式处理器150在b模式图像320中的位置处生成，该肋骨可以在b模式图像320中由其声学阴影识别。检测处理器160可以在m模式图像310中搜索识别胸膜316的明亮水平区段。检测处理器160可基于m模式图像310中的胸膜线316的检测来在b模式图像320中标记322、324胸膜线326。b模式图像320中的标记322、324可以是识别胸膜线326的平均顶部边缘的线322和识别胸膜线326的平均底部边缘的线324。除此之外和/或另选地，b
模式图像320中的标记322、324可包括覆盖在b模式图像320上的在b模式图像320的一个或多个外侧处识别胸膜线326的顶部边缘和底部边缘的标识符(例如，箭头、圆圈、正方形、星形等)、b模式图像320中围绕胸膜线326的框、胸膜线326的彩色突出显示、胸膜线326的标签等等。在各种实施方案中，检测处理器160可被配置成对b模式图像320中的胸膜线326的像素进行着色。
38.再次参考图1，显示系统134可以是能够将视觉信息传达给用户的任何设备。例如，显示系统134可包括液晶显示器、发光二极管显示器、和/或任何合适的一种或多种显示器。显示系统134可操作以呈现具有识别胸膜线326的标记322、324的b模式超声图像320和/或任何合适的信息。
39.档案138可以是与超声系统100集成和/或可通信地耦接(例如，通过网络)到超声系统100的一个或多个计算机可读存储器，诸如图像归档和通信系统(pacs)、服务器、硬盘、软盘、cd、cd-rom、dvd、紧凑存储器、闪存存储器、随机存取存储器、只读存储器、可电擦除和可编程只读存储器，和/或任何合适的存储器。档案138可包括例如由信号处理器132访问和/或结合到信号处理器132的数据库、库、信息集或其他存储器。例如，档案138能够暂时或永久地存储数据。档案138可能能够存储医学图像数据、由信号处理器132生成的数据和/或信号处理器132可读取的指令等。例如，在各种实施方案中，档案138存储第一模式图像(例如，b模式图像320)、具有标记322、324的第一模式图像、第二模式图像(例如，m模式图像310)、用于根据第一模式处理所接收的超声图像数据的指令、用于根据第二模式处理所接收的超声图像数据的指令、用于检测第二模式图像310中的解剖结构(例如，胸膜线316)并标记322、324第一模式图像320中的解剖结构(例如，胸膜线326)的指令、用于检测第一模式图像320中的解剖特征(例如，肋骨阴影)的指令、和/或能够部署以执行解剖结构和/或特征检测的人工智能模型。
40.超声系统100的部件可在软件、硬件、固件等中实现。超声系统100的各种部件可以通信地连接。超声系统100的部件可单独实现和/或以各种形式集成。例如，显示系统134和用户输入设备130可集成为触摸屏显示器。
41.仍然参考图1，训练系统200可包括训练引擎210和训练数据库220。训练引擎160可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以训练由第一模式处理器140和/或检测处理器160推断(即，部署)的深度神经网络(例如，人工智能模型)的神经元。例如，可以训练由第一模式处理器140推断的人工智能模型以自动识别第一模式图像(例如，b模式图像320)中的解剖特征(例如，肋骨阴影)。例如，训练引擎210可使用各种解剖特征的分类超声图像的数据库220来训练由第一模式处理器140部署的深度神经网络。超声图像可包括特定解剖特征的第一模式超声图像，诸如具有肋骨阴影的b模式图像320，或任何合适的超声图像和特征。又如，可训练由检测处理器160推断的人工智能模型以在第二模式图像(例如，m模式图像310)中自动识别解剖结构(例如，胸膜线316)。例如，训练引擎210使用各种解剖结构的分类超声图像的数据库220来训练由检测处理器160部署的深度神经网络。超声图像可包括特定解剖结构的第二模式超声图像，诸如具有胸膜线316的m模式图像310，或任何合适的超声图像和结构。
42.在各种实施方案中，训练图像的数据库220可以是图片归档和通信系统(pacs)或任何合适的数据存储介质。在某些实施方案中，训练引擎210和/或训练图像数据库220可以
是经由有线或无线连接通信地耦接到超声系统100的远程系统，如图1所示。除此之外和/或另选地，训练系统200的部件或全部可以以各种形式与超声系统100集成。
43.图3为示出根据各种实施方案的示例性步骤的流程图400，该示例性步骤可用于通过在超声扫描的图像320中自动检测和标记胸膜线326，来提供胸膜线326的增强可视化。参考图3，其示出了包括示例性步骤402至410的流程图400。某些实施方案可省略一个或多个步骤，和/或以与所列顺序不同的顺序执行步骤，和/或组合下文讨论的某些步骤。例如，在某些实施方案中可能不执行一些步骤。又如，某些步骤可能以与下面所列时间顺序不同的时间顺序执行，包括同时执行。
44.在步骤402处，超声系统100或远程工作站的信号处理器132可以接收根据第一模式采集的超声影像循环。例如，超声系统100中的超声探头104可操作以对感兴趣区域(诸如肺部区域)执行超声扫描。超声扫描可根据第一模式(诸如b模式或任何合适的图像采集模式)来执行。超声操作者可采集具有多个帧的超声影像循环。超声扫描可例如在至少一个呼吸循环的持续时间内采集。呼吸循环可自动地、通过指定的持续时间、或通过操作者等等来检测。例如，如果患者正在使用呼吸机，则呼吸机可以向信号处理器132提供信号，从而识别呼吸循环持续时间。又如，呼吸循环可由用户输入模块130处的操作者输入来限定或者为默认值，诸如3秒至5秒。此外，操作者可通过在用户输入模块130处提供输入(诸如通过按压超声探头104上的按钮)来识别呼吸循环的结束。超声影像循环可由信号处理器132接收和/或存储到档案138或信号处理器132可从其检索影像循环的任何合适的数据存储介质。
45.在步骤404处，信号处理器132可根据第一模式处理超声影像循环。例如，第一模式可以是b模式，并且信号处理器132的第一模式处理器140可被配置成将所接收的超声数据的影像循环处理成b模式帧320。在各种实施方案中，第一模式处理器140可被配置成执行进一步的图像处理功能，诸如检测b模式肺部超声图像320中的肋骨阴影。例如，第一模式处理器140可以通过执行图像识别算法、人工智能和/或任何合适的图像识别技术来检测肋骨阴影。
46.在步骤406处，信号处理器132可根据第二模式处理超声影像循环的一部分。例如，第二模式可以是m模式，并且信号处理器132的第二模式处理器150可被配置成将所接收的超声数据的影像循环的一部分处理成一个或多个m模式图像310。在示例性实施方案中，第二模式处理器150可被配置成从影像循环生成1个至3个m模式图像310。1个至3个m模式图像310可以对应于由第二模式处理器150在b模式图像320中选择的1个至3个位置。对b模式图像中的一个或多个位置的选择可对应于默认位置并且/或者可基于由第一模式处理器140检测到的肋骨阴影位置。
47.在步骤408处，信号处理器132可基于根据第二模式处理的超声影像循环的部分来识别解剖结构316的位置。例如，检测处理器160可被配置成自动检测由第二模式处理器150生成的m模式图像310或任何合适的第二模式图像中描绘的胸膜线316或任何合适的解剖结构。解剖结构识别可由执行图像识别算法、人工智能和/或任何合适的图像识别技术的检测处理器160执行。例如，检测处理器160可执行特征提取以生成对应于m模式图像310的取向梯度直方图。检测处理器160可采用分离逻辑以基于所生成的取向梯度直方图来确定m模式图像310中描绘的胸膜线316。又如，检测处理器160可部署深度神经网络(例如，人工智能模型)，该深度神经网络可以高概率度在第二模式图像(例如，m模式图像310)中识别解剖结构
(例如，胸膜线316)。
48.在步骤410处，信号处理器132可将解剖结构的位置显示在图像320上，该图像由根据第一模式处理的超声影像循环生成。例如，检测处理器160可被配置成在所生成的第一模式图像320中标记322、324在第二模式图像310中检测到的解剖结构316、326。标记可包括覆盖在第一模式图像320上的线322、324、框、彩色突出显示、标签等。除此之外和/或另选地，检测处理器160可被配置成对第一模式图像320的像素着色以提供标记物322、324。识别所检测到的解剖结构(例如，胸膜线326)的标记第一模式图像(例如，b模式图像320)可在显示系统134处呈现给用户。在代表性实施方案中，第一模式图像320可以由信号处理器132进一步处理以检测covid-19特定特征，诸如胸膜不规则性等。信号处理器132对第一模式图像320的处理可包括例如执行图像识别算法、人工智能和/或任何合适的图像识别技术，以检测b模式图像320中的非连续的和/或宽的胸膜线326。
49.本公开的各方面提供了用于通过在超声扫描的图像310、320中自动检测和标记322、324胸膜线316、326来增强胸膜线326的可视化的方法400和系统100。根据各种实施方案，方法400可包括由至少一个处理器132、140、150接收402根据第一模式采集的超声影像循环。方法400可包括根据第一模式由至少一个处理器132、140处理404超声影像循环。方法400可包括根据第二模式由至少一个处理器132、150处理406超声影像循环的至少一部分。方法400可包括由至少一个处理器132、160基于根据第二模式处理的超声影像循环的至少一部分来识别408解剖结构316的位置。方法400可包括由至少一个处理器132、140、160在显示系统132处将解剖结构326的位置322、324显示410在第一模式图像320上，该第一模式图像由根据第一模式处理的超声影像循环生成。
50.在示例性实施方案中，第一模式可以是b模式。在代表性实施方案中，第二模式可以是m模式。在各种实施方案中，根据第一模式处理404超声影像循环可包括生成b模式图像320并检测b模式图像320中的肋骨阴影。根据第二模式处理406超声影像循环的至少一部分可包括基于b模式图像320中检测到的肋骨阴影生成至少一个m模式图像310。在某些实施方案中，根据第二模式处理406超声影像循环的至少一部分可包括生成1个至3个m模式图像310。在示例性实施方案中，解剖结构可以是胸膜线316、326。在代表性实施方案中，识别408解剖结构316的位置可包括：通过生成取向梯度直方图来执行特征提取，并且采用分离逻辑以基于取向梯度直方图来确定在第二模式图像310中描绘的解剖结构316。第二模式图像310可以根据第二模式从超声影像循环的至少一部分生成。
51.各种实施方案提供了用于通过在超声扫描的图像310、320中自动检测和标记322、324胸膜线316、326来增强胸膜线326的可视化的系统100。超声系统100可包括至少一个处理器132、140、150、160和显示系统134。至少一个处理器132、140可被配置成接收根据第一模式采集的超声影像循环。至少一个处理器132、140可被配置成根据第一模式处理超声影像循环。至少一个处理器132、150可被配置成根据第二模式处理超声影像循环的至少一部分。至少一个处理器132、160可被配置成基于根据第二模式处理的超声影像循环的至少一部分来识别解剖结构316的位置。显示系统134可被配置成将解剖结构326的位置322、324显示在第一模式图像320上，该第一模式图像由根据第一模式处理的超声影像循环生成。
52.在代表性实施方案中，第一模式可以是b模式。在各种实施方案中，第二模式可以是m模式。在某些实施方案中，至少一个处理器132、140可被配置成通过生成b模式图像320
并检测b模式图像320中的肋骨阴影来根据第一模式处理超声影像循环。至少一个处理器132、150可被配置成通过基于b模式图像320中检测到的肋骨阴影生成至少一个m模式图像310来根据第二模式处理超声影像循环的至少一部分。在示例性实施方案中，至少一个处理器132、150可被配置成根据第二模式处理超声影像循环的至少一部分，以生成1个至3个m模式图像310。在代表性实施方案中，解剖结构可以是胸膜线316、326。在各种实施方案中，至少一个处理器132、160可被配置成通过以下方式来识别解剖结构316的位置：通过生成取向梯度直方图来执行特征提取，并且采用分离逻辑以基于取向梯度直方图来确定第二模式图像310中描绘的解剖结构316。第二模式图像310可以根据第二模式从超声影像循环的至少一部分生成。
53.某些实施方案提供一种非暂态计算机可读介质，该非暂态计算机可读介质上存储有计算机程序，该计算机程序具有至少一个代码段。该至少一个代码段可由机器执行以使该机器执行步骤400。步骤400可包括接收402根据第一模式采集的超声影像循环。步骤400可包括根据第一模式处理404超声影像循环。步骤400可包括根据第二模式处理406超声影像循环的至少一部分。步骤400可包括基于根据第二模式处理的超声影像循环的至少一部分来识别408解剖结构316的位置。步骤400可包括在显示系统132处将解剖结构326的位置322、324显示410在第一模式图像320上，该第一模式图像由根据第一模式处理的超声影像循环生成。
54.在各种实施方案中，第一模式是b模式，并且第二模式是m模式。在某些实施方案中，根据第一模式处理超声影像循环可包括生成b模式图像320并检测b模式图像320中的肋骨阴影。根据第二模式处理超声影像循环的至少一部分可包括基于b模式图像320中检测到的肋骨阴影生成至少一个m模式图像310。在示例性实施方案中，根据第二模式处理超声影像循环的至少一部分可包括生成1个至3个m模式图像310。在代表性实施方案中，解剖结构是胸膜线316、326。在各种实施方案中，识别解剖结构的位置可包括：通过生成取向梯度直方图来执行特征提取，并且采用分离逻辑以基于取向梯度直方图来确定在第二模式图像310中描绘的解剖结构316。第二模式图像310可以根据第二模式从超声影像循环的至少一部分生成。
55.如本文所用，术语“电路”是指物理电子部件(即，硬件)以及可配置硬件、由硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。例如，如本文所用，当执行一条或多条第一代码时，特定处理器和存储器可包括第一“电路”，并且在执行一条或多条第二代码时，特定处理器和存储器可包括第二“电路”。如本文所用，“和/或”表示列表中的由“和/或”连结的项中的任一个或多个项。例如，“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。作为另一个示例，“x、y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。如本文所用，术语“示例性”表示用作非限制性示例、实例或例证。如本文所用，术语“例如(e.g.)”和“例如(for example)”引出一个或多个非限制性示例、实例或例证的列表。如本文所用，电路“可操作为”和/或“被配置为”每当该电路包括执行功能的必需硬件和代码(如果需要的话)时就执行该功能，不管是否通过某些用户可配置的设置禁用或不启用该功能的执行。
56.其他实施方案可提供一种计算机可读设备和/或一种非暂态计算机可读介质，和/或一种机器可读设备和/或一种非暂态机器可读介质，其上存储有具有可由机器和/或计算
机执行的至少一个代码段的机器代码和/或计算机程序，从而使该机器和/或计算机执行如本文所述的用于通过在超声扫描的图像中自动检测和标记胸膜线来增强胸膜线的可视化的步骤。
57.因此，本公开可在硬件、软件或硬件和软件的组合中实现。本公开可能以集中方式在至少一个计算机系统中实现，或以分布式方式实现，其中不同的元件分布在若干互连的计算机系统上。适于执行本文所述的方法的任何种类的计算机系统或其他装置都是合适的。
58.各种实施方案也可嵌入计算机程序产品中，该计算机程序产品包括能够实现本文所述的方法的所有特征，并且当加载到计算机系统中时能够执行这些方法。本文中的计算机程序是指以任何语言、代码或符号表示的一组指令的任何表达，这些指令旨在使具有信息处理能力的系统直接执行特定功能或在以下两项或其中一项之后执行特定功能：a)转换为另一种语言、代码或符号；b)以不同的物质形式进行复制。
59.虽然已经参考某些实施方案来描述了本公开，但是本领域的技术人员应当理解，在不脱离本公开的范围的情况下，可以进行各种改变并可以替换等同物。另外，在不脱离本公开的范围的情况下，可以进行许多修改以使特定情况或材料适应于本公开的教导。因此，本公开不旨在限于所公开的特定实施方案，而是本公开将包括落入所附权利要求书的范围内的所有实施方案。

技术特征：
1.一种方法，包括：由至少一个处理器接收根据第一模式采集的超声影像循环；由所述至少一个处理器根据所述第一模式处理所述超声影像循环；由所述至少一个处理器根据第二模式处理所述超声影像循环的至少一部分；由所述至少一个处理器基于根据所述第二模式处理的所述超声影像循环的所述至少一部分来识别解剖结构的位置；以及由显示系统处的所述至少一个处理器将所述解剖结构的所述位置显示在第一模式图像上，所述第一模式图像由根据所述第一模式处理的所述超声影像循环生成。2.根据权利要求1所述的方法，其中所述第一模式是b模式。3.根据权利要求2所述的方法，其中所述第二模式是m模式。4.根据权利要求2所述的方法，其中根据所述第一模式处理所述超声影像循环包括：生成b模式图像；以及检测所述b模式图像中的肋骨阴影；并且其中根据所述第二模式处理所述超声影像循环的所述至少一部分包括基于所述b模式图像中所检测到的肋骨阴影生成至少一个m模式图像。5.根据权利要求3所述的方法，其中根据所述第二模式处理所述超声影像循环的所述至少一部分包括生成1个至3个m模式图像。6.根据权利要求1所述的方法，其中所述解剖结构是胸膜线。7.根据权利要求1所述的方法，其中识别所述解剖结构的所述位置包括：通过生成取向梯度直方图来执行特征提取；以及采用分离逻辑以基于所述取向梯度直方图来确定第二模式图像中描绘的所述解剖结构，所述第二模式图像根据所述第二模式由所述超声影像循环的所述至少一部分生成。8.一种系统，包括：至少一个处理器，所述至少一个处理器被配置为：接收根据第一模式采集的超声影像循环；根据所述第一模式处理所述超声影像循环；根据第二模式处理所述超声影像循环的至少一部分；以及基于根据所述第二模式处理的所述超声影像循环的所述至少一部分来识别解剖结构的位置；和显示系统，所述显示系统被配置成将所述解剖结构的所述位置显示在第一模式图像上，所述第一模式图像由根据所述第一模式处理的所述超声影像循环生成。9.根据权利要求8所述的系统，其中所述第一模式是b模式。10.根据权利要求9所述的系统，其中所述第二模式是m模式。11.根据权利要求9所述的系统，其中所述至少一个处理器被配置成通过以下方式根据所述第一模式处理所述超声影像循环：生成b模式图像；以及检测所述b模式图像中的肋骨阴影；以及其中所述至少一个处理器被配置成通过基于所述b模式图像中所检测到的肋骨阴影生成至少一个m模式图像来根据所述第二模式处理所述超声影像循环的所述至少一部分。
12.根据权利要求10所述的系统，其中所述至少一个处理器被配置成根据所述第二模式处理所述超声影像循环的所述至少一部分以生成1个至3个m模式图像。13.根据权利要求8所述的系统，其中所述解剖结构是胸膜线。14.根据权利要求8所述的系统，其中所述至少一个处理器被配置成通过以下方式识别所述解剖结构的所述位置：通过生成取向梯度直方图来执行特征提取；以及采用分离逻辑以基于所述取向梯度直方图来确定第二模式图像中描绘的所述解剖结构，所述第二模式图像根据所述第二模式由所述超声影像循环的所述至少一部分生成。15.一种非暂态计算机可读介质，所述非暂态计算机可读介质上存储有计算机程序，所述计算机程序具有至少一个代码段，所述至少一个代码段能够由机器执行以使得所述机器执行包括下列的步骤：接收根据第一模式采集的超声影像循环；根据所述第一模式处理所述超声影像循环；根据第二模式处理所述超声影像循环的至少一部分；基于根据所述第二模式处理的所述超声影像循环的所述至少一部分来识别解剖结构的位置；以及在显示系统处将所述解剖结构的所述位置显示在第一模式图像上，所述第一模式图像由根据所述第一模式处理的所述超声影像循环生成。16.根据权利要求15所述的非暂态计算机可读介质，其中所述第一模式是b模式，并且所述第二模式是m模式。17.根据权利要求16所述的非暂态计算机可读介质，其中根据所述第一模式处理所述超声影像循环包括：生成b模式图像；以及检测所述b模式图像中的肋骨阴影；以及其中根据所述第二模式处理所述超声影像循环的所述至少一部分包括基于所述b模式图像中所检测到的肋骨阴影生成至少一个m模式图像。18.根据权利要求16所述的非暂态计算机可读介质，其中根据所述第二模式处理所述超声影像循环的所述至少一部分包括生成1个至3个m模式图像。19.根据权利要求15所述的非暂态计算机可读介质，其中所述解剖结构是胸膜线。20.根据权利要求15所述的非暂态计算机可读介质，其中识别所述解剖结构的所述位置包括：通过生成取向梯度直方图来执行特征提取；以及采用分离逻辑以基于所述取向梯度直方图来确定第二模式图像中描绘的所述解剖结构，所述第二模式图像根据所述第二模式由所述超声影像循环的所述至少一部分生成。

技术总结
本发明题为“用于增强胸膜线的可视化的方法和系统”。本发明提供了一种用于通过在超声扫描的图像中自动检测和标记胸膜线来增强胸膜线的可视化的系统和方法。该方法包括接收根据第一模式采集的超声影像循环。该方法包括根据第一模式处理超声影像循环。该方法包括根据第二模式处理超声影像循环的至少一部分。该方法包括基于根据第二模式处理的超声影像循环的至少一部分来识别解剖结构的位置。该方法包括在显示系统处将解剖结构的位置显示在第一模式图像上，该第一模式图像由根据第一模式处理的超声影像循环生成。理的超声影像循环生成。理的超声影像循环生成。


技术研发人员：拉胡尔
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2021.11.18
技术公布日：2022/5/25