用于进行自动化受检者解剖结构和取向识别的基于深度学习的方法和系统与流程

1.本公开整体涉及改进的医学成像系统和方法，并且更具体地涉及用于在来自使用三维(3d)深度相机的磁共振成像(mri)系统的线圈的遮挡期间使用基于人工智能(ai)的深度学习模块来进行自动化患者解剖结构和取向识别的系统和方法。


背景技术：

2.各种医学成像系统和方法被用来获得受检者解剖结构的受影响区域的图像，以用于诊断医学病症。磁共振成像(mri)是用于对受检者的不同身体部位如头部、胸部、腹部和腿部进行成像的已知医学成像技术。mr成像涉及将受检者定位在mri设备的患者定位系统的检查床上，以及将该患者定位系统移动到mri设备的机架内以用于进行成像。mri系统可包含多种成像射频(rf)线圈，例如全身射频线圈，该全身射频线圈可适于朝向受检者传输波形并被配置为从该受检者接收波以从该受检者采集图像数据。
3.虽然通过这些mr成像技术产生的图像具有良好的质量，但许多图像受到mri系统的操作条件和受检者移动的不利影响。受检者的移动、受检者在患者定位系统上的错误定位、成像线圈在受检者上方的错误定位可导致mri系统获得错误的图像。此类图像可被放射科医生拒绝，并且为了获得高质量的用户可见图像，有必要对受检者进行重新成像。由于此类成像误差导致受检者健康状况恶化，可能会丢失用于治疗患有严重医学病症如创伤的受检者的宝贵时间。因此，为了避免mr图像被拒绝，准确地实现成像技术非常关键。
4.使用mri设备对受检者进行准确成像需要熟练的操作者。操作者方的任何错误将导致图像包含过多干扰或噪声。因此，操作者的培训及其在操作mr成像设备方面的经验将影响mr图像质量。由于操作者在获取身体某些部分的图像方面的经验，操作者可熟练地采集该身体部分的高质量图像，但操作者可能不能熟练地获得整个受检者身体的高质量图像。这可能是由于缺乏成像经验或缺乏整个身体的解剖知识。另外，将mr成像线圈放置在适当的身体部分处会影响图像质量。受检者身体的物理参数如肥胖、骨密度、身高、胸部或腹部尺寸将给操作者正确地定位mr成像线圈以获得感兴趣区域的完整图像带来挑战。mr成像线圈的任何错误放置将导致较差的图像质量和感兴趣区域的图像被拒绝。
5.以下研究中列举了图像拒绝的主要原因：little、kevin j.等人，“unified database for rejected images analysis across multiple vendors in radiography”，journal of the american college of radiology 14.2(2017年)；208-2016。这些拒绝原因可包括受检者在患者定位系统上的不正确定位、操作者对成像技术的不正确使用、受检者的移动、成像伪影等。研究还表明，在不同身体器官和系统的被拒绝图像中，胸部、腹部、骨盆和脊柱区域的图像的拒绝百分比高于其他身体器官的图像的拒绝百分比。
6.mri放射学工作流程中的大多数预扫描误差的原因在于受检者的不适当定位、mri系统的操作者针对待扫描的解剖结构遵循了不正确的成像方案，以及操作者/技术人员的
疏忽大意。负责扫描受检者的操作者/技术人员可能导致预扫描误差，诸如扫描具有不正确的受检者取向的受检者、扫描具有不适当的姿势、角度和方向的受检者。此外，当受检者用待扫描的身体部位的处方登记并进入扫描仪室时，操作者查看该处方，然后使患者做好准备以进行扫描。在此过程中，由于例如操作者错误地解读处方并且指示受检者趋于不适当的姿势和取向，可能导致预扫描误差。受检者可能错误地解读由操作者给出的指令，从而导致不适当的姿势和取向。在另一个示例中，操作者可能没有注意到受检者的不正确姿势和取向而完成扫描。
7.所有这些预扫描误差可导致扫描被拒绝和重复。这导致受检者不适，增加受检者的等待时间以及操作者和放射科医生的认知压力，并进一步降低扫描仪器的生产量。此外，操作者/放射科医生必须基于定位和取向/姿势手动选择用于扫描受检者的适当成像方案。这总是易于出错的，因为如果操作者/技术人员不足够警觉而无法采取正确的方案，则他们最终会以错误的方案或不正确的姿势扫描患者。
8.因此，需要用于向扫描人员提供自动化引导以将受检者适当地定位在mri系统的检查床上、设定扫描参数、使用mri系统的适当的成像线圈并且扫描受检者的区域以生成具有最小误差的高质量mr图像的系统和方法。


技术实现要素：

9.本发明内容介绍了在具体实施方式中更详细描述的概念。其不应当用于确定要求保护的主题的基本特征，也不应当用于限制要求保护的主题的范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。
10.根据本公开的一个方面，公开了一种用于使用基于人工智能(ai)的深度学习模块来对受检者进行自动化解剖结构和取向识别的方法。该方法包括将受检者定位在磁共振成像(mri)系统的检查床上方，并且将至少一个射频(rf)成像线圈缠绕在该受检者上方。该方法还包括使用三维(3d)深度相机获得该受检者的多个深度图像、彩色图像和红外图像。该方法还包括使用由该3d相机获取的这些图像来识别该mri系统的检查床边界。该方法还包括识别该受检者在该检查床上方的位置以确定该受检者是否定位在该mri系统的该检查床边界内，以及识别与受检者身体的多个器官对应的多个关键解剖点。该方法还包括识别该受检者在该mri系统的该检查床上方的取向。该方法还包括识别该mri系统的缠绕在该受检者身体周围的线圈，以及确定该受检者相对于该mri系统的这些线圈的取向。该方法还包括识别被该mri系统的这些线圈遮挡的这些解剖关键点，以确定该mri系统的这些线圈在受检者解剖结构上方的准确定位以用于进行成像。
11.根据本公开的一个方面，公开了一种用于在来自磁共振成像(mri)系统的成像线圈的遮挡期间使用基于人工智能(ai)的深度学习模块来对受检者进行自动化解剖结构和取向识别的系统。该系统包括三维(3d)深度相机，该3d深度相机被配置为捕获定位在该磁共振成像(mri)系统的检查床上的受检者的多个深度图像、彩色图像和红外图像。该系统还包括计算机系统，该计算机系统连接到该3d深度相机并且被配置为接收来自该3d深度相机的该多个图像。该计算机系统包括：处理器；存储器，该存储器连接到该处理器和部署在该存储器上方的至少一个基于人工智能(ai)的深度学习模块。该基于ai的深度学习模块可被配置为使用由该3d相机获得的这些图像来识别该mri系统的检查床边界。该基于ai的深度
学习模块可被进一步配置为识别该受检者在该检查床上方的位置以确定该受检者是否定位在该mri系统的该检查床边界内，并且识别与受检者身体的多个器官对应的多个关键解剖点。该基于ai的深度学习模块可被进一步配置为识别该受检者在该mri系统的该检查床上方的取向，并且识别缠绕在该受检者身体周围的mri线圈，并且确定该受检者相对于这些mri线圈的取向。该基于ai的深度学习模块可被进一步配置为识别被这些mri线圈遮挡的这些解剖关键点，以确定这些mri线圈在受检者解剖结构上方的准确位置以用于进行成像。
附图说明
12.图1(a)是根据本公开的一个方面的为mr图像被拒绝的原因的各种操作参数的图形表示。
13.图1(b)示出了根据本公开的一个方面的表示被拒绝mr图像的器官级(organ-wise)分布的饼图。
14.图2示出了根据本公开的一个方面的磁共振成像(mri)系统的示例性实施方式。
15.图3示出了根据本公开的一个方面的安装在mri系统的检查床上方的示例性三维(3d)深度相机。
16.图4示出了根据本公开的一个方面的进行3d相机的健康检查的方法。
17.图5示出了根据本公开的一个方面的识别检查床边界从而计算mr成像系统的检查床的四个角部和该检查床的中点的方法。
18.图6示出了根据本公开的一个方面的用于使用基于人工智能(ai)的深度学习模块来进行mr检查床识别、受检者的取向、对rf线圈的识别和对解剖结构的识别的方法。
19.图7示出了根据本公开的一个方面的用于使用基于人工智能(ai)的深度学习模块通过三维(3d)深度相机来进行自动化受检者解剖结构和取向识别的方法。
20.图8示出了根据本公开的另一个方面的用于使用基于人工智能(ai)的深度学习模块通过三维(3d)深度相机来进行自动化患者解剖结构和取向识别的方法。
21.图9(a)示出了根据本公开的一个方面的用于使用从深度帧提取的原始点云计数器进行对mri系统的检查床识别的方法。
22.图9(b)示出了根据本公开的一个方面的用于使用从深度相机提取的原始点云计数器的自上而下视图来进行对mri系统的检查床识别的方法。
23.图9(c)示出了根据本公开的一个方面的用于使用从深度相机提取的来自地板平面的点云数据进行对mri系统的检查床识别的方法。
24.图9(d)示出了根据本公开的一个方面的用于使用从深度相机提取的不具有地板平面的点云数据进行对mri系统的检查床识别的方法。
25.图9(e)示出了根据本公开的一个方面的用于使用深度相机、使用检查床平面中的点云数据进行对mri系统的检查床识别的方法。
26.图10(a)示出了根据本公开的一个方面的用于识别患者的基于人工智能(ai)的深度学习模块。
27.图10(b)示出了根据本公开的一个方面的用于识别患者的基于人工智能(ai)的深度学习模块。
28.图11示出了根据本公开的一个方面的用于在放置线圈之前识别关键解剖点的方
法。
29.图12示出了根据本公开的一个方面的使用形状和厚度对受检者进行的基于ai的取向识别。
30.图13示出了根据本公开的一个方面的对mri系统的rf线圈的基于ai的识别。
31.图14示出了根据本公开的一个方面的基于焦点损失的类别不平衡对象识别网络。
32.图15示出了根据本公开的一个方面的利用rf线圈对受检者进行的基于ai的识别。
33.图16示出了根据本公开的一个方面的用于在来自磁共振成像(mri)系统的成像线圈的遮挡期间使用基于人工智能(ai)的深度学习模块来对受检者进行自动化解剖结构和取向识别的方法。
具体实施方式
34.在以下说明书和权利要求书中，将引用应被定义为具有以下含义的几个术语。
35.单数形式“一”、“一个”和“该”包括多个引用物，除非上下文另外明确指出。
36.如本文所用，术语“非暂态计算机可读介质”旨在表示在用于短期和长期存储信息的任何方法或技术中实现的任何有形的基于计算机的设备，诸如任何设备中的计算机可读指令、数据结构、程序模块和子模块或其他数据。因此，本文所述的方法可被编码为体现在包括但不限于存储设备和/或存储器设备的有形非暂态计算机可读介质中的可执行指令。当由处理器执行时，此类指令使得处理器执行本文所述的方法的至少一部分。此外，如本文所用，术语“非暂态计算机可读介质”包括所有有形计算机可读介质，包括但不限于非暂态计算机存储设备，包括但不限于易失性和非易失性介质，以及可移动和不可移动介质，诸如固件、物理和虚拟储存器、cd-rom、dvd和任何其他数字源(诸如网络或互联网)，以及尚未开发的数字装置，唯一例外是暂态传播信号。
37.如本文所用，术语“软件”和“固件”是可互换的，并且包括存储在存储器中以供包括但不限于移动设备、群集、个人计算机、工作站、客户端和服务器的设备执行的任何计算机程序。
38.如本文所用，术语“计算机”和相关术语(例如，“计算设备”、“计算机系统”、“处理器”、“控制器”)不限于本领域中被称为计算机的集成电路，而是广义地指至少一个微控制器、微型计算机、可编程逻辑控制器(plc)、专用集成电路和其他可编程电路，并且这些术语在本文中可互换使用。
39.如本文在整个说明书和权利要求书中所用，可应用近似语言来修改可允许变化而不导致与其相关的基本功能发生变化的任何定量表示。因此，由诸如“约”和“基本上”的一个或多个术语修饰的值不限于所指定的精确值。在至少一些情况下，近似语言可对应于用于测量该值的仪器的精度。在此处并且在整个说明书和权利要求书中，范围限制可组合和/或互换，此类范围可进行标识并且包括其中包含的所有子范围，除非上下文或语言另外指出。
40.在本公开的一个方面中，公开了一种用于使用基于人工智能(ai)的深度学习模块来对受检者进行自动化解剖结构和取向识别的方法。该方法包括将受检者定位在磁共振成像(mri)系统的检查床上方，并且将至少一个射频(rf)成像线圈缠绕在该受检者上方。该方法还包括使用三维(3d)深度相机获得该受检者的多个深度图像、彩色图像和红外图像。该
方法还包括使用由该3d相机获取的这些图像来识别该mri系统的检查床边界。该方法还包括识别该受检者在该检查床上方的位置以确定该受检者是否定位在该mri系统的该检查床边界内，以及识别与受检者身体的多个器官对应的多个关键解剖点。该方法还包括识别该受检者在该mri系统的该检查床上方的取向。该方法还包括识别该mri系统的缠绕在该受检者身体周围的线圈，以及确定该受检者相对于该mri系统的这些线圈的取向。该方法还包括识别被该mri系统的这些线圈遮挡的这些解剖关键点，以确定该mri系统的这些线圈在受检者解剖结构上方的准确定位以用于进行成像。
41.在本公开的另一个方面，公开了一种用于在来自磁共振成像(mri)系统的成像线圈的遮挡期间使用基于人工智能(ai)的深度学习模块来对受检者进行自动化解剖结构和取向识别的系统。该系统包括三维(3d)深度相机，该3d深度相机被配置为捕获定位在该磁共振成像(mri)系统的检查床上的受检者的多个深度图像、彩色图像和红外图像。该系统还包括计算机系统，该计算机系统连接到该3d深度相机并且被配置为接收来自该3d深度相机的该多个图像。该计算机系统包括：处理器；存储器，该存储器连接到该处理器和部署在该存储器上方的至少一个基于人工智能(ai)的深度学习模块。该基于ai的深度学习模块可被配置为使用由该3d相机获得的这些图像来识别该mri系统的检查床边界。该基于ai的深度学习模块可被进一步配置为识别该受检者在该检查床上方的位置以确定该受检者是否定位在该mri系统的该检查床边界内，并且识别与受检者身体的多个器官对应的多个关键解剖点。该基于ai的深度学习模块可被进一步配置为识别该受检者在该mri系统的该检查床上方的取向，并且识别缠绕在该受检者身体周围的mri线圈，并且确定该受检者相对于这些mri线圈的取向。该基于ai的深度学习模块可被进一步配置为识别被这些mri线圈遮挡的这些解剖关键点，以确定这些mri线圈在受检者解剖结构上方的准确位置以用于进行成像。
42.现在将参考图以举例的方式描述本公开的实施方案，其中图1示出了根据本公开的一个方面的为mr图像被拒绝的原因的各种操作参数的图形表示。磁共振(mr)成像涉及将受检者定位在mri系统的检查床上，以及将该检查床移动到该mri系统的机架内以用于进行成像。可基于成像要求而使受检者在检查床上在各种成像位置中定位和取向。检查床上的患者位置的示例中的一些示例包括头先进、脚先进、仰卧、俯卧、左侧卧位和右侧卧位。受检者在mri系统的检查床上的定位和取向可受到待成像受检者的区域或器官的影响。在一个示例中，受检者可在检查床上被置于“头先进”和“仰卧”位置，以用于对受检者的胸部部分内的肺部进行成像，并且mri系统的成像线圈可被定位在该胸部上，以用于从受检者身体采集图像数据。成像线圈在待成像的受检者身体的不同部分上的此类定位易于产生若干误差。图1(a)示出了可能导致mr图像被拒绝的所有此类成像误差的分类。可以看出，受检者在检查床上方的不准确定位是生成不准确mr图像并导致图像被拒绝的最重要原因之一。不准确mr图像的其他突出原因包括mr成像系统的操作者遵循了不正确的成像方案、成像期间患者或患者器官的运动，例如，受检者的手臂、手部或腿部的移动。对mr图像的这些拒绝受到操作者遵循成像方案的准确性的高度影响，并且总是受到人为误差的影响。
43.根据本公开的一个方面，图1(b)示出了表示被拒绝mr图像的器官级分布的饼图。与其他器官相比，mr图像被拒绝的频率对于某些器官而言更高。例如，胸部、脊柱和下肢的mr图像的拒绝百分比高于身体的其他区域(如头部、腹部、骨盆和颈部)的mr图像的拒绝百分比。因此，受检者身体的一些部分的mr图像比其他区域的mr图像更容易产生误差。因此，
不仅需要适当地定位受检者，遵循正确的成像方案，而且重要的是向操作者提供关于患者解剖结构和取向的自动化引导。
44.根据本公开的一个方面，图2示出了磁共振成像(mri)系统(10)的示意图。系统(10)的操作可以从操作者控制台(12)进行控制，该操作者控制台包括输入装置(13)、控制面板(14)和显示屏(16)。输入装置(13)可为鼠标、操纵杆、键盘、跟踪球、触摸致动屏、光棒、语音控制器和/或其他输入装置。输入装置(13)可用于交互式几何形状指定。控制台(12)通过链路(18)与计算机系统(20)通信，该计算机系统使得操作者能够控制显示屏(16)上的图像的产生和显示。链路(18)可以是无线或有线连接。计算机系统(20)可包括通过背板(20a)彼此通信的模块。计算机系统(20)的模块可包括例如图像处理器模块(22)、中央处理单元(cpu)模块(24)和存储器模块(26)，该存储器模块可包括用于存储图像数据阵列的帧缓冲器。计算机系统(20)可联接到档案媒体设备、永久或备份存储器或用于存储图像数据和程序的网络，并且通过高速信号链路(34)与mri系统控件(32)通信。mri系统控件(32)可与计算机系统(20)分开或与其集成。计算机系统(20)和mri系统控件(32)共同形成“mri控制器”(33)或“控制器”。基于人工智能(ai)的深度学习模块可预加载在计算机系统(20)的存储器上。可使用若干mri图像来训练基于ai的深度学习模块识别不同的解剖结构。可进一步训练基于ai的深度学习模块识别若干不同的对象并为mri系统的操作者生成对象的报告、图像、比较分析。基于ai的深度学习模块的结构和功能的更多细节已连同在说明书中适当位置处的附图一起提供。
45.在示例性实施方案中，mri系统控件(32)包括可由底板(32a)连接的模块。这些模块包括cpu模块(36)以及脉冲发生器模块(38)。cpu模块(36)通过数据链路(40)连接到操作者控制台(12)。mri系统控件(32)通过数据链路(40)接收来自操作者的命令以指示待执行的扫描序列。cpu模块(36)操作系统部件以执行期望的扫描序列，并且生成指示所产生rf脉冲的定时、强度和形状以及数据采集窗口的定时和长度的数据。cpu模块(36)连接到由mri控制器(32)操作的部件，包括控制梯度放大器(42)、生理采集控制器(pac)(44)和扫描室接口电路(46)的脉冲发生器模块(38)。
46.在一个示例中，cpu模块(36)从生理采集控制器(44)接收患者数据，该生理采集控制器从连接到受试者的传感器接收信号，诸如从附接到患者的电极接收的ecg信号。cpu模块(36)经由扫描室接口电路(46)接收来自传感器的与患者和磁体系统的状况相关联的信号。扫描室接口电路(46)还使得mri控制器(33)能够命令患者定位系统(48)将患者移动到用于扫描的期望位置。
47.全身rf线圈(56)用于将波形朝向受试者解剖结构传输。全身rf线圈(56)可以为身体线圈(如图1所示)。rf线圈也可以为局部线圈，其可以放置成比身体线圈更靠近受试者解剖结构。rf线圈(56)可为表面线圈。包含接收通道的表面线圈可用于从受试者解剖结构接收信号。典型的表面线圈将具有八个接收通道；然而，不同数量的通道是可能的。已知使用身体线圈(56)和表面线圈两者的组合来提供更好的图像质量。
48.脉冲发生器模块(38)可操作梯度放大器(42)以实现扫描期间产生的梯度脉冲的所需定时和形状。由脉冲发生器模块(38)产生的梯度波形可应用于具有gx、gy和gz放大器的梯度放大器系统(42)。每个梯度放大器在梯度线圈组件(50)中激发相应的物理梯度线圈，以产生用于空间编码所采集信号的磁场梯度。梯度线圈组件(50)可形成磁体组件(52)
的一部分，该磁体组件还包括极化磁体(54)(在操作中，该极化磁体在被磁体组件(52)包围的整个目标空间(55)中提供纵向磁场b0)和全身rf线圈(56)(在操作中，该线圈提供横向磁场b1，该横向磁场在整个目标空间(55)中大致垂直于b0)。mri系统控件(32)中的收发器模块(58)产生脉冲，该脉冲被rf放大器(60)放大并且通过发射/接收开关(62)耦接到rf线圈(56)。由受试者解剖结构中的受激核发射的所得信号可由接收线圈(未示出)感测并通过发射/接收开关(62)提供给前置放大器(64)。放大的mr信号在收发器(58)的接收器部分中被解调、滤波和数字化。发射/接收开关(62)由来自脉冲发生器模块(38)的信号控制，以在发射模式期间将rf放大器(60)电连接到线圈(56)，并且在接收模式期间将前置放大器(64)连接到接收线圈。
49.通过收发器模块(58)将由目标的激励产生的mr信号数字化。mr系统控件(32)然后通过傅里叶变换处理数字化的信号以产生k-空间数据，该k-空间数据经由mri系统控件(32)传输到存储器模块(66)或其他计算机可读介质。“计算机可读介质”可包括例如被配置成使得电、光或磁状态可通过常规计算机以可感知和可再现的方式固定的结构(例如，印刷到纸张或显示在屏幕、光盘或其他光学存储介质上的文本或图像、“闪存”存储器、eeprom、sdram或其他电存储介质；软盘或其他磁盘、磁带或其他磁存储介质)。
50.当在计算机可读介质(66)中采集到原始k-空间数据的阵列时，扫描完成。对于每个要重建的图像，该原始k-空间数据被重新布置成单独的k-空间数据阵列，并且这些k-空间数据阵列中的每一个被输入到阵列处理器(68)，该阵列处理器操作以使用重建算法诸如傅里叶变换将数据重建成图像数据的阵列。该图像数据通过数据链路(34)传送到计算机系统(20)，并存储在存储器中。响应于从操作者控制台(12)接收到的命令，该图像数据可归档在长期存储装置中，或者可由图像处理器(22)进一步处理并且传送到操作者控制台(12)，并且呈现在显示器(16)上。
51.根据本公开的一个方面，图3示出了安装在mri系统的检查床(320)上方的三维(3d)深度相机(310)。3d深度相机(310)可被配置为检测视场(330)的深度以准确地确定检查床(320)边界和受检者(340)在检查床(320)上的位置。在一个方面，3d深度相机(310)可包含红外光发射源和用于发送和检测来自相机(310)的红外光的红外光检测器。3d深度相机可相对于扫描室内的mri系统(350)安装在多个不同位置处。3d深度相机(310)的位置的一些非限制性示例包括房间的天花板、侧面墙壁、安装在支架上的、安装在扫描仪上的或横向安装的。在安装3d相机(310)时，可测试3d相机(310)的颜色模型(红-绿-蓝或rgb)、深度和红外流。可将用于处理图像数据的适当固件安装3d相机(310)上，该固件可周期性地更新。
52.根据本公开的一个方面，图4示出了用于进行3d相机(310)的健康检查的方法(400)。方法(400)包括检查(410)是否完成相机设置如颜色模型(rgb)、深度、红外和固件更新。如果观察到未完成任何设置，则方法(400)包括检查(420)3d相机以查看连接性、视场、usb连接线和固件更新。一旦完成相机设置，方法(400)就包括校准(430)房间内的不同相机以用于进行成像并获得检查床、受检者和检查床中点的坐标。
53.根据本公开的一个方面，图5示出了识别检查床边界、计算检查床的四个角部和中点的方法(500)。方法(500)包括受检者带着成像处方登记并进入(510)用于扫描的成像室。方法(500)包括将相机坐标转换(520)为世界坐标，以用于将受检者准确地定位在mri系统
的成像检查床上。将坐标转换(520)为世界坐标包括使用旋转变换矩阵和齐次变换矩阵、原理和在3d相机的校准(430)期间获得的焦点从相机坐标系转换为受检者坐标系。方法(500)还包括生成(530)相对于mr成像系统的患者坐标。生成(530)相对于mr成像系统的患者坐标包括识别受检者相对于mr成像系统的位置和取向。方法(500)包括激活(540)3d相机以从该3d相机获得颜色、红外和深度成像流。方法(500)还包括检查(550)彩色帧的照度和来自由3d成像相机获得的深度帧的噪声水平。方法(500)包括检查(560)彩色帧的直方图值以查看照度。如果扫描室中的照明水平足以用于进行成像，则可执行进一步的图像处理(570)，包括颜色深度对准、抽取滤波、最小和最大距离阈值化、背景减除、对深度帧和rgb帧的高斯平滑化。
54.方法(500)还包括基于图像处理(570)识别(580)检查床边界从而计算检查床的角部和中点。在检查(560)期间，如果观察到照明水平不足，则方法(500)包括将相机切换(561)为红外模式，以及对由3d相机获得的红外图像帧执行高斯平滑化。方法(500)还包括平滑化(562)红外帧以生成平滑化的红外帧和噪声已消除的深度帧。可处理这些平滑化的红外帧和噪声已消除的深度帧以识别(580)检查床边界，从而计算检查床的角部和中点。由3d相机获得的图像的另一个图像质量参数包括限定(563)深度值的标准偏差。如果深度帧的标准偏差小于十(《10)，则可执行进一步的图像处理(570)，包括颜色深度对准、抽取滤波、最小和最大距离阈值化、背景减除、对深度帧和rgb帧的高斯平滑化。然而，如果深度帧的标准偏差具有大于十(》10)的值，则方法(500)包括：在进行用于识别检查床边界和检查床的中点的进一步的图像处理(570)之前，等待(564)来自3d相机的标准偏差值小于十(《10)的后续深度帧。使用方法(500)的所识别的检查床的边界和中点，可训练人工智能(ai)模块识别检查床边界和检查床的中点。
55.根据本公开的一个方面，图6示出了用于使用基于人工智能(ai)的深度学习模块来进行mr检查床识别、受检者的取向、对rf线圈的识别和对解剖结构的识别的方法(600)。在一个方面，方法(600)包括采用(610)基于ai的深度学习(dl)模块来识别检查床的边界。方法(600)还包括(620)通过基于ai的深度神经网络模型来识别受检者的取向。受检者的取向的示例包括头先进、脚先进、仰卧、俯卧、左侧卧位和右侧卧位。方法(600)还包括使用dl模块来识别(630)缠绕在受检者身体周围的成像线圈。多个成像线圈可同时缠绕在受检者身体周围以用于进行成像，并且方法(600)包括使用基于ai的深度学习模块来识别(630)缠绕在受检者身体周围的不同线圈。成像线圈的一些非限制性示例包括头部线圈、胸部线圈、腿部线圈或全身线圈。当基于ai的深度学习模块识别(630)不同线圈时，方法600还包括识别(640)与线圈对应的所有解剖结构。在一个示例中，如果基于ai的深度学习模块将特定rf线圈识别为头部线圈，则基于ai的深度学习模块将提供头部的取向的细节。方法(600)还包括命名(650)所识别的解剖结构，以及在操作者控制台上显示该解剖结构的中点的坐标f(x,y)。mr成像系统的操作者可手动选择成像线圈并将其定位在受检者解剖结构上方，并且方法(600)还包括将dl模块识别的受检者的解剖结构和取向与操作者选择的解剖结构和对应的线圈进行比较(660)。操作者选择的成像方案可通过控制台输入到计算机系统，以用于与预加载在基于ai的深度学习模块上的成像方案进行比较。如果由操作者选择的成像方案与基于ai的深度学习模块识别的方案不匹配，则方法(600)包括向操作者警示(670)操作者方案与基于ai的深度学习模块识别的方案的不匹配，并且直到解剖结构位置、受检者的取
向和成像线圈的位置与基于ai的深度学习模块识别的方案匹配才允许mr成像系统扫描。方法(600)还包括当基于ai的深度学习模块识别的方案与由操作者选择的方案匹配时扫描(680)受检者。
56.根据本公开的一个方面，图7示出了用于使用基于人工智能(ai)的深度学习模块通过三维(3d)深度相机来进行自动化受检者解剖结构和取向识别的方法(700)。图7是图6的方法(600)的视觉表示。方法(700)包括受检者带着成像处方登记并进入(710)用于成像的扫描室。方法(700)包括由操作者通过控制台选择(720)成像方案，并且由操作者手动检查(730)控制台选择的解剖结构及其取向是否存在于检查床上。操作者选择的方案被输入到基于ai的深度学习模块。方法(700)还包括使用3d相机捕获(740)受检者取向和rf线圈在解剖结构上方的位置。方法(700)还包括处理(750)由3d相机捕获的图像以用于颜色模型(rgb)检查、深度帧检查和红外帧检查，并且将这些图像输入到基于ai的深度学习模块。方法(700)还包括由基于ai的深度学习模块将由操作者输入的成像方案与从3d相机接收的取向图像和线圈图像进行比较(760)，以根据该成像方案确定操作者是否已将正确类型的线圈准确地放置在处方规定的解剖结构上。ai引擎预加载有成像方案以断定受检者的取向和线圈在解剖结构上方的放置的准确性。在一个示例中，当操作者已正确地识别解剖结构，但错误地识别取向并错误地放置线圈时，ai模块将提供示出解剖结构的识别正确但线圈的取向和放置错误的输出。在另一个示例中，如果操作者正确地识别受检者的解剖结构和取向并准确放置成像线圈，则ai模块将提供指示解剖结构的识别准确、线圈的取向和放置准确的输出。
57.根据本公开的一个方面，图8示出了用于使用基于ai的深度学习模块通过三维(3d)深度相机来进行自动化患者解剖结构和取向识别的方法(800)。方法(800)包括受检者登记并进入(810)mri扫描室，并且躺在检查床上。方法(800)还包括使用3d相机捕获(820)受检者的图像，以获得用于对受检者进行成像的患者解剖结构、取向和线圈的细节。方法(800)还包括处理(830)由3d相机捕获的图像以获得颜色模型(rgb)、深度帧和红外帧，以识别检查床边界、患者解剖结构、取向和rf线圈，并且将这些细节输入ai模块。方法(800)还包括通过ai模块处理(840)从3d相机和患者检查床获得的图像，以用于对解剖结构、取向和线圈的基于ai的识别，从而生成响应。方法800还可包括在控制台上显示(850)解剖结构、取向、线圈的细节并且可能需要此类其他细节，例如解剖结构的中点。ai模块确定对解剖结构、取向和线圈的识别是否与成像方案匹配，并且在控制台上显示该成像方案与实际解剖结构、受检者的取向和线圈的放置之间的任何差异。
58.将详细说明用于mri检查床识别的方法。根据本公开的一个方面，图9(a)示出了使用从深度帧提取的原始点云计数器进行mri检查床识别的方法。方法(900)包括从深度数据内的其他平面提取(910)检查床平面。这包括从3d相机的深度帧提取与相机坐标系对应的点云数据。图9(b)示出了使用从3d深度相机提取的原始点云计数器的自上而下视图来进行mri检查床识别的方法(920)。从图9(b)可以看出，距相机最近的数据点(例如，患者检查床)和距相机最远的数据点(例如，地面)可被识别为不同的结构并且以不同的颜色显示。
59.根据本公开的一个方面，图9(c)示出了可包括使用从深度相机提取的来自地板平面的点云数据进行的mri检查床识别的方法(900)。方法(900)包括提取(930)第一平面(地板)中的、来自点云数据的其余部分的点云数据。最初，可将最大点至平面距离设置为安装
在天花板上的相机与地板之间的距离。换句话讲，点至平面的可能最远距离(该点仍然被认为是该平面的一部分)可为相机与床之间的距离。所需平面的法向量可以是[0,0,1]，因为该平面可大致在x-y平面上。平面的最大角距离可被设置为30
°
。使用函数pcfitplane()、点云数据、最大点至平面距离、参考向量和最大角距离，可创建地板平面。地板平面数据点可被设置为平面1。pcfitplane()可指与mri床点对应的[x,y,z]坐标，可根据该mri床点限定最佳拟合平面。预期格式是由数组([[x1,y1,z1],...[xn,yn,zn]])表示的数组。在3d欧几里得空间中，每个平面可如(1)那样进行表示。因此，根据点的分布和平面函数，最佳拟合平面能够通过最小二乘方拟合(lsf)来计算。lsf使用最小化从所有3d点至最佳平面的如(2)和(3)的法向距离的平方和的概念来确定最佳拟合平面的参数。
[0060]
ax by cz d＝0，其中a和b是平面的法线
ꢀꢀ
(1)
[0061]
其中pi表示距平面的第i点的法向距离，
[0062][0063]
点云平面拟合方法用于计算mri床点云的x y z平面，并且使用ls将平面拟合到适当的点云轴线。点云平面拟合确保床点被分组，患者可在拟合的平面内被识别，并且床点被清楚地描绘到精确平面。
[0064]
根据本公开的一个方面，图9(d)示出了可包括使用从深度相机提取的具有地板平面的点云数据进行的mri检查床识别的方法(900)。方法(900)包括显示(940)在地板移除之后的剩余点云数据。由于噪声和最大点至平面的距离值，未示出应当被认为是地板平面的一部分的一些点。此外，从数据提取检查床平面可能不需要提取地板平面。
[0065]
根据本公开的一个方面，图9(e)示出了使用深度相机、使用检查床平面中的点云数据进行mri检查床识别的方法(900)。方法(900)包括提取(950)第二平面(检查床)中的、来自剩余点云数据的点云数据。为了提取检查床，可使用感兴趣区域来缩小该检查床的“z”位置。感兴趣区域考虑了可位于两米距离内或更靠近相机的任何点。函数pcfitplane()可再次与相同的最大点至平面距离一起使用，但与剩余点云数据和感兴趣区域内的点的指数结合使用。检查床平面数据点被设置为平面2或点云的法向平面。使用第二平面来计算床边界的四个角部及其中点。在床边界的四个角部内执行所有后续智能处理，诸如基于基于ai的深度神经网络的线圈识别、患者识别、取向和解剖结构识别。每当深度是嘈杂的并且点云未被准确提取时，基于ai的形状检测神经网络识别检查床边界并输出该检查床边界的四个角部。检查床边界提取适用于对接mri患者检查床和非对接mri患者检查床两者。
[0066]
根据本公开的一个方面，图10(a)示出了用于识别患者的基于人工智能(ai)的深度学习模块。在将成像线圈放置在受检者身体上之前，必须识别该受检者是否躺在检查床的边界内。检查床的边界和该检查床的四个角部点可根据参考图9(a)至图9(e)说明的方法(900)来断定。可使用3d相机来获得受检者的图像，并且可采用基于ai的受检者关键点算法来断定患者是否躺在使用点云计算的床边界的四个角部点内。此外，图10(a)示出了用于对解剖区和线圈的基于区域的识别的基于ai的深度学习模块的架构。来自相机的是彩色深度帧和rgb彩色帧的组合的输入图像被馈送到区域提议卷积神经网络(rp-cnn)(1010)，该rp-cnn识别患者、患者掩膜、线圈的掩膜和患者的解剖区。一旦适当地识别掩膜区域，就使用基
于区域的池化和感兴趣区域对准方法提取掩膜内的特征。可查询可能存在感兴趣对象的多个可能区域，并且将边界框填充到这些可能区域中的每个可能区域。然后将这些可能的区域传递到卷积神经网络。该卷积神经网络的主干可以是残差网络(resnet)(1020)，该resnet负责确定可能的对象区域的类别，然后用感兴趣边界区掩膜突出显示每个类别的区域。每当残差网络未能识别某些复杂特征时，调用被称为特征金字塔网络(fpn)(1030)的另一个主干来对准感兴趣区域。在对准之后，区域提议网络(1010)生成可能存在感兴趣对象的可能区域的掩膜区。
[0067]
根据本公开的一个方面，图10(b)示出了用于识别患者的基于人工智能(ai)的深度学习模块。图10(b)使用图10(a)的整个ai模块架构作为处理块。对准彩色深度输入和深度帧(1040)以提取处于遮挡状态和非遮挡状态的患者轮廓。根据本公开的一个方面，如图10(b)所示，基于ai的深度学习模块用于识别患者是否存在于遮挡线圈内。为了执行患者识别，图10(b)的网络计算可能的解剖区域坐标，并且这些坐标可以固定的批量大小进一步馈送到区域提议网络(1050)。每个批量可由大约五十个基于区域的提议掩膜/患者的形状组成。可从可能的患者掩膜的深度信息提取特征图(1060)，然后将其馈送到多个级联多卷积神经网络块(1070)以进行识别。一旦该区域被确信地识别，就可通过基于特征描述符的向量(1080)验证该区域中患者的存在，该基于特征描述符的向量计算可能的患者区域的平均厚度并给出患者存在的最终置信度得分。
[0068]
医学图像数据的采集、处理、分析和存储对医疗保健环境中患者的诊断和治疗起着重要作用。医学成像工作流以及该工作流中涉及的设备可在医学成像工作流和设备的整个操作中配置、监测和更新。机器学习可用于帮助配置、监测和更新医学成像工作流和设备。
[0069]
例如，机器学习技术(不论是深度学习网络，还是其他体验/观察学习系统)可用于定位图像中的对象，理解语音并且将语音转换为文本，并且提高搜索引擎结果的相关性。深度学习是机器学习的子集，该机器学习使用一套算法以使用具有多个处理层(包括线性和非线性变换)的深度图对数据中的高层抽象化进行建模。虽然许多机器学习系统都是先植入初始特征和/或网络权重、再通过机器学习网络的学习和更新加以修改，但是深度学习网络是通过训练自身来识别分析的“良好”特征。使用多层架构时，采用深度学习技术的机器对原始数据的处理可好于使用常规机器学习技术的机器。使用评估或抽象化的不同层促进了各组高度相关的值或区别性主题的数据检查。
[0070]
在某些示例中，深度学习和/或其他机器学习网络可被配置为确定图像采集处方或以其他方式形成数据结构，以基于期望图像质量(iq)实例化图像采集的参数/设置。在某些示例中，使用多个深度学习网络来生成图像采集处方。例如，第一网络(例如，回归网络等)基于期望iq和所选择(例如，由用户选择，由程序、成像方案和/或其他系统指定等)的扫描时间来计算图像采集处方参数，以形成图像采集“处方”或配置数据结构。例如，与深度学习网络相比，回归网络的权重更轻，并且计算密集度更低。
[0071]
可生成具有最接近图像采集处方(例如，由第一网络计算)的iq的图像的图像预览。第二网络(例如，深度学习网络等)周期性地从所获得的位点图像学习iq度量，并更新第一网络以改善第一网络的对应图像采集参数的生成。术语“卷积神经网络”或“cnn”是用于在深度学习中检测、分割和识别数据集中的相关对象和区域的互连数据的生物启发网络。
cnn以多个阵列的形式评估原始数据，将数据分为一系列级，检查数据中学习到的特征。
[0072]
根据本公开的一个方面，图11示出了用于在放置rf线圈之前确定(1110)限定受检者的解剖点的关键点(1111)的方法(1100)。一旦rf线圈安装在受检者身体上，受检者的解剖结构就对于操作者或相机而言可能是不可见的。在此类情况下，ai模块自动确定线圈在适当解剖结构上方的准确放置的能力可能受到阻碍。该问题可通过在放置rf线圈之前限定与患者的各种器官对应的关键解剖点(1111)来解决。一旦标记了关键解剖点(1111)，网格线(1112)就可用于连接这些关键点(1111)并生成受检者的躯干图像(1113)以用于解剖结构识别。在确定mri系统的rf线圈在受检者解剖结构上方的准确定位以用于进行成像时，识别患者区域的关键解剖点和取向可取决于被毯子、病号服或受检者身体上方的任何种类的覆盖物遮挡的区域。各种类型的rf成像线圈可被毯子、病号服和覆盖物遮挡，并且识别rf线圈对于mri检查期间的准确定位和自动化界标是重要的。
[0073]
受检者的躯干图像(1113)限定解剖形状、其尺寸，并且识别器官的位置以确定rf线圈在解剖结构上方的准确放置。生成躯干图像(1113)包括识别受检者上与各种器官和解剖区域对应的关键点(1111)，以及连接关键点(1111)以生成该受检者的躯干图像(1113)。当成像线圈诸如rf线圈缠绕在受检者身体周围以用于进行成像时，受检者的器官可能不存在于用于成像的相机的视场(fov)中。为了确定成像线圈在受检者身体表面上方的准确放置，躯干图像(1113)可用作受检者身体的模拟物，并且rf线圈的坐标可被映射到受检者器官在躯干图像(1113)上的位置。
[0074]
根据本公开的一个方面，图12示出了使用形状和厚度对受检者进行的基于ai的取向识别。可基于为受检者处方规定的成像要求将受检者以各种取向放置在检查床上。检查床上的各种受检者放置包括例如头先进仰卧(1210)、左侧卧位(1220)、右侧卧位(1230)和头先进俯卧(1240)。确定成像线圈在受检者的解剖区域上方的准确放置可能需要识别受检者的取向。一旦执行了检查床边界识别和基于关键点的患者识别，就可执行患者取向识别。ai模块可被配置为确定受检者的取向，并且在控制台上生成受检者的图像以识别受检者的取向。ai模块还可被配置为识别受检者的处方规定的取向和通过使用3d成像相机获得的受检者的实际取向之间的不匹配。当观察到受检者的处方规定的取向和实际取向之间的任何不匹配时，ai模块可被进一步配置为向操作者开处方规定受检者取向的必要改变，直到实现受检者的处方规定的取向。
[0075]
根据本公开的一个方面，图13示出了对rf线圈的基于ai的识别。如参考图2所述，rf线圈可用于对受检者进行成像，并且使用rf线圈(1310)对受检者进行成像包括将rf线圈(1310)缠绕在受检者身体(1320)周围并对受检者进行成像。成像线圈1310的一些非限制性示例包括头部线圈(1311)、胸部线圈(1312)和腿部线圈(1313)。在本公开的一个方面，可使用基于焦点损失的类别不平衡对象识别网络来识别缠绕在受检者身体周围的各种rf线圈。根据本公开的一个方面，图14示出了可用于识别缠绕在受检者身体周围的rf线圈的基于焦点损失的类别不平衡对象识别网络。焦点损失函数可用作识别rf线圈的鉴别器。根据如图14所示的示例性函数，参数pt是用数值1作为标签的类别的概率的符号。如果变量y表示基准真值值并且是0或1，则p∈[0,1]的概率是由模型针对基准真值或实际类别y＝1估计的概率。为了实现符号上的简便，变量pt被定义为：
[0076][0077]
焦点损失可如下进行计算：fl(pt)＝-(1-pt)
γ
log(pt)。
[0078]
调节因子(1-pt)
γ
因此被添加到原始的交叉熵公式中。当传递到模型的实例被错误分类并且pt较小时，调节因子几乎为1，因此不影响损失。由pt趋于1，调节因子趋于0，因此同样地，损失不受影响。因此，所有良好分类的示例都具有较低的权重。可通过调节因子来平滑地控制各种示例的这种向下加权。可将ai识别的rf线圈连同其取向呈现给操作者以用于查看。
[0079]
根据本公开的另一个方面，图14示出了使用基于ai的深度学习网络进行的rf线圈识别，该基于ai的深度学习网络可以是使用焦点损失鉴别器函数的类别不平衡对象识别网络。在一个示例中，输入的受检者的经处理的颜色和深度相机图像或输入的经处理的来自深度相机的红外图像和深度可被输入到基于ai的深度学习网络。ai网络可被配置用于自动化的基于ai的rf线圈、解剖结构及其对应的取向/视图识别，该ai网络可计算所识别的解剖区(2d)的空间位置、坐标、所识别的解剖区(2d)的中点，以及解剖结构相对于受检者坐标f(x,y,z)的3d坐标，其中z为所识别的解剖区的厚度。
[0080]
一旦已识别患者区域并且通过10(b)确认了患者的存在，下一个步骤就可以是识别放置在或围绕患者身体周围的线圈。除了类型之外，还可使用深度图(1410)来计算线圈的空间位置和线圈的深度图案。在这些深度图(1410)中，线圈的特征被提取，并且用于识别患者的逻辑操作在这里也被应用。roi池化、区域提议(1420)和基于深度的特征提取(1430)可被采用来处理输入深度图(1410)。可采用的附加处理是将来自线圈的特征描述符(1440)的信息与患者厚度的信息组合，并且迭代地对整流线性单元的最大平均向量求和。该迭代求和包含所识别的线圈的坐标。该信息被馈送到基于焦点损失的鉴别器(1450)以移除虚假的和错误识别的线圈区域并且仅保留真实线圈位置。一旦计算出线圈的真实的坐标、空间位置和中点，下一个步骤就对线圈的类型、具有线圈的患者的取向进行分类。
[0081]
根据本公开的一个方面，图15示出了对缠绕有rf线圈的受检者的基于ai的识别。对具有线圈的受检者的基于ai的识别可使用与相对于图(9)和图(10)所述的方法类似的方法来执行。可将使用3d相机获得的受检者连同rf线圈的图像输入到基于ai的深度学习模块，以识别线圈的类型和rf线圈在受检者解剖结构上方的准确定位。此外，可对线圈类型和具有线圈的患者的取向进行分类。分类类别是指线圈类型类别诸如头部线圈、颈部线圈、身体线圈、肢体线圈，以及患者的取向诸如仰卧或俯卧。
[0082]
线圈的这种分类可由vgg 19神经网络(1510)执行。vgg 19是卷积神经网络。到cov1层的输入是固定尺寸的rgb图像。图像通过卷积(conv.)层的叠堆，其中滤波器可与非常小的感受野(3
×
3)(这是捕获左/右、上/下、中心的概念的最小尺寸)一起使用。在配置中的一个配置中，该网络还利用1
×
1卷积滤波器，其可被视为输入信道的线性变换(之后是非线性)。卷积步长被固定为1个像素；卷积层输入的空间填充使得空间分辨率在卷积之后得以保持。空间池化可由五个最大池化层执行，这五个最大池化层在conv.层中的一些层之后(并非所有conv.层都在最大池化之后)。在步长为2的2
×
2像素窗口上执行最大池化。三个全连接(fc)层在卷积层的堆叠之后：前两个层可各自具有4096个通道，第三个层执行1000种方式的ilsvrc分类，并且因此包含1000个通道(每个类别一个通道)。最终层是softmax
层。全连接层的配置在所有网络中是相同的。
[0083]
患者取向的分类可由被称为inception v3的另一个卷积神经网络执行(1520)。inception v3(1520)是可为四十八层深的卷积神经网络。该网络可包含有利于标签平滑化的合适的算法，诸如rmsprop.。这种类型的正则化成分被添加到损失公式，这防止了网络变得对患者的取向过于有信心并防止过度拟合。此外，由于除了线圈之外还需要对患者取向进行分类，因此可执行分解卷积以减少计算负担，因为该分解卷积减少了网络中涉及的参数的数量。它还监视网络效率。
[0084]
根据本公开的一个方面，图16示出了对与rf线圈对应的解剖结构的基于ai的识别。识别与rf线圈对应的解剖结构包括识别受检者身体上与受检者身体的各种器官和解剖区域对应的关键解剖点，并且使用网格线连接这些关键解剖点以生成该受检者身体的躯干图像。关键点指示受检者身体的各种器官。3d相机可被配置为捕获rf线圈在受检者身体上方的位置，并且ai模块可被配置为识别rf线圈在由ai模块在受检者身体上识别的关键点上方的位置。根据本公开的另一个方面，ai模块可被配置为使用关键点检测算法识别位于rf线圈下方的所有关键点，并且验证rf线圈适用于解剖区域。
[0085]
基于上述系统和方法，根据本公开的另一个方面，图16示出了用于在来自磁共振成像(mri)系统的成像线圈的遮挡期间使用基于人工智能的深度学习模块对受检者进行自动化解剖结构和取向识别的方法(1600)。方法(1600)包括使用三维(3d)深度相机获得(1610)该受检者的多个深度图像、彩色图像和红外图像。方法(1600)还包括使用由该3d相机获取的图像来识别(1620)该mri系统的检查床边界。方法(1600)还包括识别(1630)该受检者在该检查床上方的位置以确定该受检者是否定位在该mri系统的该检查床边界内，以及识别与受检者身体的多个器官对应的多个关键解剖点。方法(1600)还包括识别(1640)该受检者在该mri系统的该检查床上方的取向。方法(1600)还包括识别(1650)该mri系统的缠绕在该受检者身体周围的线圈，以及确定该受检者相对于该mri系统的这些线圈的取向。方法(1600)还包括识别(1660)被该mri系统的这些线圈遮挡的这些解剖关键点，以确定该mri系统的这些线圈在受检者解剖结构上方的准确定位以用于进行成像。方法(1600)可包括在受检者被病号服或毯子遮挡时识别该受检者的所有医学数字成像和通信(dicom)取向和解剖区域。该方法还包括在受检者被病号服或毯子遮挡时识别缠绕在该受检者周围的所有类型的rf线圈。
[0086]
本公开的这些和其他特征提供了使用图像的形状和纹理根据颜色深度或红外帧和深度帧进行的对rf线圈的自动化的基于ai的检测以及rf线圈的对应取向/视图识别。此外，本公开的系统和方法提供了自动化的基于ai的rf线圈、患者解剖结构及其对应的患者取向/视图识别，其将覆盖解剖结构识别区、控制台屏幕上患者视频缩略图的彩色帧和红外帧上的形状。本公开的系统和方法提供了在各种扫描仪室内照明条件(诸如明亮、黑暗、半明亮和半黑暗条件)下的自动化的基于ai的rf线圈、解剖结构及其对应的取向/视图识别。本公开的系统和方法提供了自动化的基于ai的rf线圈、解剖结构及其对应的取向/视图识别，其将覆盖取向识别信息作为控制台屏幕上患者视频缩略图的彩色帧和红外帧上的字符串，覆盖在相机的视场中看到的并且可用于计算空间位置、所识别的解剖区(2d)的坐标、所识别的解剖区(2d)的中点以及解剖结构相对于患者坐标f(x,y,z)(其中z为所识别的解剖区的厚度)的3d坐标的所有解剖结构。
[0087]
该书面描述使用示例来公开本发明，包括最佳模式，并且使本领域技术人员能够实践本发明，包括制造和使用任何计算系统或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

技术特征：
1.一种用于使用基于人工智能(ai)的深度学习模块对受检者进行自动化解剖结构和取向识别的方法，所述方法包括：将受检者定位在磁共振成像(mri)系统的检查床上方，并且将至少一个射频(rf)成像线圈缠绕在所述受检者上方；在受检者身体被所述至少一个射频(rf)成像线圈遮挡期间，使用三维(3d)深度相机来获取所述受检者的多个深度图像、彩色图像和红外图像；使用由所述3d深度相机获得的所述图像来识别所述mri系统的检查床边界；识别所述受检者在所述mri系统的检查床上方的物理空间中的位置，以确定所述受检者是否定位在所述mri系统的所述检查床边界内，并且识别与所述受检者身体的多个器官对应的多个关键解剖点和区域；识别所述受检者在所述mri系统的所述检查床上方的取向；识别所述mri系统的缠绕在所述受检者身体周围的所述至少一个rf成像线圈的类型，并且确定所述受检者相对于所述mri系统的所述至少一个rf成像线圈的所述取向；以及识别被所述mri系统的所述至少一个rf成像线圈遮挡的所述多个关键解剖点和区域，以确定所述mri系统的所述至少一个rf成像线圈在受检者解剖结构上方的准确定位，以用于进行成像并执行所述受检者解剖结构的自动化界标。2.根据权利要求1所述的方法，其中由所述3d深度相机获得所述多个图像包括：针对任何颜色模型、成像深度和红外流对所述3d深度相机执行健康检查，以及校准所述3d深度相机以用于进行成像。3.根据权利要求1所述的方法，其中识别所述mri系统的所述检查床边界包括：将3d相机坐标系改为患者坐标系；生成与所述mri系统对应的患者物理坐标系；激活所述3d深度相机的颜色、红外和深度流以生成所述受检者的彩色帧、红外帧和深度帧；检查所述彩色帧的照明水平、所述深度帧的噪声水平，并且执行颜色深度对准；对所述彩色帧、所述红外帧和所述深度帧中的毯子的识别；抽取滤波；距离阈值化；在所述彩色帧和所述深度帧被照明的情况下的背景减除和高斯平滑化；以及在所述彩色帧和所述深度帧的照度低的情况下切换为所述红外帧以执行所述红外帧的高斯平滑化，从而识别所述mri系统的所述检查床的所述检查床边界。4.根据权利要求3所述的方法，还包括：从所述3d相机的所述深度帧提取所述mri系统的所述检查床的与所述3d深度相机坐标系对应的点云数据；获得所述mri系统的所述检查床的原始点云；提取第一平面—地板平面中的并且来自所述点云数据的其余部分的所述点云数据；获得不具有所述地板平面的所述点云数据；提取所述mri系统的第二平面—检查床平面中的并且来自所述剩余点云数据的所述点云数据；以及使用所述第二平面来计算所述mri系统的所述检查床的四个角部和中点；其中如果深度图像是嘈杂的并且所述3d深度相机不能提取所述点云数据，则所述基于
ai的深度学习模块识别所述检查床边界并使用形状检测神经网络来输出所述检查床边界的所述四个角部。5.根据权利要求1所述的方法，其中识别所述受检者在所述mri系统的所述检查床上方的所述位置以确定所述受检者是否定位在所述mri系统的所述检查床边界内包括：由所述基于ai的深度学习模块处理由所述3d深度相机获得的所述图像以识别所述mri检查床边界，以及识别所述受检者是否位于所述mri检查床边界内。6.根据权利要求1所述的方法，其中识别与所述受检者身体的所述多个器官对应的所述多个关键解剖点包括：识别所述受检者身体上的多个器官、用点标记所述器官，以及通过多条网格线连接所述点以生成所述受检者的躯干图像以用于进行自动化界标，并且识别所述多个关键解剖点和所述受检者的所述取向还包括：识别被所述毯子、病号服和覆盖物遮挡的区域，以确定所述mri系统的所述至少一个rf成像线圈在所述受检者解剖结构上方的准确定位以用于进行成像。7.根据权利要求6所述的方法，其中在将所述至少一个rf成像线圈缠绕在所述受检者身体周围之前，使用所述基于ai的深度学习模块执行识别与所述受检者身体的所述多个器官对应的所述多个关键解剖点。8.根据权利要求1所述的方法，其中识别所述受检者在所述mri系统的所述检查床上方的所述取向包括：由所述基于ai的深度学习模块处理由所述3d深度相机获取的所述图像，以识别其中所述受检者已躺在所述mri检查床上的方向或所述取向。9.根据权利要求1所述的方法，其中识别所述mri系统的缠绕在所述受检者身体周围的所述至少一个rf成像线圈的所述类型包括：采用基于焦点损失的类别不平衡对象识别网络来识别缠绕在具有和不具有病号服和毯子的所述受检者身体周围的所述至少一个rf成像线圈的所述类型。10.根据权利要求1所述的方法，其中识别被所述mri系统的所述至少一个rf成像线圈遮挡的所述解剖关键点或区域包括：识别被所述mri系统的所述类型的所述至少一个rf成像线圈遮挡的所述解剖区域，以及根据预加载在所述基于ai的深度学习模块上的成像方案，使用所述基于ai的深度学习模块识别所述至少一个rf成像线圈是否准确地放置在相应的受检者器官上方。11.根据权利要求10所述的方法，其中识别所述至少一个rf成像线圈在所述受检者器官上方的所述准确放置包括：识别缠绕在所述受检者身体周围的所述mri系统的所述至少一个rf成像线圈；识别缠绕在被毯子遮挡的所述受检者身体周围的所述至少一个rf成像线圈；识别由操作者选择的与所述mri系统的所述至少一个缠绕的rf成像线圈对应的所述解剖结构；识别由操作者选择的与所述mri系统的所述至少一个缠绕的rf成像线圈对应并且被所述毯子遮挡的所述解剖结构；以及使用所述基于ai的深度学习模块将与所述mri系统的所述至少一个rf成像线圈对应的所识别的解剖结构与操作者所选择的解剖结构进行比较。12.根据权利要求11所述的方法，还包括在由所述基于ai的深度学习模块识别的所述解剖结构与由所述操作者选择的所述解剖结构不匹配的情况下警示所述mri系统的所述操
作者。13.根据权利要求11所述的方法，还包括在由所述基于ai的深度学习模块识别的所述解剖结构与由所述操作者选择的所述解剖结构匹配的情况下执行mr成像。14.根据权利要求1所述的方法，还包括：通过操作者控制台输入操作者选择的成像方案，并且将所述成像方案预加载到所述基于ai的深度学习模块上；使用所述3d深度相机获得所述受检者图像并且将所述受检者图像输入到所述基于ai的深度学习模块；使用所述基于ai的深度学习模块将由所述3d深度相机获得的所述图像与所述操作者选择的方案进行比较，以确定所述受检者位置和所述取向是否与所述成像方案匹配；获得相对于所识别的解剖结构和所述至少一个rf成像线圈位置的界标位置，以及警示所述操作者改变所述受检者位置和线圈设置，直到所述受检者位置和所述取向与预加载到所述基于ai的深度学习模块上的所述成像方案匹配。15.根据权利要求1所述的方法，还包括使用所述基于ai的深度学习模块基于所述mri系统的所识别的至少一个成像rf成像线圈和所述受检者的底层解剖结构来自动识别适当的成像方案。16.根据权利要求1所述的方法，还包括自动填充所述mri系统的所述至少一个rf成像线圈、解剖结构和对应的解剖结构中点的列表，以用于在所述mr检查床边界内看到的自动化界标。17.一种用于在来自磁共振成像(mri)系统的至少一个rf成像线圈的遮挡期间使用基于人工智能(ai)的深度学习模块对受检者进行自动化解剖结构和取向识别的系统，所述系统包括：三维(3d)深度相机，所述3d深度相机被配置为捕获定位在所述磁共振成像(mri)系统的检查床上的所述受检者的多个深度图像、彩色图像和红外图像；计算机系统，所述计算机系统连接到所述3d深度相机并且被配置为从所述3d深度相机接收所述图像，其中所述计算机系统包括：处理器；存储器，所述存储器连接到所述处理器；至少一个基于人工智能(ai)的深度学习模块，所述至少一个基于ai的深度学习模块部署在所述存储器上方，其中所述基于ai的深度学习模块被配置为：使用由所述3d相机获得的所述图像来识别所述mri系统的检查床边界；识别所述受检者在所述检查床上方的物理位置，以确定所述受检者是否定位在所述mri系统的所述检查床边界内，并且识别与受检者身体的多个器官对应的多个关键解剖点；识别所述受检者在所述mri系统的所述检查床上的多个dicom取向；识别缠绕在所述受检者身体周围的所述至少一个rf成像线圈，并且确定所述受检者相对于所述至少一个rf成像线圈的所述取向；以及识别被所述至少一个rf线圈遮挡的所述解剖关键点，以确定所述mri线圈在受检者解剖结构上方的准确位置以用于进行成像。18.根据权利要求17所述的系统，其中所述3d深度相机能够安装在天花板上、安装在墙
壁上、安装在支架上、安装在扫描仪上或横向安装。19.根据权利要求17所述的系统，其中所述受检者的所述取向包括头先进、脚先进、仰卧、俯卧、左侧卧位、右侧卧位，以及其他dicom位置。20.根据权利要求17所述的系统，其中所述mri系统的所述至少一个rf线圈包括射频(rf)头部线圈、胸部线圈、腿部线圈、全身线圈、肢体线圈、腹部线圈和mri体积线圈。21.根据权利要求17所述的系统，其中所述计算机系统被配置为在由所述基于ai的深度学习模块推荐的成像方案和由操作者设置并通过3d深度相机帧识别的多个成像参数之间检测到不匹配的情况下生成警示。22.根据权利要求21所述的系统，其中所述成像参数包括线圈类型、受检者取向、受检者解剖结构，以及所述mri系统的所述检查床上方的受检者位置。23.根据权利要求22所述的系统，其中具有所识别的至少一个rf成像线圈的所述受检者解剖结构的位置用于自动化界标。

技术总结
本发明提供了用于使用基于人工智能(AI)的深度学习模块进行自动化患者解剖结构和取向识别的系统和方法。该方法包括将受检者定位在磁共振成像(MRI)系统的检查床上方，并且将至少一个射频(RF)成像线圈缠绕在受检者上方。方法包括使用三维(3D)深度相机获得受检者的多个深度图像、彩色图像和红外图像，以及使用由3D相机获得的图像来识别MRI系统的检查床边界。方法还包括识别受检者在检查床上方的位置以确定受检者是否定位该MRI系统的检查床边界内，以及识别与受检者身体的多个器官对应的多个关键解剖点或区域。方法还包括识别受检者在MRI系统的检查床上方的所有DICOM取向，以及识该MRI系统的缠绕在受检者身体周围的线圈，以及确定受检者相对于MRI系统的线圈、病号服和毯子的取向。方法还包括识别被MRI系统的线圈、病号服和毯子遮挡的解剖关键点，以确定MRI系统的线圈在受检者解剖结构上方的准确定位，以用于解剖结构的自动化界标并进行成像。用于解剖结构的自动化界标并进行成像。用于解剖结构的自动化界标并进行成像。


技术研发人员：拉古
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2021.11.04
技术公布日：2022/5/25