一种基于增强现实技术处理显微镜成像的方法与流程

1.本发明属于显微镜成像显示技术领域，尤其涉及一种基于增强现实技术处理显微镜成像的方法。


背景技术：

2.显微镜作为医疗辅助观察设备，提供的信息局限于表面放大观察，对于预见性问题，延伸性问题，合并型可能及数据分析仍需专家经验判断，因此对于使用者的门槛要求一般较高，且初学者很难理论结合实际进行高效诊治。
3.传统的显微镜使用，医生手术期间需长期坚持固定姿势，容易造成于脊柱和颈椎的疲劳，且部分医生瞳距调节困难，大部分医生初学时因操作别扭而避开目镜直视显微镜下强光造成视觉疲劳。
4.另外，医生专注在镜下操作，缺乏与患者的表情交流与情绪关怀，学习者很难实时观测到操作过程，即便使用数字化的手术显微镜，仍然有图像显示延时,无立体视觉，观测角度不方便，视野不够等问题。


技术实现要素：

5.本发明实施例提供一种基于增强现实技术处理显微镜成像的方法，旨在解决背景技术中提出的问题。
6.本发明实施例是这样实现的，一种基于增强现实技术处理显微镜成像的方法，该方法包括：
7.s1、获取显微镜的左右目镜下目标显微成像的双路数字图像信号；
8.s2、对双路数字图像信号进行处理，生成3d影像；
9.s3、将3d影像投送至ar眼镜中显示；
10.s4、构建用于调整3d影像的显示状态的指令数据库；
11.s5、输入第一控制指令，并将所述第一控制指令与所述指令数据库匹配，获取与所述第一控制指令相对应的第一调整指令；
12.s6、根据所述第一调整指令对所述3d影像的显示状态进行调整显示。
13.优选的，所述s1中，双路数字图像信号获取由两个分别安装在显微镜的左右目镜上的相机获取。
14.优选的，所述s2中，对双路数字图像信号进行处理，生成3d影像，包括：
15.s21、对双路数字图像信号进行特征匹配，生成3d影像数据；
16.s22、对3d影像数据镜像处理后，进行视差处理；
17.s23、对经过视差处理后的3d影像数据应用slam算法进行影像空间定位，生成用于投送显示的3d影像。
18.优选的，所述s5中，获取第一调整指令包括：
19.s51、输入第一控制指令；
20.s52、将所述第一控制指令与所述指令数据库匹配，判断是否存在与所述第一控制指令对应的第一调整指令；是则执行s53，否则执行s51；
21.s53、输出所述第一调整指令。
22.优选的，所述显示状态至少包括显示亮度和显示模式。
23.优选的，所述显示模式至少包括上下镜像模式和左右镜像模式。
24.优选的，所述指令数据包括第二调整指令以及与所述第二调整指令对应匹配的第二控制指令。
25.优选的，所述第一调整指令至少为所述第二调整指令中的一种。
26.优选的，所述第一控制指令的输入方式至少包括手势输入和语音输入中的一种。
27.优选的，所述手势输入通过安装在所述ar眼镜上的双目相机获取；
28.语音输入通过安装在所述ar眼镜上的麦克风获取。
29.该方法通过ar立体画面的成像，取代了显微镜的镜像成像，使得操作手法更为简单，且ar眼镜结合显微镜的使用，使得医生不在受制于显微镜操作范围的局限性，可以根据自身习惯及最舒适的状态，使用设备进行治疗，通过实时传输的图像，操作准确性更高，且能及时与患者沟通，降低患者对治疗的恐惧，使得整个治疗过程中医患双方更加舒适。
附图说明
30.图1是一种基于增强现实技术处理显微镜成像的方法的流程示意图；
31.图2是一种基于增强现实技术处理显微镜成像的方法中生成3d影像的流程示意图；
32.图3是一种基于增强现实技术处理显微镜成像的方法中获取第一调整指令的流程示意图。
具体实施方式
33.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
34.本发明提供一种基于增强现实技术处理显微镜成像的方法，如图1、图2和图3所示，该方法包括如下步骤：
35.s1、由两个分别安装在显微镜的左右目镜上的相机获取显微镜的左右目镜下目标显微成像的双路数字图像信号。
36.s2、对双路数字图像信号进行处理，生成3d影像，包括：
37.s21、对双路数字图像信号进行特征匹配，生成3d影像数据。
38.s22、对3d影像数据镜像处理后，进行视差处理。
39.s23、对经过视差处理后的3d影像数据应用slam算法进行影像空间定位，生成用于投送显示的3d影像。
40.s3、将3d影像投送至ar眼镜中显示。
41.s4、构建用于调整3d影像的显示状态的指令数据库。其中，显示状态至少包括显示亮度和显示模式；所述显示模式至少包括上下镜像模式和左右镜像模式。所述指令数据包
括第二调整指令以及与所述第二调整指令对应匹配的第二控制指令。
42.s5、输入第一控制指令，并将所述第一控制指令与所述指令数据库匹配，获取与所述第一控制指令相对应的第一调整指令，包括：
43.s51、通过手势输入和/或语音输入第一控制指令；其中，所述手势输入通过安装在所述ar眼镜上的双目相机获取；语音输入通过安装在所述ar眼镜上的麦克风获取。
44.s52、将所述第一控制指令与所述指令数据库匹配，判断是否存在与所述第一控制指令对应的第一调整指令；是则执行s53，否则执行s51。
45.s53、输出所述第一调整指令。其中，所述第一调整指令至少为所述第二调整指令中的一种。
46.s6、根据所述第一调整指令对所述3d影像的显示状态进行调整显示。
47.该方法通过两个相机分别获取显微镜的左右目镜下目标显微成像的双路数字信号，将双路数字图像信号进行特征匹配后生成3d影像数据，对3d影像数据进行镜像处理后进行视差处理，并在对经过视差处理的3d影像数据应用slam算法进行影像空间定位后生成3d影像，并将3d影像投送至ar眼镜中显示；同时，通过建立指令数据库，根据输入控制指令调整3d影像的显示状态，从而方便使用者观察影像数据。
48.该方法通过ar立体画面的成像，取代了显微镜的镜像成像，使得操作手法更为简单，且ar眼镜结合显微镜的使用，使得医生不在受制于显微镜操作范围的局限性，可以根据自身习惯及最舒适的状态，使用设备进行治疗，通过实时传输的图像，操作准确性更高，且能及时与患者沟通，降低患者对治疗的恐惧，使得整个治疗过程中医患双方更加舒适。
49.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于增强现实技术处理显微镜成像的方法，其特征在于，所述方法包括：s1、获取显微镜的左右目镜下目标显微成像的双路数字图像信号；s2、对双路数字图像信号进行处理，生成3d影像；s3、将3d影像投送至ar眼镜中显示；s4、构建用于调整3d影像的显示状态的指令数据库；s5、输入第一控制指令，并将所述第一控制指令与所述指令数据库匹配，获取与所述第一控制指令相对应的第一调整指令；s6、根据所述第一调整指令对所述3d影像的显示状态进行调整显示。2.如权利要求1所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述s1中，双路数字图像信号获取由两个分别安装在显微镜的左右目镜上的相机获取。3.如权利要求1所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述s2中，对双路数字图像信号进行处理，生成3d影像，包括：s21、对双路数字图像信号进行特征匹配，生成3d影像数据；s22、对3d影像数据镜像处理后，进行视差处理；s23、对经过视差处理后的3d影像数据应用slam算法进行影像空间定位，生成用于投送显示的3d影像。4.如权利要求1所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述s5中，获取第一调整指令包括：s51、输入第一控制指令；s52、将所述第一控制指令与所述指令数据库匹配，判断是否存在与所述第一控制指令对应的第一调整指令；是则执行s53，否则执行s51；s53、输出所述第一调整指令。5.如权利要求1所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述显示状态至少包括显示亮度和显示模式。6.如权利要求5所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述显示模式至少包括上下镜像模式和左右镜像模式。7.如权利要求4所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述指令数据包括第二调整指令以及与所述第二调整指令对应匹配的第二控制指令。8.如权利要求7所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述第一调整指令至少为所述第二调整指令中的一种。9.如权利要求4所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述第一控制指令的输入方式至少包括手势输入和语音输入中的一种。10.如权利要求4所述的基于增强现实技术处理显微镜成像的方法，其特征在于，所述手势输入通过安装在所述ar眼镜上的双目相机获取；语音输入通过安装在所述ar眼镜上的麦克风获取。

技术总结
本发明提供了一种基于增强现实技术处理显微镜成像的方法，属于显微镜成像显示领域，该方法通过两个相机分别获取显微镜的左右目镜下目标显微成像的双路数字信号，将双路数字图像信号进行特征匹配后生成3D影像数据，对3D影像数据进行镜像处理后进行视差处理，并在对经过视差处理的3D影像数据应用slam算法进行影像空间定位后生成3D影像，并将3D影像投送至AR眼镜中显示；同时，通过建立指令数据库，根据输入控制指令调整3D影像的显示状态。该方法有效地取代了显微镜的镜像成像，使得操作手法更为简单，医生可以根据自身习惯及最舒适的状态，使用设备进行治疗，操作准确性更高，且能及时与患者沟通，保证医护双方更加舒适。保证医护双方更加舒适。保证医护双方更加舒适。


技术研发人员：王建华 苑士良 林瓊 朱明
受保护的技术使用者：上海诠视传感技术有限公司
技术研发日：2022.02.06
技术公布日：2022/5/25