本发明涉及混合现实显示领域,尤其涉及一种图像处理器、一种图像处理方法、一种混合现实显示系统,以及一种计算机可读存储介质。
背景技术:
1、在混合现实(mixed reality,mr)显示领域,现有的mr设备只能对输入图像的颜色和亮度进行简单处理,但不支持对高动态范围(high dynamic range,hdr)数据的输入和处理。手机等图像处理设备的现有色彩处理管线虽然可以对单路或多路hdr信号进行解码和标准动态范围(standard dynamic range,sdr)适配,但无法满足混合现实显示需要先对现实图层(video see through,vst)信号和虚拟现实(virtual reality,vr)图层信号分别进行色域、色调、色温的前端处理,再对图层混合后的混合图层信号进行色域、色调、色温的后端处理的应用需求。
2、为了克服现有技术所存在的上述缺陷,本领域亟需一种混合现实显示的图像处理技术,用于在虚拟图层、现实图层及混合图层的不同色彩空间分别提供灵活的色彩处理功能,从而满足混合现实显示的应用需求。
技术实现思路
1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
2、为了克服现有技术所存在的上述缺陷,本发明提供了一种图像处理器、一种图像处理方法、一种混合现实显示系统,以及一种计算机可读存储介质,能够支持对vst信号和vr图层信号分别进行不同色域、不同色调和不同色温的前端色彩处理,并对图层混合后的混合图层信号进行对应色域、对应色调和对应色温的后端色彩处理的灵活色彩处理功能,从而满足混合现实显示的应用需求。
3、具体来说,根据本发明的第一方面提供的上述图像处理器,包括:第一色彩管理模块,其输入端连接渲染模块,用于从所述渲染模块获取虚拟图层数据,并对其进行第一色彩处理;第二色彩管理模块,其输入端连接相机模块,用于从所述相机模块获取现实图层数据,并对其进行第二色彩处理;图层混合模块,其输入端分别连接所述第一色彩管理模块及所述第二色彩管理模块,用于对经过所述第一色彩处理的虚拟图层数据及经过所述第二色彩处理的现实图层数据进行图层混合处理,以确定混合图像数据;以及第三色彩管理模块,其输入端连接所述图层混合模块,用于从所述图层混合模块获取所述混合图像数据,对其进行第三色彩处理,并将经过所述第三色彩处理的混合图像数据输出到混合现实显示器。
4、进一步地,在本发明的一实施例中,图像处理器还包括通信接口。所述通信接口连接色彩处理固件单元及各所述色彩管理模块。所述第一色彩管理模块被配置为:根据所述第一色彩处理的需求,经由所述通信接口从所述色彩处理固件单元获取第一寄存器数据,并向所述色彩处理固件单元返回第一统计信息。所述第二色彩管理模块被配置为:根据所述第二色彩处理的需求,经由所述通信接口从所述色彩处理固件单元获取第二寄存器数据,并向所述色彩处理固件单元返回第二统计信息。所述第三色彩管理模块被配置为:根据所述第三色彩处理的需求,经由所述通信接口从所述色彩处理固件单元获取第三寄存器数据,并向所述色彩处理固件单元返回第三统计信息。
5、进一步地,在本发明的一实施例中,各所述色彩管理模块中分别包括色调映射单元、色域映射单元及色温处理单元,并被配置为:根据色彩处理需求,经由所述通信接口从所述色彩处理固件单元获取涉及色调映射、色域映射和/或色温处理的寄存器数据,并向所述色彩处理固件单元返回涉及所述色调映射、所述色域映射和/或所述色温处理的统计信息。
6、进一步地,在本发明的一实施例中,各所述色彩管理模块还被配置为:根据涉及所述色调映射的寄存器数据,对对应的虚拟图层数据、现实图层数据或混合图像数据进行直方图均衡处理,以确定涉及所述色调映射的统计信息;和/或响应于由大色域转入小色域的色彩处理需求,根据涉及所述色域映射的寄存器数据,对对应的虚拟图层数据、现实图层数据或混合图像数据进行分步映射处理,以确定涉及所述色域映射的统计信息。
7、进一步地,在本发明的一实施例中,各所述色彩管理模块中还分别包括regamma单元和/或degamma单元,并被配置为:根据所述色彩处理需求,经由所述通信接口从所述色彩处理固件单元获取涉及regamma处理和/或degamma处理的寄存器数据,并向所述色彩处理固件单元返回涉及所述regamma处理和/或所述degamma处理的统计信息。
8、进一步地,在本发明的一实施例中,所述渲染模块还将hdr元数据输入所述色彩处理固件单元。各所述色彩管理模块中还分别包括hdr单元,并被配置为:根据所述色彩处理需求,经由所述通信接口从所述色彩处理固件单元获取涉及hdr处理的寄存器数据,并向所述色彩处理固件单元返回涉及所述hdr处理的统计信息,其中,所述涉及hdr处理的寄存器数据是根据所述hdr元数据及返回的涉及所述hdr处理的统计信息来更新确定。
9、进一步地,在本发明的一实施例中,图像处理器还包括所述色彩处理固件单元。所述色彩处理固件单元被配置为:获取外界的光参数信息;以及根据所述光参数信息及至少一个所述色彩管理模块返回的统计信息,生成色调曲线、生成色域映射函数、进行色温调节运算和/或进行亮度调节运算,以更新所述寄存器数据。
10、进一步地,在本发明的一实施例中,所述第一寄存器数据及所述第二寄存器数据的数据量小于所述第三寄存器数据的数据量。所述第一统计信息及所述第二统计信息的数据量小于所述第三统计信息的数据量。
11、进一步地,在本发明的一实施例中,所述渲染模块还用于渲染生成一种或多种ui图层数据。所述第一色彩管理模块还被配置为:从所述渲染模块获取所述一种或多种ui图层数据,并对其进行对应的一种或多种第四色彩处理;以及将经过所述一种或多种第四色彩处理的ui图层数据输入所述图层混合模块进行图层混合处理,以确定对应的混合图像数据。
12、进一步地,在本发明的一实施例中,图像处理器还包括图像信号处理模块。所述第二色彩管理模块经由所述图像信号处理模块连接所述相机模块。所述图像信号处理模块被配置为:经由所述相机模块获取其拍摄的视频流数据;以及对所述视频流数据进行awb处理和/或ae处理,以生成所述现实图层数据。
13、此外,根据本发明的第二方面提供的上述混合现实显示系统包括:渲染模块,用于生成虚拟图层数据;相机模块,用于采集现实图层数据;以及本发明的第一方面提供的上述图像处理器,连接所述渲染模块及所述相机模块,以获取所述虚拟图层数据及所述现实图层数据,并根据所述虚拟图层数据及所述现实图层数据进行图像处理,以输出待显示的混合图像数据。
14、此外,根据本发明的第三方面提供的上述图像处理方法包括以下步骤:从渲染模块获取虚拟图层数据,并将其输入第一色彩管理模块;从相机模块获取现实图层数据,并将其输入第二色彩管理模块;获取色彩处理需求;根据所述色彩处理需求,控制所述第一色彩管理模块对所述虚拟图层数据进行第一色彩处理,和/或控制所述第二色彩管理模块对所述现实图层数据进行第二色彩处理;经由图层混合模块对所述第一色彩管理模块及所述第二色彩管理模块的图层数据进行图层混合处理,以确定混合图像数据;将所述混合图像数据输入第三色彩管理模块,并根据所述色彩处理需求对其进行第三色彩处理;以及将所述第三色彩管理模块输出的混合图像数据传输到混合现实显示器。
15、此外,根据本发明的第四方面提供的上述计算机可读存储介质上存储有计算机指令。所述计算机指令被处理器执行时,实施本发明的第三方面提供的上述图像处理方法。
1.一种图像处理器,其特征在于,包括:
2.如权利要求1所述的图像处理器,其特征在于,还包括通信接口,其中,所述通信接口连接色彩处理固件单元及各所述色彩管理模块,
3.如权利要求2所述的图像处理器,其特征在于,各所述色彩管理模块中分别包括色调映射单元、色域映射单元及色温处理单元,并被配置为:
4.如权利要求3所述的图像处理器,其特征在于,各所述色彩管理模块还被配置为:
5.如权利要求3所述的图像处理器,其特征在于,各所述色彩管理模块中还分别包括regamma单元和/或degamma单元,并被配置为:
6.如权利要求3所述的图像处理器,其特征在于,所述渲染模块还将hdr元数据输入所述色彩处理固件单元,各所述色彩管理模块中还分别包括hdr单元,并被配置为:
7.如权利要求3所述的图像处理器,其特征在于,还包括所述色彩处理固件单元,其中,所述色彩处理固件单元被配置为:
8.如权利要求2所述的图像处理器,其特征在于,所述第一寄存器数据及所述第二寄存器数据的数据量小于所述第三寄存器数据的数据量,所述第一统计信息及所述第二统计信息的数据量小于所述第三统计信息的数据量。
9.如权利要求1所述的图像处理器,其特征在于,所述渲染模块还用于渲染生成一种或多种ui图层数据,所述第一色彩管理模块还被配置为:
10.如权利要求1所述的图像处理器,其特征在于,还包括图像信号处理模块,其中,所述第二色彩管理模块经由所述图像信号处理模块连接所述相机模块,所述图像信号处理模块被配置为:
11.一种混合现实显示系统,其特征在于,包括:
12.一种图像处理方法,其特征在于,包括以下步骤:
13.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时,实施如权利要求12所述的图像处理方法。
