本发明涉及到虚拟现实,具体涉及到一种基于图像识别与深度学习的数字烟雾生成方法及系统。
背景技术:
1、传统仿真烟产品主要侧重于模拟烟支的外观和吸烟时的手感,但在模拟真实吸烟过程中烟雾的动态效果方面存在明显不足。这类产品往往无法为吸烟者提供逼真的烟雾体验,从而影响了仿真烟的真实感和沉浸感。为了弥补这一缺陷,市场上出现了一些尝试通过物理手段模拟烟雾效果的产品,如利用烟雾发生器产生类似烟雾的气体。然而,这些方法通常存在烟雾效果单一、无法根据吸烟者的实际吸烟行为动态调整烟雾效果、设备复杂且成本高昂等问题。
2、近年来,随着虚拟现实技术的发展,为仿真烟烟雾效果的模拟提供了新的方式。如公开号为cn114503060b的专利公开了一种吸烟系统及其控制方法,通过再现装置配置成响应于佩戴再现装置的使用者抽吸或摄取制品来再现声音和图像,从而为使用者提供虚拟吸烟体验。
3、然而,尽管现有技术已经取得了一定的成果,但在模拟烟雾图像的真实性和互动性方面仍存在明显的缺陷。
技术实现思路
1、本发明的目的是针对现有技术存在的问题,提供一种基于图像识别与深度学习的数字烟雾生成方法及系统,实现更逼真的模拟烟雾效果,并且具有更好的互动性和娱乐性。
2、提供两种模式供吸烟者选择,当选择第一种模式,吸烟者可以获得更加接近真实吸烟体验的烟雾效果,该模式通过嘴型和模拟烟雾形状的精确匹配,流量与模拟烟气量的精确匹配,能够生成更加逼真的烟雾动态效果;当选择第二种模式,吸烟者可以更加快速的生成烟雾效果,该模式只需要拍摄面部表情图像,无需关注嘴型和吸烟流量的精确匹配,利用深度学习模型gans配合高性能计算设备,可以确保生成模拟烟雾效果画面时间非常短,从而可以实时随着吸烟者面部表情变化而变化,具有更好的互动性和娱乐性。
3、为实现上述目的,本发明采用的技术方案是:
4、一种基于图像识别与深度学习的数字烟雾生成方法,包括:将吸烟者的嘴型进行分类,使每种嘴型对应一种模拟烟雾形状;将吸烟流量划分为若干个范围段,每个流量范围段分别对应一个模拟烟气量;根据每种模拟烟雾形状与模拟烟气量,建立烟雾效果库;通过摄像头拍摄吸烟者吸仿真烟时的嘴型图像和面部表情图像,通过仿真烟的流量传感器采集吸烟者的吸烟流量;当吸烟者选择第一模式时,采用图像识别的方式识别吸烟者的嘴型类别,在烟雾效果库中匹配对应的模拟烟雾形状,根据吸烟者的吸烟流量所处的范围段,在烟雾效果库中匹配对应的模拟烟气量;根据模拟烟雾形状以及模拟烟气量,实时生成吸烟者的动态烟雾效果画面,并使用显示终端显示;当吸烟者选择第二模式时,将吸烟者吸仿真烟时的面部表情图像,输入训练好的深度学习模型gans中,输出对应的模拟烟雾效果画面,并使用显示终端显示。
5、所述将吸烟者的嘴型进行分类,使得每种嘴型对应一种模拟烟雾形状,包括:将吸烟者嘴型划分为全开口嘴型、狭口嘴型以及o形嘴型;设置全开口嘴型对应团状烟雾形状,狭口嘴型对应细条烟雾形状,o形嘴型对应圈形烟雾形状。
6、所述将吸烟流量划分为若干个范围段,每个流量范围段分别对应一个模拟烟气量,包括:将吸烟流量0-50毫升/秒范围划分为低流量范围段,50-150毫升/秒范围划分为中流量范围段,150毫升/秒以上范围划分为高流量范围段;设置低流量范围段对应显示为颜色较淡的烟雾量;中流量范围段对应显示为颜色适中的烟雾量;高流量范围段对应颜色浓重的烟雾量。
7、所述采用图像识别的方式识别吸烟者的嘴型类别,包括:从捕捉到的图像中提取包含吸烟者嘴型的区域;对提取出的嘴型图像进行预处理;将预处理后的嘴型图像输入到训练好的卷积神经网络cnn中,输出嘴型类别。
8、所述根据模拟烟雾形状以及模拟烟气量,实时生成吸烟者的动态烟雾效果画面,并使用显示终端显示,包括:从预设的烟雾效果资源库中调用对应的模拟烟雾形状和模拟烟气量;使用三维建模软件,创建烟雾的基础模型,并根据烟雾形状和烟气量的不同,调整模型的形状、大小和透明度;设计烟雾的动态行为,使用动画软件为烟雾模型添加动画效果;将动态烟雾效果实时传输到显示终端上进行显示。
9、在仿真烟的端部设有仿真燃烧灯,仿真燃烧灯的灯光强度跟随流量传感器检测的流量变化而变化,模拟烟支燃烧的灯光效果。
10、所述仿真烟的吸嘴填充有满足感觉刺激的不同风味口感的物质,增加一种新的体验感,每种风味口感对应一个唯一的标识码,每种风味口感对应一种模拟烟雾颜色,通过所述仿真烟的蓝牙模块读取所述仿真烟风味口感的标识码,可以在烟雾效果库中匹配对应的模拟烟雾颜色。
11、所述深度学习模型gans的训练过程包括:收集包含各种烟雾形状、密度、运动状态的真实烟雾图像,收集吸烟者吸仿真烟时的不同面部表情图像,将真实烟雾图像与对应的吸烟者面部表情图像进行配对;将随机噪声向量和吸烟者的面部表情图像作为生成器的输入,生成器输出与输入面部表情图像相对应的模拟烟雾图像;将生成器生成的模拟烟雾图像或真实烟雾图像,以及与之对应的吸烟者脸部表情图像作为判别器的输入,判别器输出一个介于0和1之间的概率值,表示输入图像是真实烟雾的置信度;设置生成器损失函数,鼓励其生成能够欺骗判别器的模拟烟雾图像,同时保持与输入面部表情图像的关联性;交替训练生成器和判别器,通过观察生成的模拟烟雾图像的质量,判断模型达到收敛状态。
12、一种基于图像识别与深度学习的数字烟雾生成系统,包括:仿真烟,包括流量传感器,用于检测吸烟者的吸烟流量;摄像头,用于拍摄吸烟者吸仿真烟时的嘴型图像和面部表情图像;嘴型分类单元,用于将吸烟者的嘴型进行分类;流量划分单元,用于将吸烟流量划分为若干个范围段;烟雾效果库建立单元,根据分类的嘴型和划分的流量范围,建立烟雾效果库,其中包含各种模拟烟雾形状和模拟烟气量;模式选择模块,用于提供用户界面,选择第一模式或第二模式;嘴型识别与流量匹配单元,通过图像识别技术识别吸烟者的嘴型,并在烟雾效果库中匹配对应的模拟烟雾形状;同时,根据吸烟流量匹配对应的模拟烟气量;深度学习模型gans单元,在第二模式下,接收面部表情图像作为输入,输出对应的模拟烟雾效果画面;显示终端,用于实时显示生成的动态烟雾效果画面。
13、与现有技术相比,本发明的有益效果是:
14、通过将吸烟者的嘴型与吸烟流量与预设的模拟烟雾形状和模拟烟气量相匹配,实现了对真实吸烟过程中烟雾动态效果的高度模拟,提升了仿真烟使用的真实感和沉浸感,满足吸烟带来的感官刺激,起到控烟的作用;
15、提供两种模式供吸烟者选择,当选择第一种模式,吸烟者可以获得更加接近真实吸烟体验的烟雾效果,该模式通过嘴型和模拟烟雾形状的精确匹配,流量与模拟烟气量的精确匹配,能够生成更加逼真的烟雾动态效果;当选择第二种模式,吸烟者可以更加快速的生成烟雾效果,该模式只需要拍摄面部表情图像,无需关注嘴型和吸烟流量的精确匹配,利用深度学习模型gans配合高性能计算设备,可以确保生成模拟烟雾效果画面时间非常短,从而可以实时随着吸烟者面部表情变化而变化,具有更好的互动性和娱乐性。
1.一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,包括:
2.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述将吸烟者的嘴型进行分类,使得每种嘴型对应一种模拟烟雾形状,包括:
3.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述将吸烟流量划分为若干个范围段,每个流量范围段分别对应一个模拟烟气量,包括:
4.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述采用图像识别的方式识别吸烟者的嘴型类别,包括:
5.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述根据模拟烟雾形状以及模拟烟气量,实时生成吸烟者的动态烟雾效果画面,并使用显示终端显示,包括:
6.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,在仿真烟的端部设有仿真燃烧灯,仿真燃烧灯的灯光强度跟随流量传感器检测的流量变化而变化,模拟烟支燃烧的灯光效果。
7.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述深度学习模型gans的训练过程包括:
8.根据权利要求1所述的一种基于图像识别与深度学习的数字烟雾生成方法,其特征在于,所述仿真烟的吸嘴填充有满足感觉刺激的不同风味口感的物质,增加一种新的体验感,每种风味口感对应一个唯一的标识码,每种风味口感对应一种模拟烟雾颜色,通过所述仿真烟的蓝牙模块读取所述仿真烟风味口感的标识码,可以在烟雾效果库中匹配对应的模拟烟雾颜色。
9.一种基于图像识别与深度学习的数字烟雾生成系统,其特征在于,包括:
