本申请涉及图像,特别是涉及一种图像分类方法、装置、设备、存储介质和程序产品。
背景技术:
1、随着人工智能的发展,图像的分类过程越来越受到关注。图像的分类是根据图像信息中所反映的不同特征,把不同类别的目标区域进行区分的图像处理方法。
2、以图像分类为例,根据图像中的特征信息对图像进行分类,得到的图像类别越多,图像分类的准确度也就越高。
3、然而,相关技术中,在对图像进行分类时,存在图像分类准确度不高的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高图像分类准确度的图像分类方法、装置、设备、存储介质和程序产品。
2、第一方面,本申请提供了一种图像分类方法,该方法包括:
3、获取当前部位的当前帧图像;
4、根据当前帧图像,确定当前帧图像对应的视频片段;视频片段包括当前帧图像和当前帧图像对应的相邻帧图像;
5、通过特征提取网络分别提取视频片段和当前帧图像中的特征信息,得到视频特征信息和图像特征信息,图像分类网络对视频特征信息和图像特征信息进行融合处理,并对融合处理的结果进行分类,得到当前帧图像的分类结果。
6、在其中一个实施例中,特征提取网络包括三维特征提取网络和二维特征提取网络;通过特征提取网络分别提取视频片段和当前帧图像中的特征信息,得到视频特征信息和图像特征信息,包括:
7、通过三维特征提取网络对视频片段中的特征信息进行提取,得到视频特征信息;以及通过二维特征提取网络对当前帧图像的特征信息进行提取,得到图像特征信息。
8、在其中一个实施例中,通过三维特征提取网络对视频片段中的特征信息进行提取,得到视频特征信息,包括:
9、通过三维特征提取网络对视频片段中的局部特征信息进行提取,得到局部视频特征信息;以及通过三维特征提取网络对视频片段中的全局特征信息进行提取,得到全局视频特征信息;
10、将局部视频特征信息和全局视频特征信息进行叠加,得到视频特征信息。
11、在其中一个实施例中,通过二维特征提取网络对当前帧图像的特征信息进行提取,得到图像特征信息;包括:
12、通过二维特征提取网络对当前帧图像中的局部特征信息进行提取,得到局部图像特征信息;以及通过二维特征提取网络对当前帧图像中的全局特征信息进行提取,得到全局图像特征信息;
13、将局部图像特征信息和全局图像特征信息进行叠加,得到图像特征信息。
14、在其中一个实施例中,对视频特征信息和图像特征信息进行融合处理,得到融合结果,包括:
15、从视频特征信息中提取当前帧图像对应的参考特征信息;
16、将参考特征信息与图像特征信息进行融合,得到融合结果。
17、在其中一个实施例中,将参考特征信息与图像特征信息进行融合,得到融合结果,包括:
18、获取参考特征信息与图像特征信息之间的相似度;
19、若相似度大于预设阈值,则将参考特征信息或者图像特征信息作为融合结果;
20、若相似度小于或等于预设阈值,则对参考特征信息与图像特征信息进行加权求和,将加权求和结果作为融合结果。
21、第二方面,本申请还提供了一种图像分类装置,该装置包括:
22、获取模块,用于获取当前部位的当前帧图像;
23、确定模块,用于根据当前帧图像,确定当前帧图像对应的视频片段;视频片段包括当前帧图像和当前帧图像对应的相邻帧图像;
24、处理模块,用于将视频片段和当前帧图像输入至预设的图像分类网络中,通过图像分类网络对视频片段的视频特征信息和当前帧图像的图像特征信息进行融合处理,得到当前帧图像的分类结果。
25、第三方面,本申请还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面中任意一项图像分类方法的内容。
26、第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中任意一项图像分类方法的内容。
27、第五方面,本申请还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任意一项图像分类方法的内容。
28、上述图像分类方法、装置、设备、存储介质和程序产品,获取当前部位的当前帧图像,根据当前帧图像,确定当前帧图像对应的视频片段;视频片段包括当前帧图像和当前帧图像对应的相邻帧图像,通过特征提取网络分别提取视频片段和当前帧图像中的特征信息,得到视频特征信息和图像特征信息,图像分类网络对视频特征信息和图像特征信息进行融合处理,并对融合处理的结果进行分类,得到当前帧图像的分类结果。该方法利用特征提取网络分别提取图像和视频片段中的特征信息,该过程不仅考虑到当前帧的特征信息,还考虑到当前帧对应的相邻帧的特征,将两个特征信息进行融合,融合后的特征所包含的信息内容更全面,通过对融合处理的结果进行分类,使得当前帧图像的分类结果更加准确。
1.一种图像分类方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述特征提取网络包括三维特征提取网络和二维特征提取网络;所述通过特征提取网络分别提取所述视频片段和所述当前帧图像中的特征信息,得到视频特征信息和图像特征信息,包括:
3.根据权利要求2所述的方法,其特征在于,所述通过所述三维特征提取网络对所述视频片段中的特征信息进行提取,得到所述视频特征信息,包括:
4.根据权利要求2所述的方法,其特征在于,所述通过所述二维特征提取网络对所述当前帧图像的特征信息进行提取,得到所述图像特征信息;包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述视频特征信息和所述图像特征信息进行融合处理,得到融合结果,包括:
6.根据权利要求5所述的方法,其特征在于,所述将所述参考特征信息与所述图像特征信息进行融合,得到所述融合结果,包括:
7.一种图像分类装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
