视频异常检测方法和装置、设备及存储介质与流程

    专利查询2025-12-29  11


    本技术涉及数字医疗领域,尤其涉及一种视频异常检测方法和装置、设备及存储介质。


    背景技术:

    1、目前,在医学场景中,常常需要对不同时间段、不同区域的各个对象进行行为检测。对此,相关技术中常常是基于神经网络模型对医学视频中的对象进行异常行为检测,但是,医学视频中的异常对象行为常常是多种多样的(例如,异常对象行为包括对设备的异常操作、对象的突然抽筋、手术室中的异常行为等),而医学场景下的训练数据的数据量相对较小,由有限的标注样本训练出的神经网络模型往往难以对这些异常对象行为进行全面检测,会导致医学视频中的对象异常行为的检测准确性低下。


    技术实现思路

    1、本技术实施例的主要目的在于提出一种视频异常检测方法和装置、设备及存储介质,旨在提高对医学视频中的对象异常行为的检测准确性。

    2、为实现上述目的,本技术实施例的第一方面提出了一种视频异常检测方法,所述方法包括:

    3、获取目标医学视频,所述目标医学视频用于指示目标对象在目标医学场景中的对象行为;

    4、对所述目标医学视频进行缩放处理,得到缩放医学视频;

    5、将所述缩放医学视频输入至视频异常检测模型进行异常检测,得到所述目标医学视频的异常检测结果,其中,所述异常检测结果用于指示所述目标医学视频中的所述目标对象存在异常对象行为或者指示所述目标医学视频中的所述目标对象不存在异常对象行为;

    6、其中,所述视频异常检测模型是通过将样本医学视频分割成样本视频片段,并基于所述样本视频片段的第一视频片段特征与第二视频片段特征的比较、所述样本视频片段的预测视频标签与样本视频标签的比较对预设的第一模型进行训练得到的;所述第一视频片段特征是将所述样本视频片段输入至所述第一模型进行特征提取得到的;所述预测视频标签是基于所述第一视频片段特征预测出的;所述第二视频片段特征是将所述样本视频片段输入至预设的第二模型进行特征提取得到的。

    7、在一些实施例,所述视频异常检测模型包括第一卷积层、最大池化层、第二卷积层、平均池化层、和预测层;

    8、所述将所述缩放医学视频输入至视频异常检测模型进行异常检测,得到所述目标医学视频的异常检测结果,包括:

    9、基于所述第一卷积层对所述缩放医学视频进行第一特征提取,得到第一医学视频卷积特征;

    10、基于所述最大池化层对所述第一医学视频卷积特征进行最大池化处理,得到第一医学视频池化特征;

    11、基于所述第二卷积层对所述第一医学视频池化特征进行第二特征提取,得到第二医学视频卷积特征;

    12、基于所述平均池化层对所述第二医学视频卷积特征进行平均池化处理,得到第二医学视频池化特征;

    13、基于所述预测层对所述第二医学视频池化特征进行特征降维,得到降维医学视频特征,并基于所述降维医学视频特征进行异常检测,得到所述异常检测结果。

    14、在一些实施例,所述视频异常检测模型通过以下方式训练得到:

    15、获取样本医学视频、和所述样本医学视频的参考视频标签;

    16、对所述样本医学视频进行分割,得到多个样本视频片段,并将所述参考视频标签确定为所述样本视频片段的样本视频标签;

    17、针对每个所述样本视频片段,对所述样本视频片段进行缩放处理,并将缩放后样本视频片段输入至所述第一模型进行特征提取,得到所述样本视频片段的所述第一视频片段特征,并基于所述第一视频片段特征进行异常检测,得到所述样本视频片段的预测视频标签;

    18、将所述样本视频片段输入至所述第二模型进行特征提取,得到所述样本视频片段的所述第二视频片段特征;

    19、基于多个所述样本视频片段的所述第一视频片段特征和所述第二视频片段特征的比较、所述预测视频标签和所述样本视频标签的比较,训练所述第一模型,得到所述视频异常检测模型。

    20、在一些实施例,所述第二模型包括第三卷积层、池化层、和第四卷积层;

    21、所述将所述样本视频片段输入至所述第二模型进行特征提取,得到所述样本视频片段的所述第二视频片段特征,包括:

    22、基于所述第三卷积层对所述样本视频片段进行第一卷积处理,得到样本视频卷积特征;

    23、基于所述池化层对所述样本视频卷积特征进行最大池化处理,得到样本视频池化特征;

    24、基于所述第四卷积层对所述样本视频池化特征进行第二卷积处理,得到所述第二视频片段特征。

    25、在一些实施例,所述基于多个所述样本视频片段的所述第一视频片段特征和所述第二视频片段特征的比较、所述预测视频标签和所述样本视频标签的比较,训练所述第一模型,得到所述视频异常检测模型,包括:

    26、基于多个所述样本视频片段的所述第一视频片段特征和所述第二视频片段特征的比较,确定第一损失函数;

    27、基于多个所述样本视频片段的所述预测视频标签和所述样本视频标签的比较,确定第二损失函数;

    28、对所述第一损失函数和所述第二损失函数进行相加,得到总损失函数;

    29、基于所述总损失函数,训练所述第一模型,得到所述视频异常检测模型。

    30、在一些实施例,所述第一视频片段特征中包括所述样本视频片段中的各个视频元素的第一异常概率特征,所述第二视频片段特征中包括所述样本视频片段中的各个视频元素的第二异常概率特征;

    31、所述基于多个所述样本视频片段的所述第一视频片段特征和所述第二视频片段特征的比较,确定第一损失函数,包括:

    32、针对每个所述样本视频片段,对所述第一视频片段特征和所述第二视频片段特征进行散度计算,得到所述样本视频片段的第一子损失函数;

    33、针对每个所述样本视频片段,将每个所述视频元素的所述第一异常概率特征与所述第二异常概率特征的商取对数,得到对数结果,将所述对数结果和所述第一异常概率特征相乘,得到加权异常概率特征,并将多个所述视频元素的所述加权异常概率特征进行相加,得到所述样本视频片段的第二子损失函数;

    34、对所述第一子损失函数和所述第二子损失函数进行加权计算,得到加权损失函数;

    35、对多个所述样本视频片段的所述加权损失函数进行整合处理,得到所述第一损失函数。

    36、在一些实施例,所述样本医学视频通过以下方式生成:

    37、获取原始医学视频;

    38、对所述原始医学视频进行缩放处理,得到中间医学视频;

    39、对所述中间医学视频进行降噪处理,得到所述样本医学视频。

    40、为实现上述目的,本技术实施例的第二方面提出了一种视频异常检测装置,所述装置包括:

    41、获取单元,用于获取目标医学视频,所述目标医学视频用于指示目标对象在目标医学场景中的对象行为;

    42、缩放单元,用于对所述目标医学视频进行缩放处理,得到缩放医学视频;

    43、检测单元,用于将所述缩放医学视频输入至视频异常检测模型进行异常检测,得到所述目标医学视频的异常检测结果,其中,所述异常检测结果用于指示所述目标医学视频中的所述目标对象存在异常对象行为或者指示所述目标医学视频中的所述目标对象不存在异常对象行为;

    44、其中,所述视频异常检测模型是通过将样本医学视频分割成样本视频片段,并基于所述样本视频片段的第一视频片段特征与第二视频片段特征的比较、所述样本视频片段的预测视频标签与样本视频标签的比较对预设的第一模型进行训练得到的;所述第一视频片段特征是将所述样本视频片段输入至所述第一模型进行特征提取得到的;所述预测视频标签是基于所述第一视频片段特征预测出的;所述第二视频片段特征是将所述样本视频片段输入至预设的第二模型进行特征提取得到的。

    45、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的视频异常检测方法。

    46、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的视频异常检测方法。

    47、本技术提出的视频异常检测方法和装置、电子设备及存储介质,其通过获取目标医学视频,目标医学视频用于指示目标对象在目标医学场景中的对象行为;对目标医学视频进行缩放处理,得到缩放医学视频;将缩放医学视频输入至视频异常检测模型进行异常检测,得到目标医学视频的异常检测结果,能够利用视频异常检测模型对低维度的缩放医学视频中的异常对象行为特征进行识别,能提高对医学视频中的对象异常行为的检测准确性。其中,视频异常检测模型是通过将样本医学视频分割成样本视频片段,并基于样本视频片段的第一视频片段特征与第二视频片段特征的比较、样本视频片段的预测视频标签与样本视频标签的比较对预设的第一模型进行训练得到的。第一视频片段特征是将样本视频片段输入至第一模型进行特征提取得到的;预测视频标签是基于第一视频片段特征预测出的;第二视频片段特征是将所述样本视频片段输入至预设的第二模型进行特征提取得到的。本技术实施例在模型训练时,采用了特征比较和标签比较相结合的方式,能实现在特征级别的模型训练、和分类预测级别的模型训练,有利于训练第一模型在特征提取阶段和异常检测阶段的视频特征信息分析能力,从而提高模型训练效果,提高训练得到的视频异常检测模型对医学视频的异常对象行为的检测准确性。


    技术特征:

    1.一种视频异常检测方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述视频异常检测模型包括第一卷积层、最大池化层、第二卷积层、平均池化层、和预测层;

    3.根据权利要求1所述的方法,其特征在于,所述视频异常检测模型通过以下方式训练得到:

    4.根据权利要求3所述的方法,其特征在于,所述第二模型包括第三卷积层、池化层、和第四卷积层;

    5.根据权利要求3所述的方法,其特征在于,所述基于多个所述样本视频片段的所述第一视频片段特征和所述第二视频片段特征的比较、所述预测视频标签和所述样本视频标签的比较,训练所述第一模型,得到所述视频异常检测模型,包括:

    6.根据权利要求5所述的方法,其特征在于,所述第一视频片段特征中包括所述样本视频片段中的各个视频元素的第一异常概率特征,所述第二视频片段特征中包括所述样本视频片段中的各个视频元素的第二异常概率特征;

    7.根据权利要求1至6任一项所述的方法,其特征在于,所述样本医学视频通过以下方式生成:

    8.一种视频异常检测装置,其特征在于,所述装置包括:

    9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的视频异常检测方法。

    10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的视频异常检测方法。


    技术总结
    本申请提供了一种视频异常检测方法和装置、设备及存储介质,属于数字医疗领域。该方法包括:获取目标医学视频;对目标医学视频进行缩放,得到缩放医学视频;将缩放医学视频输入至视频异常检测模型进行异常检测,得到目标医学视频的异常检测结果。视频异常检测模型是基于样本视频片段的第一视频片段特征与第二视频片段特征的比较、预测视频标签与样本视频标签的比较对第一模型进行训练得到的;第一视频片段特征是将样本视频片段输入至第一模型进行特征提取得到的;预测视频标签是基于第一视频片段特征预测出的;第二视频片段特征是将样本视频片段输入至第二模型进行特征提取得到的;本申请能提高对医学视频中的对象异常行为的检测准确性。

    技术研发人员:洪振厚,王健宗,瞿晓阳
    受保护的技术使用者:平安科技(深圳)有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33240.html

    最新回复(0)