一种在线教学视频的智能处理方法及系统与流程

1.本发明涉及视频图像处理技术领域，特别涉及一种在线教学视频的智能处理方法及系统。


背景技术：

2.目前，互联网的快速发展推动了在线教学的热潮，针对在线教学视频而言，通常出现的问题为由于网络的延迟容易导致视频画面不同步，学生端获取教学视频的分辨率较低，影响听课体验，此外，不同于传统的听课模式，当在听课的过程中出现有难度的知识点时或者面对学生出现不同的问题，教师端无法提供重点讲解，因此无法及时准确的体现教学效果，影响在线教学效率，为了提高视频传输的速度，一般需要通过服务器端针对教学视频进行压缩处理，一般经过压缩的数据易导致数据丢失，且经过压缩后的数据再重建时会使图像的分辨率降低，使图像出现噪声，引起量化噪声且会丢失量化误差的重要信息,论文中unsupervised action proposals using support vector classifiers for online video processing[j].sensors,2020,20(10):2953.通过采用支持向量分类器针对在线视频处理过程中进行无监督学习，对其结果需进行大量分析及后处理，才能得到可靠分类结果，因此，针对在线教学视频的处理过程中需要耗费大量的时间，容易导致数据传输延时且数据易丢失。


技术实现要素：

[0003]
本发明提供一种在线教学视频的智能处理方法及系统，用以解决针对在线教学视频处理过程中画质受损、数据传输延时的情况。
[0004]
作为本发明的一种实施例：一种在线教学视频的智能处理方法，包括：
[0005]
获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程；
[0006]
根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理；
[0007]
学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果。
[0008]
作为本发明的一种实施例：所述获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程，包括：
[0009]
获取学生端登录信息，根据所述登录信息基于预设的客户订阅数据库，获取客户的课程订阅信息；其中，
[0010]
所述课程订阅信息包括：已订阅课程编码、已订阅课程名称、课时数、授课时间、授课教师；
[0011]
根据所述客户的课程订阅信息，自动生成课程选择列表，并根据所述课程选择列
表，获取所述客户的目标课程选择项；
[0012]
根据所述客户的目标课程选择项，获取对应的课程选择链接，并根据所述课程选择链接基于所述云端课程库进行目标课程查找，确定目标视频课程。
[0013]
作为本发明的一种实施例：所述根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理，包括：
[0014]
根据所述目标视频课程进行视频分割，获取若干帧图像数据，将每一帧图像数据进行降采样处理，获取一级图像数据；
[0015]
根据所述一级图像数获取已重构的边界像素，并根据已重构的边界像素进行帧内预测，确定所述一级图像数据中的空间冗余信息，并基于所述空间冗余信息进行帧间预测，确定所述一级图像数据中的时间冗余信息，根据所述空间冗余信息和时间冗余信息，获取二级图像数据；
[0016]
将所述二级图像数据进行离散余弦变换，确定所述二级图像数据对应的信号集中区域，并根据所述信号集中区域进行二次离散余弦变换，确定一级压缩图像数据；
[0017]
针对所述一级压缩图像数据进行量化处理，确定非必要数据，并将所述非必要数据进行丢弃处理，确定二级压缩数据；其中，所述非必要数据包括：重复数据、浮点数据；
[0018]
将所述二级压缩数据通过熵编码进行数据处理，获取三级压缩数据。
[0019]
作为本发明的一种实施例：所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，包括：
[0020]
将所述无损压缩数据进行视频分割，获取每一帧压缩图像数据；
[0021]
根据每一帧压缩图像数据，获取相邻帧压缩图像数据，并根据所述相邻帧压缩图像数据中的像素点进行运动跟踪，获取对应的像素点运动轨迹；
[0022]
针对所述压缩图像数据对应的像素点运动轨迹进行建立模型，生成视频重建模型；
[0023]
根据所述视频重建模型进行运动补偿计算，获取运动补偿误差，并针对所述运动补偿误差进行校正，并针对校正后的视频重建模型进行更新处理，所述更新处理为针对所述视频重建模型进行校正更新；
[0024]
根据更新后的视频重建模型，将所述无损压缩数据进行重建处理，获取重建视频课程；
[0025]
基于所述重建视频课程，针对学生端查看过程进行实时监测，并记录监测数据。
[0026]
作为本发明的一种实施例：所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：
[0027]
根据所述无损压缩数据进行噪声分析，获取所述无损压缩数据对应的量化噪声数据，并针对所述量化噪声数据进行区分，确认区分结果；其中，所述量化噪声可以分为：变换域量化噪声、空间域量化噪声；
[0028]
当所述量化噪声的区分结果为空间域量化噪声时，将所述空间域量化噪声进行转换，形成变换域量化噪声；
[0029]
将所述变换域量化噪声按照预设的频率等级进行噪声分离，确定频率噪声分离结果；其中，所述预设的频率等级包括：高频、中频、低频；
[0030]
基于所述噪声分离结果，通过反转换将变换域量化噪声转换为原始空间域量化噪声进行去噪处理。
[0031]
作为本发明的一种实施例：所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：
[0032]
获取状态监测数据，将所述状态监测数据发送至预设的大数据处理平台，获取异常监测数据；
[0033]
针对所述异常监测数据进行故障特征提取，获取故障图像特征，并根据所述故障图像特征进行分类，获取分类故障特征；其中，故障包括：网络连接故障、视频重建故障；所述视频重建故障包括：视频帧损坏、视频音画不同步；
[0034]
根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因。
[0035]
作为本发明的一种实施例：所述根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因，还包括：
[0036]
当所述视频故障原因显示课程视频为形变问题时，通过针对课程视频数据进行边缘监测，获取对应显示设备的边界信息；
[0037]
通过对所述课程视频的每一帧数据进行空间一致性分析，获取分析结果；
[0038]
当所述分析结果显示所述空间一致性符合要求时，采用特征变换匹配所述课程视频的开始帧和结束帧，获取第一处理视频；
[0039]
将所述第一处理视频与所述课程视频根据时间和空间进行线性对齐，获取第二处理视频。
[0040]
作为本发明的一种实施例：一种在线教学视频的智能处理方法，还包括：
[0041]
根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的暂停频次，并基于所述暂停频次针对所述重建视频进行暂停点定位，根据所述暂停点定位结果，获取所述暂停点对应的一级知识点序列；
[0042]
根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的回放频次，并基于所述回放频次针对所述重建视频进行回放点定位，根据所述会放电定位结果，获取所述回放点对应的二级知识点序列；
[0043]
获取所述重建视频课程的课后评论，通过对所述课后评论中的知识点关键字进行频次分析，并基于所述知识点关键字的频次分析结果，获取三级知识点序列；
[0044]
基于预设的云端平台，获取所有学生端对应的一级知识点序列和二级知识点序列；
[0045]
针对所有学生端对应的一级知识点序列、二级知识点序列和三级知识点序列进行频次分析，获取知识点序列的频次分析结果，并根据所述知识点频次分析结果针对知识点的难度等级进行等级划分；其中，所述知识点的难度等级包括：一级难度知识点、二级难度知识点、三级难度知识点；
[0046]
根据所述难度等级划分结果动态设置对应的难点复习计划，并将所述难点复习计
划同步至对应的教师端口。
[0047]
作为本发明的一种实施例：一种在线教学视频的智能处理方法，还包括：
[0048]
通过双目视觉摄像机实时采集授课教师的讲课视频数据，将多个角度的视频数据进行视频帧拼接，获取全景讲课视频；
[0049]
针对所述全景讲课视频通过深度计算，获取左右眼视差数据；
[0050]
基于所述左右眼视差数据，通过vr显示设备获取三维场景下全景视频数据；
[0051]
根据所述三维场景下全景视频数据进行延迟测量，获取延迟时间，当所述延迟时间大于预设的时间范围时，判定所述延迟时间超标；
[0052]
当所述延迟时间超标时，针对编码器开启延时控制。
[0053]
作为本发明的一种实施例：一种在线教学视频的智能处理系统，包括：
[0054]
课程验证模块：用于获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于云端课程库，根据所述目标课程编码调取对应的目标视频课程；
[0055]
视频压缩模块：用于根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩；
[0056]
状态检测模块：用于针对无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的进行状态监测，获取状态检测结果。
[0057]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
[0058]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0059]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0060]
图1为本发明实施例中一种在线教学视频的智能处理方法的流程示意图；
[0061]
图2为本发明实施例中一种在线教学视频的智能处理系统中无损压缩流程示意图；
[0062]
图3为本发明实施例中一种在线教学视频的智能处理系统的结构示意图。
具体实施方式
[0063]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0064]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0065]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0066]
实施例1：
[0067]
本发明实施例提供了一种在线教学视频的智能处理方法，如附图1所示，包括：
[0068]
获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程；
[0069]
根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理；
[0070]
学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果；
[0071]
在一个实际的场景中：进行在线教育时，教师端通过将所有的在线教育视频发送到服务器端，学生端需要查找对应的视频课程时，通过发送课程服务请求，服务器端根据接收到的服务请求进行解析，将目标视频课程发送到学员端供学生进行在线学习，通过这样的方式将数据进行直接传输容易导致视频数据传输延迟，当视频数据量较大时，数据传输缓慢且容易导致数据丢失，且通过将数据进行直接传输，易造成画质受损，分辨率降低；
[0072]
本发明在进行实施的时候，首先通过根据学生端的登录信息，直接获取目标课程编码，再根据学生端的点击链接，获取目标视频课程，在针对目标视频课程传输过程中，首先将视频课程进行无损压缩，将经过无损压缩后的数据通过服务器发送至学生端，学生端接收到无损压缩数据之后进行视频重建，在学生端查看重建后的视频课程时，针对查看的状态进行实时监测，并对监测的数据进行记录；
[0073]
上述技术方案的有益效果为：本发明通过根据学生端的登录信息获取目标视频课程，有利于通过学生端的登录信息对教学视频进行直接获取，降低了系统针对不同学员购买不同课程的判断时间，通过将目标视频课程通过无损压缩的方式上传到服务器，学生端直接下载无损压缩后的数据，有利于降低数据的内存，从而降低数据传输的时间，提高数据传输效率，通过针对学生端查看视频重建课程的状态进行监测，有利于快速获取学生针对在线教学视频的重难点进行掌握，从而教师端进行对症下药。
[0074]
实施例2：
[0075]
在一个实施例中，所述获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程，包括：
[0076]
获取学生端登录信息，根据所述登录信息基于预设的客户订阅数据库，获取客户的课程订阅信息；其中，
[0077]
所述课程订阅信息包括：已订阅课程编码、已订阅课程名称、课时数、授课时间、授课教师；
[0078]
根据所述客户的课程订阅信息，自动生成课程选择列表，并根据所述课程选择列表，获取所述客户的目标课程选择项；
[0079]
根据所述客户的目标课程选择项，获取对应的课程选择链接，并根据所述课程选择链接基于所述云端课程库进行目标课程查找，确定目标视频课程；
[0080]
在一个实际的场景中：学生端通过账号和密码登录时，即可查看已订阅课程的相
关信息，之后针对已订阅课程进行选择，服务器端接收到学生端发送的服务请求，在服务器中针对选择的课程进行查找，并将查找后的视频数据直接发送到学生端，学生端即可进行查看；
[0081]
本发明在进行实施的时候，服务器端通过学生端的登录信息获取订阅课程列表，列表中包含已订阅课程编码、已订阅课程名称、课时数、授课时间、授课教师等信息，然后根据学生端选择的链接，确定目标视频课程；
[0082]
上述技术方案的有益效果为：本发明通过将所有学生端的课程订阅信息储存至云端数据库，有利于提升服务器的存储效率，且数据不易发生丢失，保证了数据的完整性。
[0083]
实施例3：
[0084]
在一个实施例中，所述根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理，如附图2所示，包括：
[0085]
根据所述目标视频课程进行视频分割，获取若干帧图像数据，将每一帧图像数据进行降采样处理，获取一级图像数据；
[0086]
根据所述一级图像数获取已重构的边界像素，并根据已重构的边界像素进行帧内预测，确定所述一级图像数据中的空间冗余信息，并基于所述空间冗余信息进行帧间预测，确定所述一级图像数据中的时间冗余信息，根据所述空间冗余信息和时间冗余信息，获取二级图像数据；
[0087]
将所述二级图像数据进行离散余弦变换，确定所述二级图像数据对应的信号集中区域，并根据所述信号集中区域进行二次离散余弦变换，确定一级压缩图像数据；
[0088]
针对所述一级压缩图像数据进行量化处理，确定非必要数据，并将所述非必要数据进行丢弃处理，确定二级压缩数据；其中，所述非必要数据包括：重复数据、浮点数据；
[0089]
将所述二级压缩数据通过熵编码进行数据处理，获取三级压缩数据；
[0090]
在一个实际的场景中：根据学生端发送的服务请求，服务器端接收到对应的服务请求中，在服务器中针对学生端需要的目标课程视频进行查找，当查找到对应的目标视频数据时，将完整的目标课程数据直接发送到学生本地端，通过这种直接将完整视频数据传输到本地端的方式，容易导致数据在传输过程中发生局部丢失，且数据传输较慢，容易产生延时；
[0091]
本发明在进行实施的时候，教师端将课程数据进行无损压缩上传至服务器端，无损的步骤包括：首先针对完整的目标课程视频通过视频分割的方式形成若干帧图像数据，再针对每一帧图像数据进行降采样处理，再将经过降采样处理的数据进行帧内或者帧间预测，估算出最能节省码流的方式，再将经过预测的视频数据进行离散余弦变换，确定当前帧的帧类型，然后针对视频数据进行量化处理，在针对图像数据进行量化时，首先针对一级压缩图像数据进行图像数据分析，获取图像数据参数，再将图像数据参数进行模型分析，从而确定图像数据中的量化噪声，再针对量化噪声进行去除，最后通过熵编码进行无损压缩处理；
[0092]
上述技术方案的有益效果为：本发明通过将视频数据进行视频分割处理，有利于快速一帧帧图像数据，通过对数据进行帧内和帧间预测，有利于获取最能节省码流的方式，进而提高数据压缩的效率，减少压缩时间，通过对数据进行量化处理，去除量化噪声，有利
于保持视频数据本身的特征，降低压缩损耗，保证在针对数据进行压缩时，保持数据的分辨率。
[0093]
实施例4：
[0094]
在一个实施例中，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，包括：
[0095]
将所述无损压缩数据进行视频分割，获取每一帧压缩图像数据；
[0096]
根据每一帧压缩图像数据，获取相邻帧压缩图像数据，并根据所述相邻帧压缩图像数据中的像素点进行运动跟踪，获取对应的像素点运动轨迹；
[0097]
针对所述压缩图像数据对应的像素点运动轨迹进行建立模型，生成视频重建模型；
[0098]
根据所述视频重建模型进行运动补偿计算，获取运动补偿误差，并针对所述运动补偿误差进行校正，并针对校正后的视频重建模型进行更新处理，所述更新处理为针对所述视频重建模型进行校正更新；
[0099]
根据更新后的视频重建模型，将所述无损压缩数据进行重建处理，获取重建视频课程；
[0100]
基于所述重建视频课程，针对学生端查看过程进行实时监测，并记录监测数据；
[0101]
在一个实际的场景中：针对压缩数据进行视频重建时，一般现有技术中通过对压缩数据直接进行解压缩处理，直接解压缩的方式获得的数据耗时较长，且数据容易发生丢失，导致数据不完整，此外，通过这种方式，容易导致原视频数据的画质受损，降低分辨率，进而降低学生端的听课体验；
[0102]
本发明在进行实施的时候，针对压缩数据进行视频重建时，没有通过对压缩数据进行直接解压缩，通过获取被压缩后的每一帧图像数据中的像素点，根据帧次序对像素点进行跟踪，根据像素点的跟踪轨迹构建视频重建模型，此时的视频重建模型中由于存在运动补偿误差，因此，直接根据模型进行视频重建易导致数据受损，通过对运动补偿误差进行计算并校正，根据校正的数据针对视频重建模型进行更新，实现对视频数据的重建工作；
[0103]
在一个具体的实施例中，构建视频重建模型过程中，为了提高视频重建过程中视频分辨率，通过帧压缩图像数据进行预训练，并针对权重进行计算，利用权重系数更新视频重建模型中的参数，从而使得视频重建模型的准确率更高，
[0104]
步骤1：假设图像输入帧为四个相邻的数据帧，分别对应为：f1、f2、f3、f4，针对输入数据帧进行预训练时，预训练计算过程如下：
[0105]
其中，i(f1,f2,f3,f4)表示相邻帧的预训练计算结果，γ(p,q,u,c)表示滤波器的权重值，(p,q,u,c)为滤波器中对应每一输入帧的权重大小，l(d)为预训练过程中产生误差值，d为预训练过程中的层数，σ
t
表示当时刻t对应的输入数据帧，p、q分别表示权重值的分布范围，输入数据帧的权重对应为p
×q×1×
c，第三帧输入数据的维度为1，因此，权重对应为1；
[0106]
步骤2：根据预训练的结果，计算相邻两帧的运动补偿，从而提高重建视频的分辨率，计算运动补偿的公式为：
[0107]
μ1(f1,f2)＝(1-s(f1,f2))
·
m(f1,f2) s(f1,f2)
·
μ0(f1,f2)
[0108]
其中，s(f1,f2)表示相邻帧f1,f2之间对应像素点的关联度，m(f1,f2)表示相邻帧f1,f2对应中心像素点，μ0(f1,f2)表示运动补偿的相邻帧，μ1(f1,f2)表示相邻帧对应的运动补偿后的视频帧数据；
[0109]
步骤3：s(f1,f2)的计算公式如下：
[0110][0111]
其中，λ表示常数参数，ξ(f1,f2)表示针对相邻帧数据进行运动补偿时的误匹配误差，s(f1,f2)表示相邻帧f1,f2之间对应像素点的关联度；
[0112]
上述技术方案的有益效果为：本发明通过按照帧序列对图像数据中的像素点进行运动轨迹跟踪，有利于直观快速的获取视频数据的下一步走向，提高视频重建的正确性，通过根据运动轨迹建立视频重建模型，有利于后期针对压缩数据进行重建时，避免开展重复的工作，直接根据模型进行视频重建即可，此外通过针对运动补偿误差进行计算和校正，有利于不断优化视频重建模型，保证视频重建的可信度。
[0113]
实施例5：
[0114]
在一个实施例中，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：
[0115]
根据所述无损压缩数据进行噪声分析，获取所述无损压缩数据对应的量化噪声数据，并针对所述量化噪声数据进行区分，确认区分结果；其中，所述量化噪声可以分为：变换域量化噪声、空间域量化噪声；
[0116]
当所述量化噪声的区分结果为空间域量化噪声时，将所述空间域量化噪声进行转换，形成变换域量化噪声；
[0117]
将所述变换域量化噪声按照预设的频率等级进行噪声分离，确定频率噪声分离结果；其中，所述预设的频率等级包括：高频、中频、低频；
[0118]
基于所述噪声分离结果，通过反转换将变换域量化噪声转换为原始空间域量化噪声进行去噪处理；
[0119]
在一个实际的场景中：针对压缩数据进行视频重建时，一般现有技术中通过对压缩数据直接进行解压缩处理，直接解压缩的方式获得的数据耗时较长，且数据容易发生丢失，导致数据不完整，此外，通过这种方式，容易导致原视频数据的画质受损，降低分辨率，进而降低学生端的听课体验
[0120]
本发明在进行实施的时候，本发明中针对无损压缩数据进行视频重建过程中，容易产生量化噪声，若不对量化噪声进行处理，会导致重建后的视频数据的分辨率降低，且数据丢失的情况，因此本发明中，首先获取量化噪声，再针对量化噪声进行分类，分为：变换域量化噪声、空间域量化噪声，针对量化噪声进行噪声分类，进而实现针对量化噪声的去噪过程；
[0121]
上述技术方案的有益效果为：本发明中通过对视频重建过程中的量化噪声进行去噪处理，有利于提高视频重建的效率和真确率，通过针对变换域量化噪声按照高、中、低频进行噪声分离，有利于在进行去噪时更全面，提高去噪的效率，进而保证视频在重建过程中画质不会受损，保证视频数据的前后完整性。
[0122]
实施例6：
[0123]
在一个实施例中，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：
[0124]
获取状态监测数据，将所述状态监测数据发送至预设的大数据处理平台，获取异常监测数据；
[0125]
针对所述异常监测数据进行故障特征提取，获取故障图像特征，并根据所述故障图像特征进行分类，获取分类故障特征；其中，故障包括：网络连接故障、视频重建故障；所述视频重建故障包括：视频帧损坏、视频音画不同步；
[0126]
根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因；
[0127]
在一个实际的场景中：针对学生端查看教学的过程进行状态监测时，出现的问题一般包括服务器出错，本地端网络延时，因此当出现其他故障问题时，无法确定视频故障的具体原因；
[0128]
本发明在进行实施的时候，针对学生端查看过程进行实时监测，并针对监测的数据进行记录，再将监测的数据上传至大数据处理平台，获取异常监测数据，根据异常监测的数据进行特征分析，获取故障的特征，最终根据特征，在大数据处理平台中确定对应的故障原因；
[0129]
在一个具体的实施例中，获取故障图像特征，需要根据故障图像特征进行分类，其中故障分类的过程包括：
[0130]
步骤1：采用卷积神经网络针对故障进行分类时，首先需要选择激活函数：
[0131][0132]
其中，a表示输入项，在激活函数选择时，考虑到relu函数针对负值部分为0，其余部分与输入项相同的特性，在进行特征提取时具有更好的效率；
[0133]
步骤2：故障分类函数对应如下：
[0134][0135]
其中，m()表示代价函数和n()表示像素点梯度函数，a表示输入项，j表示结合代价函数和梯度函数和进行组合针对视频故障进行分类。
[0136]
上述技术方案的有益效果为：本发明通过针对学生端的教学视频查看状态进行实时监测，有利于获取学生端在教学视频查看过程进行监控，及时获取异常数据，通过大数据处理平台并结合机器学习的方法确定故障特征和原因，有利于提升故障分析结果的可信度。
[0137]
实施例7：
[0138]
在一个实施例中，所述根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因，还包括：
[0139]
当所述视频故障原因显示课程视频为形变问题时，通过针对课程视频数据进行边缘监测，获取对应显示设备的边界信息；
[0140]
通过对所述课程视频的每一帧数据进行空间一致性分析，获取分析结果；
[0141]
当所述分析结果显示所述空间一致性符合要求时，采用特征变换匹配所述课程视频的开始帧和结束帧，获取第一处理视频；
[0142]
将所述第一处理视频与所述课程视频根据时间和空间进行线性对齐，获取第二处理视频；
[0143]
在一个实际的场景中：针对学生端查看教学的过程进行状态监测时，出现的问题一般包括服务器出错，本地端网络延时，因此当出现其他故障问题时，无法确定视频故障的具体原因
[0144]
本发明在进行实施的时候，本发明针对在线教学视频进行查看的过程中通过引入大数据处理平台，结合机器学习的方法针对异常数据进行故障特征分析，最终确定故障原因，特征分析的过程主要包括：空间一致性分析和视频播放时间和空间的线性对齐，通过这两个处理方法，可获取到对应的特征分析结果；
[0145]
上述技术方案的有益效果为：本发明通过空间一致性分析，有利于去除时域上产生的冗余，通过将播放视频从时间和空间上进行线性对齐，有利于降低算法的复杂度，进而提升故障分析的效率和准确率。
[0146]
实施例8：
[0147]
在一个实施例中，一种在线教学视频的智能处理方法，还包括：
[0148]
根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的暂停频次，并基于所述暂停频次针对所述重建视频进行暂停点定位，根据所述暂停点定位结果，获取所述暂停点对应的一级知识点序列；
[0149]
根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的回放频次，并基于所述回放频次针对所述重建视频进行回放点定位，根据所述会放电定位结果，获取所述回放点对应的二级知识点序列；
[0150]
获取所述重建视频课程的课后评论，通过对所述课后评论中的知识点关键字进行频次分析，并基于所述知识点关键字的频次分析结果，获取三级知识点序列；
[0151]
基于预设的云端平台，获取所有学生端对应的一级知识点序列和二级知识点序列；
[0152]
针对所有学生端对应的一级知识点序列、二级知识点序列和三级知识点序列进行频次分析，获取知识点序列的频次分析结果，并根据所述知识点频次分析结果针对知识点的难度等级进行等级划分；其中，所述知识点的难度等级包括：一级难度知识点、二级难度知识点、三级难度知识点；
[0153]
根据所述难度等级划分结果动态设置对应的难点复习计划，并将所述难点复习计划同步至对应的教师端口；
[0154]
在一个实际的场景中：教师端通过查看视频端口下方的课程评论单方面获取难度知识点的分布情况，这种方式较为被动，且不全面，过度依赖于教师端，使得在线教育的互动性较弱；
[0155]
本发明在进行实施的时候，当学生端针对于课程视频进行手动暂停和回放时，服务器端会针对暂停和回放的频次进行分析，获取对应的知识点列表，结合视频下方的评论内容，通过大数据处理平台进行总结分析，获取对应的难度知识点，并将对应的难度知识点同步至教师端口，教师端口可针对对应的知识点进行总结回顾，本技术方案中针对重建视
频在查看过程中的回放次数进行记录和分析，并对回放的时间点进行定位，确定回放位置处对应的知识点；
[0156]
上述技术方案的有益效果为：本发明通过针对回放、暂停的频次进行收集，有利于提高对难度知识点的分类总结，通过大数据处理平台，获取对应的难度知识点，有利于获取所有学员端的难度知识点的分布情况，同时也有利于教师端针对难度知识点更有针对性的安排复习。
[0157]
实施例9：
[0158]
在一个实施例中，一种在线教学视频的智能处理方法，还包括：
[0159]
通过双目视觉摄像机实时采集授课教师的讲课视频数据，将多个角度的视频数据进行视频帧拼接，获取全景讲课视频；
[0160]
针对所述全景讲课视频通过深度计算，获取左右眼视差数据；
[0161]
基于所述左右眼视差数据，通过vr显示设备获取三维场景下全景视频数据；
[0162]
根据所述三维场景下全景视频数据进行延迟测量，获取延迟时间，当所述延迟时间大于预设的时间范围时，判定所述延迟时间超标；
[0163]
当所述延迟时间超标时，针对编码器开启延时控制；
[0164]
在一个实际的场景中：在进行在线学习时，基本上都是通过智能设备端对目标视频课程进行查看，视频查看方式单一，且不具有交互性；
[0165]
本发明在进行实施的时候，在教师端进行授课时，通过采用双目视觉摄像机全方位采集讲课视频，再通过对采集的数据进行深度计算，获取左右眼视差数据，学生端通过vr显示设备可以查看三维场景下的全景视频数据，在此过程中，支持对视频的采集和播放进行延时测量，当延时的数据超过人眼感知的时间差时，针对编码器开启延时控制；
[0166]
上述技术方案的有益效果为：本发明通过设置vr视频查看模式，有利于增加在线学习过程中的交互性和趣味性，增加上课体验，此外通过采用vr方式进行上课易出现延时，当延时超标时，针对编码器开启延时控制有利于降低延时带来的不利影响，提高上课的效率。
[0167]
实施例10：
[0168]
在一个实施例中，一种在线教学视频的智能处理系统，如附图3所示，包括：
[0169]
课程验证模块：用于获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于云端课程库，根据所述目标课程编码调取对应的目标视频课程；
[0170]
视频压缩模块：用于根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩；
[0171]
状态检测模块：用于针对无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的进行状态监测，获取状态检测结果；
[0172]
在一个实际的场景中：进行在线教育时，教师端通过将所有的在线教育视频发送到服务器端，学生端需要查找对应的视频课程时，通过发送课程服务请求，服务器端根据接收到的服务请求进行解析，将目标视频课程发送到学员端供学生进行在线学习，通过这样的方式将数据进行直接传输容易导致视频数据传输延迟，当视频数据量较大时，数据传输缓慢且容易导致数据丢失，且通过将数据进行直接传输，易造成画质受损，分辨率降低；
[0173]
本发明在进行实施的时候，首先通过根据学生端的登录信息，直接获取目标课程
编码，再根据学生端的点击链接，获取目标视频课程，在针对目标视频课程传输过程中，首先将视频课程进行无损压缩，将经过无损压缩后的数据通过服务器发送至学生端，学生端接收到无损压缩数据之后进行视频重建，在学生端查看重建后的视频课程时，针对查看的状态进行实时监测，并对监测的数据进行记录；
[0174]
上述技术方案的有益效果为：本发明通过设置课程验证模块，根据学生端的登录信息获取目标视频课程，有利于通过学生端的登录信息对教学视频进行直接获取，降低了系统针对不同学员购买不同课程的判断时间，通过设置视频压缩模块，将目标视频课程通过无损压缩的方式上传到服务器，学生端直接下载无损压缩后的数据，有利于降低数据的内存，从而降低数据传输的时间，提高数据传输效率，通过设置状态检测模块，针对学生端查看视频重建课程的状态进行监测，有利于快速获取学生针对在线教学视频的重难点进行掌握，提高教师端针对难点进行重点复习。
[0175]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0176]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0177]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0178]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0179]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种在线教学视频的智能处理方法，其特征在于，包括：获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程；根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理；学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果。2.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，所述获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程，包括：获取学生端登录信息，根据所述登录信息基于预设的客户订阅数据库，获取客户的课程订阅信息；其中，所述课程订阅信息包括：已订阅课程编码、已订阅课程名称、课时数、授课时间、授课教师；根据所述客户的课程订阅信息，自动生成课程选择列表，并根据所述课程选择列表，获取所述客户的目标课程选择项；根据所述客户的目标课程选择项，获取对应的课程选择链接，并根据所述课程选择链接基于所述云端课程库进行目标课程查找，确定目标视频课程。3.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，所述根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理，包括：根据所述目标视频课程进行视频分割，获取若干帧图像数据，将每一帧图像数据进行降采样处理，获取一级图像数据；根据所述一级图像数获取已重构的边界像素，并根据已重构的边界像素进行帧内预测，确定所述一级图像数据中的空间冗余信息，并基于所述空间冗余信息进行帧间预测，确定所述一级图像数据中的时间冗余信息，根据所述空间冗余信息和时间冗余信息，获取二级图像数据；将所述二级图像数据进行离散余弦变换，确定所述二级图像数据对应的信号集中区域，并根据所述信号集中区域进行二次离散余弦变换，确定一级压缩图像数据；针对所述一级压缩图像数据进行量化处理，确定非必要数据，并将所述非必要数据进行丢弃处理，确定二级压缩数据；其中，所述非必要数据包括：重复数据、浮点数据；将所述二级压缩数据通过熵编码进行数据处理，获取三级压缩数据。4.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，包括：将所述无损压缩数据进行视频分割，获取每一帧压缩图像数据；根据每一帧压缩图像数据，获取相邻帧压缩图像数据，并根据所述相邻帧压缩图像数据中的像素点进行运动跟踪，获取对应的像素点运动轨迹；针对所述压缩图像数据对应的像素点运动轨迹进行建立模型，生成视频重建模型；
根据所述视频重建模型进行运动补偿计算，获取运动补偿误差，并针对所述运动补偿误差进行校正，并针对校正后的视频重建模型进行更新处理，所述更新处理为针对所述视频重建模型进行校正更新；根据更新后的视频重建模型，将所述无损压缩数据进行重建处理，获取重建视频课程；基于所述重建视频课程，针对学生端查看过程进行实时监测，并记录监测数据。5.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：根据所述无损压缩数据进行噪声分析，获取所述无损压缩数据对应的量化噪声数据，并针对所述量化噪声数据进行区分，确认区分结果；其中，所述量化噪声可以分为：变换域量化噪声、空间域量化噪声；当所述量化噪声的区分结果为空间域量化噪声时，将所述空间域量化噪声进行转换，形成变换域量化噪声；将所述变换域量化噪声按照预设的频率等级进行噪声分离，确定频率噪声分离结果；其中，所述预设的频率等级包括：高频、中频、低频；基于所述噪声分离结果，通过反转换将变换域量化噪声转换为原始空间域量化噪声进行去噪处理。6.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，所述学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态监测结果，还包括：获取状态监测数据，将所述状态监测数据发送至预设的大数据处理平台，获取异常监测数据；针对所述异常监测数据进行故障特征提取，获取故障图像特征，并根据所述故障图像特征进行分类，获取分类故障特征；其中，故障包括：网络连接故障、视频重建故障；所述视频重建故障包括：视频帧损坏、视频音画不同步；根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因。7.如权利要求6所述的一种在线教学视频的智能处理方法，其特征在于，所述根据所述分类故障特征采用卷积神经网络针对所述故障图像特征进行提取和学习，确定视频故障原因，还包括：当所述视频故障原因显示课程视频为形变问题时，通过针对课程视频数据进行边缘监测，获取对应显示设备的边界信息；通过对所述课程视频的每一帧数据进行空间一致性分析，获取分析结果；当所述分析结果显示所述空间一致性符合要求时，采用特征变换匹配所述课程视频的开始帧和结束帧，获取第一处理视频；将所述第一处理视频与所述课程视频根据时间和空间进行线性对齐，获取第二处理视频。8.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，还包括：根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的暂停频次，并
基于所述暂停频次针对所述重建视频进行暂停点定位，根据所述暂停点定位结果，获取所述暂停点对应的一级知识点序列；根据所述重建视频课程的状态监测结果，获取学生端播放视频过程中的回放频次，并基于所述回放频次针对所述重建视频进行回放点定位，根据所述会放电定位结果，获取所述回放点对应的二级知识点序列；获取所述重建视频课程的课后评论，通过对所述课后评论中的知识点关键字进行频次分析，并基于所述知识点关键字的频次分析结果，获取三级知识点序列；基于预设的云端平台，获取所有学生端对应的一级知识点序列和二级知识点序列；针对所有学生端对应的一级知识点序列、二级知识点序列和三级知识点序列进行频次分析，获取知识点序列的频次分析结果，并根据所述知识点频次分析结果针对知识点的难度等级进行等级划分；其中，所述知识点的难度等级包括：一级难度知识点、二级难度知识点、三级难度知识点；根据所述难度等级划分结果动态设置对应的难点复习计划，并将所述难点复习计划同步至对应的教师端口。9.如权利要求1所述的一种在线教学视频的智能处理方法，其特征在于，还包括：通过双目视觉摄像机实时采集授课教师的讲课视频数据，将多个角度的视频数据进行视频帧拼接，获取全景讲课视频；针对所述全景讲课视频通过深度计算，获取左右眼视差数据；基于所述左右眼视差数据，通过vr显示设备获取三维场景下全景视频数据；根据所述三维场景下全景视频数据进行延迟测量，获取延迟时间，当所述延迟时间大于预设的时间范围时，判定所述延迟时间超标；当所述延迟时间超标时，针对编码器开启延时控制。10.如权利要求1所述的一种在线教学视频的智能处理系统，其特征在于，包括：课程验证模块：用于获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于云端课程库，根据所述目标课程编码调取对应的目标视频课程；视频压缩模块：用于根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩处理；状态检测模块：用于针对无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的进行状态监测，获取状态监测结果。

技术总结
本发明提供了一种在线教学视频的智能处理方法及系统，方法包括：获取学生端身份验证编码，根据所述身份验证编码获取目标课程编码，基于预设的云端课程库，根据所述目标课程编码调取对应的目标视频课程；根据所述目标视频课程进行视频帧类型分析，确定每一帧的视频帧类型，根据所述每一帧视频帧类型针对所述目标视频课程进行无损压缩；学生端根据无损压缩数据进行视频重建，获取重建视频课程，并针对所述重建视频课程的查看过程进行状态监测，获取状态检测结果，系统包括：课程验证模块、视频压缩模块、状态监测模块。本发明能够提高在线教学视频的分辨率，降低视频数据在传输过程中发生延时的可能性。发生延时的可能性。发生延时的可能性。


技术研发人员：张楚婧
受保护的技术使用者：广州佳邦信息科技有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25