一种在线课堂场景下基于黑板特征的超分辨率重建方法

1.本发明涉及图像超分辨率重建技术领域，具体涉及一种在线课堂场景下基于黑板特征的超分辨率重建方法。


背景技术：

2.随着互联网技术的普及，网络教育正在悄悄改变着大家的学习方式，通过网络参加校园课堂线上直播教学的人越来越多。与此同时，随着参与人数的增加以及对视频画质要求的提高，在有限的网络带宽下，直播教学需要具备的实时性能受到挑战。另外，由于拍摄角度或者距离等因素，会导致讲台和墙壁等非知识内容区域的出现，这在带宽受限时并不友好。而随着图像处理技术的发展，可以通过传统图像标定的方法来实现对黑板区域的裁剪，还可以利用下采样方式将传输的信息进行压缩并利用图像超分辨率技术对发送端的画面信息进行图像重建来降低需要传输的信息量，从而减少对网络带宽的需求。
3.然而，有的教室配置的黑板是可活动型的，而且在线公开课场景中，拍摄镜头一般会随着老师身体的移动而移动，采用传统的图像标定方法无法实现准确提取黑板板书区域的效果，这不仅会使得最终的图像重建指标受到无关的影响因子干扰，还会造成设备算力的浪费。此外，黑板板书上的粉笔字符具有明显的边缘性特征，但现有的大多数超分辨率模型都没有针对边缘性特征进行设计，而且现有的超分辨率重建技术较少关注重建速度，导致在远程直播教学这种实时性要求高的场景中难以嵌入使用。


技术实现要素：

4.本发明的目的是为了解决现有技术中的上述缺陷，提供一种在线课堂场景下基于黑板特征的超分辨率重建方法。该方法通过改进目标检测模型yolov5准确提取黑板板书区域，减少对非黑板区域重建造成的算力浪费，然后采用带有梯度约束的超分辨率模型对提取的黑板板书区域进行重建处理，能够及时有效地提高照片中板书内容的分辨率。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种在线课堂场景下基于黑板特征的超分辨率重建方法，所述超分辨率重建方法包括以下步骤：
7.s1、构建在线课堂场景的黑板高分辨率和低分辨率数据集；
8.s2、构建目标检测模型yolov5，并通过目标检测模型yolov5对输入图像进行检测，采用非极大值抑制输出包含黑板板书区域的最小外接矩形的四个坐标值，从而裁剪出输入图像中的黑板板书区域；减少图像超分辨率模型重建区域，从而减少图像超分辨率模型计算量并避免非黑板板书区域对超分辨率模型重建效果的干扰；
9.s3、构建引入梯度约束的图像超分辨率模型，并通过图像超分辨率模型对具有明显边缘特征的黑板板书区域进行重建操作，得到相应的超分辨率重建图像；
10.s4、将步骤s2中输入的低分辨率图像进行双三次上采样插值，然后与步骤s3中获得的黑板区域重建图像进行整合，从而输出在线课堂场景下基于黑板特征的超分辨率重建
结果。
11.进一步地，所述步骤s1的过程如下：
12.采用摄像头录制在线课堂视频，或者通过网络爬虫方式收集在线公开课的录制视频，然后，对视频进行间隔抽帧，得到一系列黑板板书图片，将一系列黑板板书图片作为在线课堂场景的黑板高分辨率数据集，并采用双三次下采样插值方法获得对应的黑板低分辨率数据集，然后按照7:3的比例划分为训练数据集和测试数据集。使用目标场景对应的数据集进行模型训练，有利于提高模型对黑板板书区域的重建效果。
13.进一步地，所述目标检测模型yolov5包括依次顺序连接的特征提取模块、特征融合模块和特征预测模块。
14.首先，特征提取模块由一个focus模块和三个csp模块依次顺序连接组成，其中，focus模块包含四个并联的切片层和一个卷积层，对输入图片进行切片操作后在通道维度上进行拼接，并进行卷积操作，三个csp模块的输出按照前后顺序分别记为特征图m1、特征图m2和特征图m3；特征提取模块是将数据切分为4份，每份数据都相当于2倍下采样得到的，然后在通道维度进行拼接，可以提高每个像素点的感受野并最大程度的减少信息损失。
15.然后，特征融合模块由特征金字塔模块fpn和路径聚合模块pan组成，其中，特征金字塔模块fpn采用上采样方式对信息进行特征融合，先对特征图m3进行上采样，然后和特征图m2特征融合，得到特征图f1，特征图f1再经过上采样后和特征图m1特征融合，得到特征图f2，而路径聚合模块pan采用自底向上的方式进行特征融合，特征图f2先经过步长为2的卷积层后，和特征图f1进行特征融合，得到特征图p1，特征图p1再经过步长为2的卷积层后，和特征图m3进行特征融合，得到特征图p2；特征融合模块采用特征金字塔模块fpn自顶向下传达强语义特征，采用路径聚合模块pan自底向上传达强定位特征，从不同的维度对不同的特征图进行特征融合。
16.最后，特征预测模块利用非极大值抑制nms对特征图f2、特征图p1和特征图p2进行处理后，输出最终的预测矩形框坐标。
17.进一步地，所述csp模块包括两条支路，支路一是一个卷积层，支路二是两个卷积模块和一个卷积层依次顺序连接组成，其中，卷积模块由卷积层、归一化层和激活层依次顺序连接组成。然后，两条支路的输出通过拼合后，再通过归一化层和激活层的处理后，得到csp模块的输出。采用csp模块先将输入信息划分为两部分，然后通过跨阶段层次结构将它们合并，在保持准确率的同时，可以减少计算量。
18.进一步地，所述图像超分辨率模型包括依次顺序连接的特征提取模块、特征学习模块以及特征重构模块。其中，特征提取模块由单个卷积核为3*3的卷积神经网络层组成，扩大了特征通道数量，为后面模块的特征学习提供更多的特征信息；特征学习模块由主干学习网络和梯度分支网络组成，其中，主干学习网络由多个增强型信息蒸馏模块eimdb串联，并利用残差连接将所有增强型信息蒸馏模块eimdb的输出相加，使低维度和高维度特征信息再一次融合，提高模型的学习能力，梯度分支网络由多个深度可分离卷积层串联，利用残差连接将所有深度可分离卷积层的输出相加，另外，梯度分支网络利用边缘提取算子prewitt提取输入信息的边缘特征，从而使得梯度分支网络单独学习黑板板书区域中粉笔字符的边缘特征，以便更好地优化超分辨率的重建效果；特征重构模块由像素注意力机制和亚像素卷积层组成。
19.进一步地，增强型信息蒸馏模块eimdb的结构包括依次顺序连接的两个通道分离模块、特征拼合层、增强型空间注意力机制层和特征融合层，其中，所述通道分离模块由一个通道分离层和一个3*3卷积层组成。首先，在通道分离模块中，先通过通道分离层将输入的特征通道按照1:3比例进行划分，这将产生两部分特征通道，其中占比少的部分被保留，另一部分被输入到3*3卷积层中。保留的部分可视为精细化特征通道，另一部分经过3*3卷积层处理后可视为通道分离模块的输出。然后，将所有的精细化特征通道和第二通道分离模块的输出传给特征拼合层进行通道拼合。特征拼合层和增强型空间注意力机制层进行串联，将增强型空间注意力机制层的输出和增强型信息蒸馏模块eimdb的输入端进行残差连接，并通过特征融合层进行融合，输出结果作为增强型信息蒸馏模块eimdb的输出。增强型信息蒸馏模块eimdb采用渐进式通道分离操作的方式使低维度和高维度特征信息再一次融合，提高模型的学习能力。
20.进一步地，所述步骤s4的过程如下：
21.首先，对输入的低分辨率图像采用双三次上采样插值方法。其中，双三次上采样插值基函数公式为：
[0022][0023]
其中，参数表示待插值像素点p(x,y)与该像素的邻域点之间在行和列上的距离。对待插值的像素点p(x,y)，x、y分别为待插值的像素点的横坐标和纵坐标，取其附近的4*4邻域点p(xi,yj)，其中i,j＝0,1,2,3，按如下公式进行插值计算：
[0024][0025]
式中，f(x,y)表示待插值的像素点数值，f(xi,yj)表示待插值像素点附近的4*4邻域点数值。
[0026]
然后，插值后的图像i
bicubic
和重建图像i
sr
进行整合的数学表达公式如下：
[0027][0028]
式中，i
out
表示最终的重建效果图，p表示重建效果图的像素点。
[0029]
本发明相对于现有技术具有如下的优点及效果：
[0030]
(1)本发明提出了一种在线课堂场景下基于黑板特征的超分辨率重建方法，通过改进的带有梯度约束的超分辨率模型rvcsrn，对黑板板书中边缘特征明显的粉笔字符进行特征提取，有效提高了照片中有着边缘特征的粉笔字符内容的重建效果；利用图像超分辨率方法在提高黑板板书分辨率的同时，还有效降低远程直播时需要传输的数据量，从而降低对网络带宽的要求。
[0031]
(2)本发明提出了一种在线课堂场景下基于黑板特征的超分辨率重建方法，在图像预处理阶段，利用改进的目标检测模型yolov5智能提取黑板的区域，剔除墙壁、讲台等非
黑板区域，有效减少黑板板书重建过程中输入图片的大小，从而降低超分辨率重建方法的计算量和推理时间，并且避免了非黑板区域对黑板超分辨率重建效果的干扰。
附图说明
[0032]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0033]
图1是本发明公开的一种在线课堂场景下基于黑板特征的超分辨率重建方法的流程图；
[0034]
图2是本发明公开的一种在线课堂场景下基于黑板特征的超分辨率重建方法的工作原理图；
[0035]
图3是本发明实施例中直播设备拍摄时教室环境示意图；
[0036]
图4是本发明实施例中可活动黑板的不同形态示意图；
[0037]
图5是本发明实施例中改进的目标检测模型yolov5结构图；
[0038]
图6是本发明实施例中改进的超分辨率模型rvcsrn结构图；
[0039]
图7是本发明实施例中改进的超分辨率模型rvcsrn与其他重建方法的重建效果对比图。
具体实施方式
[0040]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
实施例1
[0042]
如附图2所示，本实施例所提供的是一种在线课堂场景下基于黑板特征的超分辨率重建方法，其具体情况如下：
[0043]
s1、如附图3所示，摄像头安装在教室后排的墙壁上，实时采集包含完整的黑板板书区域的视频信息，并将视频信息传输给计算机。
[0044]
s2、对s1采集到的黑板视频信息采用间隔抽帧的方法进行处理，获得手写黑板板书图片，将其作为在线课堂场景的黑板高分辨率数据集，并采用双三次下采样插值方法以及视频编解码操作，获得对应的黑板低分辨率数据集，然后按照7:3的比例划分为图像超分辨率任务的训练数据集和测试数据集。
[0045]
s3、对s2获得的黑板低分辨率图像进行目标检测任务预处理。预处理操作是采用labelimg软件对视频帧中的黑板区域边缘进行标注，获得对应图像的xml格式的标签文件，标注文件包括图像中黑板区域的边框坐标以及类别信息，并将图像和标签按照7:3比例分为目标检测任务的训练数据集和测试数据集。
[0046]
s4、考虑到现在教室里的黑板大多是可活动的黑板，黑板位置不固定，如附图4所示，采用传统的图像标定方法对黑板区域进行提取的方式不再适用，所以采用基于深度学习的目标检测模型yolov5来智能提取黑板区域。
[0047]
利用s3中制作的目标检测任务训练数据集训练改进的目标检测模型yolov5。该模
型主要是剔除墙壁、讲台等非黑板区域，减少超分辨率重建的区域，并降低对超分辨率重建效果的干扰，从而提高重建速度和重建精度。改进的目标检测模型yolov5结构图如附图5所示，包括依次顺序连接的特征提取模块、特征融合模块和特征预测模块。
[0048]
首先，特征提取模块由一个focus模块和三个csp模块依次顺序连接组成，其中，focus模块包含四个并联的切片层和一个卷积层，对输入图片进行切片操作后在通道维度上进行拼接，并进行卷积操作，三个csp模块的输出按照前后顺序分别记为特征图m1、特征图m2和特征图m3；csp模块包含两条支路，支路一是一个卷积层，支路二是两个卷积模块和一个卷积层依次顺序连接组成，其中，卷积模块由卷积层、归一化层和激活层依次顺序连接组成。然后，两条支路的输出通过拼合后，再通过归一化层和激活层的处理后，得到csp模块的输出。特征提取模块是将数据切分为4份，每份数据都相当于2倍下采样得到的，然后在通道维度进行拼接，可以提高每个点感受野并最大程度的减少信息损失。
[0049]
然后，特征融合模块由特征金字塔模块fpn和路径聚合模块pan组成，其中，特征金字塔模块fpn采用上采样方式对信息进行特征融合，先对特征图m3进行上采样，然后和特征图m2特征融合，得到特征图f1，特征图f1再经过上采样后和特征图m1特征融合，得到特征图f2，而路径聚合模块pan采用自底向上的方式进行特征融合，特征图f2先经过步长为2的卷积层后，和特征图f1进行特征融合，得到特征图p1，特征图p1再经过步长为2的卷积层后，和特征图m3进行特征融合，得到特征图p2；特征融合模块采用特征金字塔模块fpn自顶向下传达强语义特征，采用路径聚合模块pan自底向上传达强定位特征，从不同的维度对不同的特征图进行特征融合。
[0050]
最后，特征预测模块利用非极大值抑制nms对特征图f2、特征图p1和特征图p2进行处理后，输出最终的预测矩形框坐标。
[0051]
s5、根据步骤s4获得的预测矩形框坐标，对s2步骤获得的高低分辨率图像对在相应位置进行裁剪，获得黑板区域图像，分别记为超分辨率网络的真实标签数据hr和输入数据lr。
[0052]
s6、对低分辨率的黑板区域图片lr进行超分辨率重建。超分辨率模型采用改进的带有梯度约束的图像超分辨率模型rvcsrn，该模型结构图如附图6所示，包括依次顺序连接的特征提取模块、特征学习模块以及特征重构模块。
[0053]
特征提取模块由单个卷积核为3*3的卷积神经网络层组成，扩大了特征通道数量，为后面模块的特征学习提供更多的特征信息。
[0054]
特征学习模块由主干学习网络和梯度分支网络组成，其中，主干学习网络由多个增强型信息蒸馏模块eimdb串联，并利用残差连接将所有增强型信息蒸馏模块eimdb的输出相加。增强型信息蒸馏模块eimdb包括依次顺序连接的两个通道分离模块、特征拼合层、增强型空间注意力机制层和特征融合层，其中，所述通道分离模块由一个通道分离层和一个3*3卷积层组成。首先，在通道分离模块中，先通过通道分离层将输入的特征通道按照1:3比例进行划分，这将产生两部分特征通道，其中占比少的部分被保留，另一部分被输入到3*3卷积层中。保留的部分可视为精细化特征通道，另一部分经过3*3卷积层处理后可视为通道分离模块的输出。然后，将所有的精细化特征通道和第二通道分离模块的输出传给特征拼合层进行通道拼合。特征拼合层和增强型空间注意力机制层进行串联，将增强型空间注意力机制层的输出和增强型信息蒸馏模块eimdb的输入端进行残差连接，并通过特征融合层
进行融合，输出结果作为增强型信息蒸馏模块eimdb的输出。增强型信息蒸馏模块eimdb采用渐进式通道分离操作的方式使低维度和高维度特征信息再一次融合，提高模型的学习能力。
[0055]
特征学习模块中的梯度分支网络由多个深度可分离卷积层串联，利用残差连接将所有深度可分离卷积层的输出相加，另外，梯度分支网络利用边缘提取算子prewitt提取输入信息的边缘特征，从而使得梯度分支网络单独学习黑板板书区域中粉笔字符的边缘特征，以便更好地优化超分辨率的重建效果。
[0056]
特征重构模块由像素注意力机制和亚像素卷积层组成，在特征重构的过程中增强通道信息的交流，从而提高模型的重建性能。
[0057]
s7、利用超分辨率数据集训练改进的rvcsrn网络，训练中采用adam优化方法、0.001的初始学习率进行训练，训练次数为1000个epoch。损失函数采用平均绝对误差损失函数，当损失函数达到设定阈值时，训练结束，选取该模型参数作为最终的预测模型。
[0058]
使用基于误差敏感指标psnr和结构相似性指标ssim的评价标准进行图像质量效果评估。
[0059]
psnr评价指标的计算公式如下所示：
[0060][0061]
其中，x与y分别为模型输出图像sr与目标图像hr，maxvalue为该图像所能取到的最大动态范围，h和w为图像的高度和宽度。
[0062]
ssim评价指标的计算公式如下所示：
[0063][0064]
其中，x与y分别为模型输出图像sr与目标图像hr，μ
x
为x的均值，μy为y的均值，为x的方差，为y的方差，σ
xy
为x与y的协方差，c1与c2为常数。
[0065]
psnr和ssim指标会随着重建质量的改善而提高。最后，将测试集的黑板板书图输入到预测模型中进行超分辨率重建，记录相应的图像重建质量性能指标和模型推理时间，并获取超分辨率网络输出的重建效果图。
[0066]
s8、将s2步骤中获得的低分辨率图像进行双三次上采样插值，获得bicubic重建效果图，其中，双三次上采样插值基函数公式为：
[0067][0068]
对待插值的像素点p(x,y)，取其附近的4*4邻域点p(xi,yj)，其中i,j＝0,1,2,3。按如下公式进行插值计算：
[0069][0070]
式中，f(x,y)表示待插值的像素点数值，f(xi,yj)表示待插值像素点附近的4*4邻域点数值。
[0071]
然后，将插值后的图像i
bicubic
和s7步骤中超分辨率模型输出的重建图像i
sr
进行整合，整合的数学表达形式如下：
[0072][0073]
式中，i
out
表示最终的重建效果图，p表示重建效果图的像素点。双三次上采样插值后的图像i
bicubic
和s7步骤中超分辨率模型输出的重建图像i
sr
通过公式(e)进行整合后，最终输出在线课堂场景下基于黑板特征的超分辨率重建效果图i
out
。
[0074]
实施例2
[0075]
如表1所示，本实施例所提供的是基于黑板特征，先进行黑板板书区域识别再进行超分辨率重建的方法(先识别后超分)和直接进行超分辨率重建的方法(直接超分)的比较，
[0076]
表1.先识别后超分方法和直接超分方法的性能指标对比表
[0077][0078]
其具体情况如下：
[0079]
对于1080p的测试图，当黑板板书区域的面积占比为整个测试图的1/2时，先识别后超分的方法比直接超分的方法在乘加数和耗时上均有减少；当占比下降时，乘加数和耗时的减少幅度进一步增加。该实验结果验证了本发明提出的先识别后超分方法的有效性。
[0080]
如表2所示，本实施例所提供的是在线课堂场景下基于黑板特征改进的超分辨率重建模型rvcsrn和其他图像重建方法在自制的黑板数据集下的重建性能比较。
[0081]
表2.改进的超分辨率模型rvcsrn与其他重建方法的性能指标对比表
[0082][0083]
从表2可以发现，改进的超分辨率模型rvcsrn在图像重建性能指标psnr和ssim上均优于其他重建方法；从图7可以看到，改进的超分辨率模型rvcsrn的图像重建效果图比其他方法的效果图更加清晰。该实验结果验证了本发明提出的基于黑板特征改进的超分辨率重建模型rvcsrn的有效性。
[0084]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的
限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。