本发明属于相机自动曝光，具体说是一种基于在线自学习的相机曝光控制方法。
背景技术：
1、相机自动曝光技术是一种通过对拍摄图片进行实时监测和分析，自动调整相机的曝光时间、光圈大小和感光度等参数，以确保取得最优曝光图像的技术。该技术能够处理各种复杂的拍摄环境，并提供经过优化后的图像。它广泛应用于数码相机、手机相机、个人电脑相机、工业相机、监控摄像头和机器视觉系统等领域。优秀的相机自动曝光技术可以大大提高图像质量和用户体验。通过自动调节曝光参数，可以避免由于光线变化导致的图像过曝光或者欠曝光问题，同时可以增强图像的对比度和细节。因此，相机自动曝光技术对于现代照片和视频采集技术的发展具有重要意义。
2、目前相机曝光控制方法主要分为三类：基于数值的曝光控制方法，比如中心测光、点测光、矩阵测光等经典算法，这些算法目前也被广泛使用在各个相机模块上；基于启发式的曝光控制方法，21世纪初出现了基于最优化思想和算法的曝光补偿调整算法；基于深度学习的曝光补偿调整算法，近年来随着深度学习的迅猛发展，将深度学习用于相机曝光调整的思路得到越来越多的尝试。虽然这些方法大多可以达到较好的曝光效果，但也都存在一些问题。
3、对于基于数值的曝光算法来说，其优势在于执行速度快且稳定，但缺点在于对于广泛场景来说仍缺乏较强的适应性；对于基于启发式的曝光算法来说，其优势在于能更好地利用场景信息，但在执行速度优化方面，成熟的技术路线非常少；对于基于深度学习的曝光算法来说，其优势在于对一般场景的适应性更加出色，但对于新的场景仍缺乏自适应能力，很难适应不同用户的使用习惯。而且，深度学习网络相对其他算法来说更加复杂，很难实时应用。
技术实现思路
1、本发明结合深度学习类曝光控制方法的优势，重点解决深度学习类算法的新场景适应问题，以及实时应用问题，给出一个可以在广泛使用场景中(包括手机相机、电脑相机、工业相机等)应用的，高性能的技术路线。
2、本发明为实现上述目的所采用的技术方案是：
3、一种基于在线自学习的相机曝光控制方法，包括以下步骤：
4、通过公开数据集获取图像数据并对其进行预处理；
5、构建深度学习预训练模型，并使用训练好的图像数据对模型进行训练；
6、获取实时视频流，利用训练好的深度学习预训练模型计算视频流中相邻两帧的状态图片的曝光预测值，并对其进行处理，将处理结果存入经验池中；
7、构建深度强化学习迭代模型，将处理后的曝光预测值作为模型的奖励训练深度强化学习迭代模型；
8、根据部署条件，将训练好的深度强化学习迭代模型部署到相机中，实现对相机的曝光控制。
9、所述深度学习预训练模型采用深度神经网络结构，输入为图像数据，输出为图像的曝光预测值，训练深度学习预训练模型的损失函数lpretrain为：
10、
11、其中，d为偏差图像，t为错误曝光图，w为图像宽度，h为图像高度，y为网络输出，t为最优曝光补偿值，ldiscrepancy为偏差损失部分，lregression为回归损失部分。
12、所述深度强化学习迭代模型的奖励为：
13、
14、
15、其中，rt为t时刻的奖励，scoret、scoret-1分别为t时刻和t-1时刻的分数，为深度学习预训练模型的神经网络映射，st、st-1分别为t时刻和t-1时刻状态。
16、所述深度强化学习迭代模型采用竞争深度q值网络结构，输入为视频流采集到的一帧图像，输出为当前状态的q值向量，所述深度强化学习迭代模型的训练过程具体为：
17、估计q网络异步地从经验池获取一组的sk和sk+1，通过前向传播计算估计q网络的输出同时估计q网络骨干网络的最后一层输出特征图
18、计算动作ap：
19、
20、其中，a为估计q网络输出的动作，为估计q网络参数向量；
21、目标q网络获取sk+1，并通过前向传播计算q(sk+1,ap；ω)，ω为目标q网络参数向量；
22、将q(sk+1,ap；ω)和这些计算结果代入损失函数进行梯度下降，更新估计q网络的参数；
23、当迭代的次数或迭代过程中的每代的平均奖励值或用户的动作达到部署条件时，将估计q网络的所有参数应用于目标q网络，完成对目标q网络的更新。
24、所述损失函数lonline为：
25、
26、其中，ldqn为dqn损失，lkd为蒸馏损失，rk为k时刻奖励，γ为强化学习参数，为估计网络特征图输出，ef(sk；ωe)为深度学习预训练模型网络特征图输出，为估计q网络参数向量，ω为目标q网络参数向量，ωe为深度学习预训练模型的参数向量。
27、所述部署条件为：
28、部署条件1：记录每次迭代后产生的最大奖励值，每10次迭代统计一次其平均值，如果本次计算的平均值与上一次计算的平均值的比值超过设定阈值，则达成本条件；
29、部署条件2：距上一次部署动作，完成了设定次数的迭代，则达成本条件；
30、部署条件3：如果用户在某一时刻停止采集视频流，则达成本条件；
31、当部署条件1、2达成任一一个，且部署条件3达成时，进行部署动作。
32、所述部署具体为：
33、1)将目标q网络导出为onnx格式；
34、2)将onnx格式的模型文件转换为使用的推理后端模型文件；
35、3)将后端模型文件通过http传输到远程机器上或在本机磁盘存储。
36、本发明具有以下有益效果及优点：
37、1.针对新场景适应问题，本发明利用深度强化学习对马尔可夫决策过程的建模能力，学习到视频流帧与帧之间的内在联系。同时，配合本发明的在线强化学习算法，可以高效地强化算法对每个用户使用过程中，帧间内在联系的感知和学习。使算法在用户实际使用过程中，不断地学习用户的场景和使用习惯，最终为每个用户提供个性化的曝光效果。
38、2.针对深度学习算法实时应用的问题，本发明使用更轻量的深度强化学习模型，来压缩复杂的深度学习模型，而且通过两个模型之间的特征蒸馏，保证前者的性能。
39、3.本发明提出对深度学习加速推理部署在实际设备上的具体应用方法。利用成熟的加速推理部署组件对深度学习实时应用过程进行加速，可以达到较高的实时性，同时不依赖大量算力。
1.一种基于在线自学习的相机曝光控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述深度学习预训练模型采用深度神经网络结构，输入为图像数据，输出为图像的曝光预测值，训练深度学习预训练模型的损失函数lpretrain为：
3.根据权利要求1所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述深度强化学习迭代模型的奖励为：
4.根据权利要求1所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述深度强化学习迭代模型采用竞争深度q值网络结构，输入为视频流采集到的一帧图像，输出为当前状态的q值向量，所述深度强化学习迭代模型的训练过程具体为：
5.根据权利要求4所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述损失函数lonline为：
6.根据权利要求1所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述部署条件为：
7.根据权利要求1所述的一种基于在线自学习的相机曝光控制方法，其特征在于，所述部署具体为：
