一种基于主动安全终端的单双手脱离方向盘预警系统的制作方法

1.本发明涉及公交车技术领域，尤其是一种基于主动安全终端的单双手脱离方向盘预警系统。


背景技术：

2.公共交通引起的事故数量约占全国交通事故数量的1％，且近10年都没有很大降幅。这个现象引起了主管部门、行业、企业的高度重视和警惕。而一部分事故的发生，正是由于公交车驾驶员的不规范驾驶行为。在国内，主动安全系统算法场景大多从“两客一危”移植，应用到公交场景时普遍精度不高。不强调软件平台的配合和企业管理的辅助决策。且无法克服“单双手脱离方向盘”这一隐患最大、最常见的公交车不规范驾驶行为。参考中国专利申请号为cn202110400306.6的一种基于主动安全预警的车载监控系统及方法，所述系统包括监控后台和位于不同车辆上的多个车载嵌入式设备；所述车载式嵌入设备，用于采集车辆定位信息、车辆速度信息和车内外图像信息，据此进行主动安全预警的防疲劳预警，并在需要进行主动安全预警或是需要进行防疲劳预警时，将车辆定位信息、车辆速度信息、车内外图像信息和车辆编号信息一起传输给监控后台；所述监控后台，用于根据车载式嵌入设备上传的信息，对车辆运行过程中出现的问题进行综合监控，并统计出每辆车出现的问题和每个驾驶员出现的问题，生成相应的报表。该申请有助于保障行车安全，同时能够对行车过程中出现的问题进行汇总分析和综合监控。然而该方案未建立单双手脱离算法模型，无法检测和预警单双手脱离方向盘这一行为，遗漏了公交车驾驶员最常见的不规范驾驶行为之一。该方案将报警关联的若干数据传输给后台，在网页端进行前端展示报表，无法传输到手机端，在目前移动互联网高速发展的当下前端应用层局限且覆盖少。


技术实现要素：

3.本发明解决了现有技术无法检测和预警单双手脱离方向盘且预警数据无法传输到手机端的问题，提出一种基于主动安全终端的单双手脱离方向盘预警系统，通过设置在公交车驾驶舱的辅助监控系统对单双手脱离方向盘进行预警，并通过网络传输将预警数据传输到手机端，覆盖前端应用层。
4.为实现上述目的，提出以下技术方案：
5.一种基于主动安全终端的单双手脱离方向盘预警系统，包括主动安全终端、安装在公交车b柱附近自上而下拍摄驾驶座的辅助相机、调度系统后台及应用端，所述辅助相机与主动安全终端电连接，所述辅助相机用于对方向盘进行实时录像，并将录像传输到主动安全终端，所述主动安全终端设有本地语音播报模块和单双手脱离算法，所述单双手脱离算法用于识别单双手脱离行为持续时间，并生成报警记录，所述本地语音播报模块用于对报警记录进行语音播报；所述主动安全终端通过网络传输报警记录和录像到调度系统后台，所述调度系统后台通过网络传输报警记录和录像传输到应用端。
6.本发明采集了公交车驾驶员百万级的视频素材，进行机器学习训练，专门建立单
双手脱离算法模型，可有效识别驾驶员单、双手脱离方向盘行为并进行预警。对于驾驶员不同的操作习惯有有效的防护措施。对单双手脱离方向盘行为进行本地预警和后台传输。
7.作为优选，所述应用端包括短信端、小程序端和网页端。
8.本技术增加辅助相机安装在b柱附近自上而下拍摄驾驶座，作为采集端。单双手脱离算法集成在主动安全终端，算法检测到单双手脱离行为持续时间超过配置时间时，进行人声本地语音播报，并通过网络模块将报警记录上传调度系统后台。调度系统后台会根据车速触发阈值以及数量触发阈值，将报警分级，进行不同的策略。高等级报警会通过短信接口实时推送到管理人员手机端，低中等级报警在调度系统后台存储，并在小程序端和短信端以日报/周报的形式体现数据分析报告。所有报警均可以在网页端查看明细和处理。
9.作为优选，所述调度系统后台设有分级警告算法，所述分级警告算法根据车速触发阈值以及数量触发阈值由大到小，将报警记录分为高等级报警、中等级报警和低等级报警。
10.作为优选，所述高等级报警通过短信接口实时推送到短信端，低等级报警和中等级报警在调度系统后台存储，并在小程序端和短信端以日报或周报的形式展示，所有报警记录均能在网页端查看明细和处理结果。
11.作为优选，所述网络连接包括4g网络或5g网络。
12.作为优选，所述调度系统后台存有若干车队和若干组织节点的各级管理人员信息，所述各级管理人员信息与主动安全终端相关联。
13.本发明增加手机端的数据传输、数据分析、数据展示。终端报警后通过应用和网络模块将数据传输到后台进行数据分析，如果满足预配置预警，则会进行短信推送到公交公司的各级管理人员，根据设备关联组织，能区分不同车队、不同组织节点进行分级管理。短信端与网页端多端云端同步，短信端可通过h5查询报警的明细和数据统计分析报告，数据更新频率与网页端一致。
14.作为优选，所述调度系统后台通过无线网络将报警记录和录像接入到阿里云平台中，所述短信端、小程序端和网页端数据与阿里云平台数据同步，且阿里云平台数据更新频率与网页端一致。
15.调度系统后台通过无线网络接入到阿里云平台中的安全行车预警管理平台服务中，其中视频系统及其扩展的流媒体集群组可部署在不同的阿里云节点及机房中。阿里云同一节点内部服务器走内网通信，不同节点服务器走有线外网通信。
16.本发明的有益效果是：
17.(1)本发明采集了公交车驾驶员百万级的视频素材，进行机器学习训练，专门建立单双手脱离算法模型，可有效识别驾驶员单、双手脱离方向盘行为并进行预警。对于驾驶员不同的操作习惯有有效的防护措施。对单双手脱离方向盘行为进行本地预警和后台传输。
18.(2)本发明增加手机端的数据传输、数据分析、数据展示。终端报警后通过应用和网络模块将数据传输到后台进行数据分析，如果满足预配置预警，则会进行短信推送到公交公司的各级管理人员，根据设备关联组织，能区分不同车队、不同组织节点进行分级管理。短信端与网页端多端云端同步，短信端可通过h5查询报警的明细和数据统计分析报告，数据更新频率与网页端一致。
附图说明
19.图1是实施例的系统连接图；
20.图2是实施例的二类单双手手势识别模型结构；
21.图3是实施例的手势分类网络结构。
具体实施方式
22.实施例：
23.本实施例提出一种基于主动安全终端的单双手脱离方向盘预警系统，参考图1，包括主动安全终端、安装在公交车b柱附近自上而下拍摄驾驶座的辅助相机、调度系统后台及应用端，辅助相机与主动安全终端电连接，辅助相机用于对方向盘进行实时录像，并将录像传输到主动安全终端，主动安全终端设有本地语音播报模块和单双手脱离算法，单双手脱离算法用于识别单双手脱离行为持续时间，并生成报警记录，本地语音播报模块用于对报警记录进行语音播报；主动安全终端通过网络传输报警记录和录像到调度系统后台，调度系统后台通过网络传输报警记录和录像传输到应用端。应用端包括短信端、小程序端和网页端。
24.本发明采集了公交车驾驶员百万级的视频素材，进行机器学习训练，专门建立单双手脱离算法模型，可有效识别驾驶员单、双手脱离方向盘行为并进行预警。对于驾驶员不同的操作习惯有有效的防护措施。对单双手脱离方向盘行为进行本地预警和后台传输。
25.单双手脱离算法模型基于自适应增强卷积神经网络的单双手手势识别模型，实现对单双手手势的识别，在分析训练过程产生误差的原因和反馈的基础上采用自适应增强卷积神经网络提高识别的精度。模型的整体网络结构如图2所示，首先对图像进行预处理操作，输入手数分类器，图像识别从整体转化为局部，将双手手势预测分组为单手手势；其次在卷积神经网络的基础上引入自适应增强模块，通过分析迭代次数和分类结果进行残差自适应增强，更新隐藏层参量；最后分别训练以上两个分类器。
26.数分类器主要进行将双手分为单手的分组预测，其网络结构如图3所示，c1，c2分别代表第一层和第二层卷积层，s1，s2分别代表第一层和第二层池化层，fc为全连接层。为进行后续的网络识别，该网络的输入尺寸设置为28pixel
×
28pixel，本文用两个3
×
3的卷积核代替一个5
×
5的卷积核，在取得同样的视野域的前提下，降低了卷积的计算量，该网络输入尺寸设置为28
×
28，经过卷积核大小为3
×
3、滑动步长为1、padding为0的卷积后产生32个特征图，采用窗口尺寸为2
×
2的最大池化方式并采用relu函数激活对下采样的特征图进行局部响应归一化，通过已经激活的神经元抑制邻近的神经元，以提高网络的泛化能力，经过卷积核大小为3
×
3、步长为2、padding为0的卷积生成64个特征图，特征图经过激活函数后，再次经过2
×
2窗口的最大池化，进入全连接层和dropout层以一定的概率p忽略部分的节点神经元，使得隐藏层输出节点暂时不进行输出，即在网络进行训练、权值和偏置进行更新时，不对该部分的节点所连接的参量进行更新。然后在剩下的概率为1－p的神经元网络中进行训练，首次训练时，将p设置为0.4～0.6，根据训练集的拟合情况进行修改，如果过拟合明显，则适当地减小p的值，如果过拟合不明显，则适当地增加p的值，循环重复这个过程，可得合适的p值，从而可减少计算量和过拟合现象，提升网络的泛化能力。所使用的sigmoid核函数可表示为
[0027][0028]
式中：xi，xj为低纬度的特征向量；t为向量的转置；tanh为双曲正切函数；，β,θ为核函数的核参数，β＞0，θ＜0。
[0029]
本技术增加辅助相机安装在b柱附近自上而下拍摄驾驶座，作为采集端。单双手脱离算法集成在主动安全终端，算法检测到单双手脱离行为持续时间超过配置时间时，进行人声本地语音播报，并通过网络模块将报警记录上传调度系统后台。调度系统后台会根据车速触发阈值以及数量触发阈值，将报警分级，进行不同的策略。高等级报警会通过短信接口实时推送到管理人员手机端，低中等级报警在调度系统后台存储，并在小程序端和短信端以日报/周报的形式体现数据分析报告。所有报警均可以在网页端查看明细和处理。
[0030]
调度系统后台设有分级警告算法，分级警告算法根据车速触发阈值以及数量触发阈值由大到小，将报警记录分为高等级报警、中等级报警和低等级报警。
[0031]
高等级报警通过短信接口实时推送到短信端，低等级报警和中等级报警在调度系统后台存储，并在小程序端和短信端以日报或周报的形式展示，所有报警记录均能在网页端查看明细和处理结果。
[0032]
网络连接包括4g网络或5g网络。
[0033]
调度系统后台存有若干车队和若干组织节点的各级管理人员信息，各级管理人员信息与主动安全终端相关联。
[0034]
本发明增加手机端的数据传输、数据分析、数据展示。终端报警后通过应用和网络模块将数据传输到后台进行数据分析，如果满足预配置预警，则会进行短信推送到公交公司的各级管理人员，根据设备关联组织，能区分不同车队、不同组织节点进行分级管理。短信端与网页端多端云端同步，短信端可通过h5查询报警的明细和数据统计分析报告，数据更新频率与网页端一致。
[0035]
调度系统后台通过无线网络将报警记录和录像接入到阿里云平台中，短信端、小程序端和网页端数据与阿里云平台数据同步，且阿里云平台数据更新频率与网页端一致。
[0036]
调度系统后台通过无线网络接入到阿里云平台中的安全行车预警管理平台服务中，其中视频系统及其扩展的流媒体集群组可部署在不同的阿里云节点及机房中。阿里云同一节点内部服务器走内网通信，不同节点服务器走有线外网通信。

技术特征：
1.一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，包括主动安全终端、安装在公交车b柱附近自上而下拍摄驾驶座的辅助相机、调度系统后台及应用端，所述辅助相机与主动安全终端电连接，所述辅助相机用于对方向盘进行实时录像，并将录像传输到主动安全终端，所述主动安全终端设有本地语音播报模块和单双手脱离算法，所述单双手脱离算法用于识别单双手脱离行为持续时间，并生成报警记录，所述本地语音播报模块用于对报警记录进行语音播报；所述主动安全终端通过网络传输报警记录和录像到调度系统后台，所述调度系统后台通过网络传输报警记录和录像传输到应用端。2.根据权利要求1所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述应用端包括短信端、小程序端和网页端。3.根据权利要求2所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述调度系统后台设有分级警告算法，所述分级警告算法根据车速触发阈值以及数量触发阈值由大到小，将报警记录分为高等级报警、中等级报警和低等级报警。4.根据权利要求3所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述高等级报警通过短信接口实时推送到短信端，低等级报警和中等级报警在调度系统后台存储，并在小程序端和短信端以日报或周报的形式展示，所有报警记录均能在网页端查看明细和处理结果。5.根据权利要求1所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述网络连接包括4g网络或5g网络。6.根据权利要求1所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述调度系统后台存有若干车队和若干组织节点的各级管理人员信息，所述各级管理人员信息与主动安全终端相关联。7.根据权利要求2所述的一种基于主动安全终端的单双手脱离方向盘预警系统，其特征是，所述调度系统后台通过无线网络将报警记录和录像接入到阿里云平台中，所述短信端、小程序端和网页端数据与阿里云平台数据同步，且阿里云平台数据更新频率与网页端一致。

技术总结
本发明解决了现有技术无法检测和预警单双手脱离方向盘且预警数据无法传输到手机端的问题，提出一种基于主动安全终端的单双手脱离方向盘预警系统，包括主动安全终端、安装在公交车B柱附近自上而下拍摄驾驶座的辅助相机、调度系统后台及应用端，所述辅助相机与主动安全终端电连接，所述辅助相机用于对方向盘进行实时录像，并将录像传输到主动安全终端，所述主动安全终端设有本地语音播报模块和单双手脱离算法，本发明通过设置在公交车驾驶舱的辅助监控系统对单双手脱离方向盘进行预警，并通过网络传输将预警数据传输到手机端，覆盖前端应用层。前端应用层。前端应用层。


技术研发人员：俞宙 姚嘉立 裘欢 俞峥嵘
受保护的技术使用者：杭州金通科技集团股份有限公司
技术研发日：2021.10.19
技术公布日：2022/5/25