一种基于物联网技术的城市交通大脑监控系统的制作方法

一种基于物联网技术的城市交通大脑监控系统
1.技术领域：本发明涉及物联网领域，特别涉及一种基于物联网技术的城市交通大脑监控系统。
2.

背景技术：
物联网(internetofthings，简称iot，被称为“物物相连的互联网”，是一个连接物理对象到互联网的网络，用于从这些物理对象中获取和处理信息。目前，较为公认的物联网的定义是:通过各种信息感应设备，按相应的协议把物品与互联网相连接，实现数据收集、传输和处理，并通过终端或者平台实现智能化识别、定位、追踪、监控和管理的一种网络。
3.目前，随着互联网的普及、物联网技术的发展、人们对于智能生活的向往，物联网技术被广泛地应用于各个领域，特别是智慧城市交通的建设。在智能交通中采用物联网技术，人们能通过部署在城市道路上的感知设备及时获取城市道路的状况，可根据路况选择合理的出行线路，减少道路拥堵;交通管理者可利用实时获取的交通道路信息在智能交通调度系统的帮助下，合理调整交通路口红绿灯的时长，缓解城市拥堵，优化交通流量，最大限度地提高现有交通资源的利用率。
4.智能交通系统(intelligenttransportsystem，简称its的含义是指将物联网应用于智能交通领域，利用各种先进的传感器设备、网络传输技术、信息处理技术和计算机视觉技术，连接行人、车辆与道路，建立一个全面、准确、及时的综合管理和控制的交通监控系统，具有广泛和全方位的功能。通讯设备负责处理和调整各种交通状况，建立高效的管理和服务运行系统，充分利用道路交通设施，提高道路车辆通行的效率和安全，实现交通运输服务、管理智能、运输管理的集成化发展。
5.随着智能交通监控系统对人们生活的影响越来越大，车速检测系统、车辆行驶行为语义分析系统、车牌识别系统作为智能交通监控系统的一部分，显得越来越重要。其中，车牌识别系统简称lpr(licenseplaterecognition)，广泛应用于停车场、高速公路收费站等领域。车速检测系统在高速公路及城市道路上都有大量应用，对于交通安全、杜绝交通事故等现象起着至关重要的作用。车辆交通行为的自动识别与语义分析作为智能交通监控系统中的关键部分，近年来引起了世界各国研究机构的高度重视。通过对城市道路交通监控方向的探究有利于及时发现车辆的异常交通行为，并迅速将异常信息发送到控制中心，从而有利于交管部门及时采取有效措施，防止严重交通事故发生。
6.

技术实现要素：
本发明要解决的问题是：利用智能交通监控系统通过对视频和图像数据的处理，实现对车辆速度检测、车辆行驶行为语义分析、车牌识别等功能，并且能够对违章车辆进行抓拍，然后识别违章车辆的车牌，有利于推动智能交通的管理与控制，降低交通事故的发生。提供了一种基于物联网技术的城市交通大脑监控系统。
7.本发明解决其技术问题所采用的技术方案是：一种基于物联网技术的城市交通大脑监控系统，包括三个子系统:基于视频的车辆速度检测系统、基于视频的车辆行为语义分析系统和基于城市道路的车牌识别系统，智能交通监控系统通过对基于物联网获取到的视
频数据和图像数据进行处理，实现对车辆速度检测、车辆行为义分析、车牌识别功能，并且能够对违章车辆进行抓拍，然后识别违章车辆的车牌。
8.所述一种基于物联网技术的城市交通大脑监控系统设计步骤如下：步骤一：车辆速度检测子系统首先设置虚拟线圈，然后通过车牌定位和车牌识别得到车辆经过固定距离所需要的时间，最后利用距离除以时间得到车辆速度。
9.步骤二：车辆行为语义分析子系统通过视频检测并跟踪运动车辆目标，检测出车辆的行驶轨迹，结合车辆行驶轨迹与车道线段之间的关系，实现检测及分析车辆行为语义，然后判别车辆是否有违章行为，最后实现违章行为报警的功能。
10.步骤三：车牌识别子系统，首先利用最大稳定极值区域法对车牌字符进行粗略定位，再结合车牌特征和车牌字符特征对车牌进行精准定位，就可以得出准确的车牌区域。之后再利用车牌字符分割、车牌识别，识别出车牌号码。
11.进一步地，物联网的感知层通过摄像头采集系统所需的数据，摄像头设置在城市道路的正上方或者道路一侧，高度为5-10米之间。
12.基于视频的车速检测算法的主要原理，基于最基本的物理运动学，通过计算车辆运动位移除以车辆运动时间得到车辆运动速度，具体车速计算公式如下所示。
13.进一步地，在视频中设置两个或两个以上虚拟线圈，虚拟线圈车速检测算法的具体步骤为：第一步，根据道路交通摄像头的安装位置及摄像头拍摄的路面情况，设置合适的车辆速度检测虚拟线圈，设置两个，并己知两个虚拟线圈之间的实际距离。
14.第二步，判断车辆是否经过虚拟线圈1，如果经过则定位识别车辆的车牌号码，并记录车辆经过的时间，然后执行第三步，否则循环第二步。
15.第三步，判断车辆是否经过虚拟线圈2，如果经过则定位识别车辆的车牌号码，并记录车辆经过的时间，然后执行第四步，否则回到第二步。
16.第四步，当车辆经过两个虚拟线圈后，得到同一辆车经过两个虚拟线圈所消耗的时间，又己知虚拟线圈之间的实际距离，即可通过速度计算公式求出车辆经过虚拟线圈的平均速度。
17.进一步地，首先分析车辆行为语义表示的特征，其中，中间车道线l1的方程如下所示，式中，a为车道线的斜率。
18.进一步地，基于视频的车辆行为语义分析，采用hough变换检测车道线，用于后续的车辆行为语义分析，hough变换的原理就是利用坐标转变，利用两个空间中的点与线的对称性，把图像空间中的直线检测问题转换为参数空间中的点检测。
19.进一步地，如果参数空间中使用直线方程，当图像空间直线斜率为无穷大时，选择采用极坐标方程。
20.进一步地，hough变换检测图像中直线的步骤为:将彩色图像处理成灰度图像，其次对灰度图像进行边缘检测，然后对边缘检测的结果作hough变换，最后得到直线检测结
果。
21.进一步地，基于视频的车辆行为语义分析，采用卡尔曼滤波实现跟踪运动车辆目标，卡尔曼算法的基本原理如下：首先创建一个预测模型，描述随时间的变化而改变的随机动态变量，对于状态空司xern，引入一个线性微分方程描述，后对随机变量进行实时观测，利用卡尔曼滤波对状态值进行最优估计，由于相邻两帧时间间隔短，可以认为跟踪目标状态基本没有变化，所以可以假设目标在此期间是匀速的，基于此，定义卡尔曼滤波的系统状态x、是一个四维的向量(x,y,vx,vy)t，参数分别代表运动目标在x,y坐标轴的位置和速度，根据匀速的运动模型，定义状态转移矩阵a和观测矩阵h。
22.进一步地，实现对车辆行为的语义进行理解与分析，需要提取车辆行为的运动特征。只有选取了合适的运动特征才能准确地描述车辆行为，常用的运动特征有:目标位置、运动速度、运动反向。
23.本发明与现有技术相比的有益效果为：（1）本发明的智能交通监控系统通过对基于物联网获取到的视频数据和图像数据进行处理，实现对车辆速度检测、车辆行为义分析、车牌识别等功能，并且能够对违章车辆进行抓拍，然后识别违章车辆的车牌，有利于推动智能交通的管理与控制，降低交通事故；（2）改进后的虚拟线圈车速检测算法可以实时地检测车辆速度，另外还解决了虚拟线圈算法无法同时检测多辆汽车的速度问题，以及大范围区域内或跨区域的车辆速度检测的问题；（3）本发明可以观察到二值图像的白色区域不断出现、生长、合并，经历一个从全黑到全白的过程。
附图说明
24.图1为摄像机与道路车辆的空间位置示意图。
25.图2为公路的透视效果图。
26.图3为车辆行驶行为的语义表示示意图。
27.图4为车辆运动轨迹形成示意图。
28.图5为中国统一的车牌尺寸示意图。
29.图6为定义状态转移矩阵a和观测矩阵h。
具体实施方式
30.现在结合附图对本发明作进一步的详细说明，这些附图均为简化的结构示意图和结构框图，因此其仅仅显示与本发明有关联的相关构成部分。
31.一种基于物联网技术的城市交通大脑监控系统，包括三个子系统:基于视频的车辆速度检测系统、基于视频的车辆行为语义分析系统和基于城市道路的车牌识别系统，本发明的智能交通监控系统通过对基于物联网获取到的视频数据和图像数据进行处理，实现对车辆速度检测、车辆行为义分析、车牌识别等功能，并且能够对违章车辆进行抓拍，然后识别违章车辆的车牌，有利于推动智能交通的管理与控制，降低交通事故。
32.所述基于视频的车辆速度检测系统中，是基于视频的车辆速度检测系统中，本发明改进了一种虚拟线圈车辆速度检测的算法。首先在摄像机场景中的固定位置添加虚拟线圈，并己知两虚拟线圈之间的实际距离。当检测到车辆通过虚拟线圈时，定位并识别车牌，从而得到车辆经过固定距离所需要的时间，再利用距离除以时间得到车辆速度。
33.所述基于视频的车辆行为语义分析系统中，结合车辆行驶轨迹与车道线的关系设计了车辆行为语义分析算法，首先采用混合高斯模型结合自适应背景差分法，实现运动车辆的检测，使用卡尔曼滤波器对车辆目标进行跟踪；获得每帧图像中的车辆质心，合成车辆的行驶轨迹，可以提取出每帧图像中车辆的运动特征：车辆位置、车辆速度和车辆行驶方向；再结合车道线方程对车辆行为语义进行分析与理解，最终得出车辆行为的语义表示。通过视频检测并跟踪运动车辆目标，得到车辆的行驶轨迹，可以提取出每帧图像中车辆的运动特征，包括车辆位置、车辆速度和车辆行驶方向。根据车辆行驶轨迹与车道线之间的关系，实现车辆行为语义分析。当系统检测到违章停车、超速、违章调头等车辆异常行为时及时报警。
34.所述车辆行为语义分析，即用语言表示车辆在行驶过程中的行为，要对车辆进行下列行为的判别:变道、调头、逆行、超车、倒车等。车辆行为语义分析主要基于运动车辆的检测和跟踪。基于视频的车辆行为语义分析算法，实现主要分为车辆目标检测与跟踪、车辆运动轨迹分析和车辆行为语义分析四个部分。
35.第一部分，通过hough变换检测摄像机拍摄道路中的车道线段，并计算出车道线段的方程表达式，对摄像机中的车道线段进行标注。
36.第二部分，利用混合高斯模型结合自适应背景差分法检测运动车辆,kalman滤波器跟踪运动车辆，提取车辆质心，合成车辆行驶轨迹。其中，成功提取车辆的前景目标图像之后，需要对车辆进行跟踪。为了提高跟踪效率和精度，本文引入了卡尔曼滤波器对车辆目标进行预估计。卡尔曼滤波器是线性递归的，其利用前一时刻的状态对当前状态进行最优预估计，具有时间复杂度小、实时性强的特点，其预测方程如下：第三部分，通过对视频中车辆目标的检测与跟踪，可以提取车辆目标的质心，合成车辆的行驶轨迹，车辆的行驶轨迹中包含了车辆目标的运动特征:目标位置、运动方向和运动速度，再结合车道线对车辆行驶行为进行分析。图4为车辆运动轨迹形成示意图，可以看出车辆运动轨迹是由多个点通过线段连接而成，并不是一整个曲线。
37.第四部分，结合连续多帧图像序列中车辆目标的运动信息:车辆目标的位置、运动方向和运动速度，可以得到车辆运动方向的变化率、速度变化率等参数分析车辆行为，并结合车道线分析得到车辆的行驶行为后，根据道路行驶规定判断车辆是否有违章行为，如果车辆违章，则对车辆进行抓拍并进行报警。对车辆抓拍后，可以通过系统中的车牌识别子系统对违章车辆进行识别，实现车牌自动检测。系统能够实时、准确地检测高速公路中车辆行车及语义分析，并对车辆的异常行为和违章行为进行报警和抓拍，有利于推动智能交通的管理与控制，降低交通事故的发生。
38.所述的基于城市道路的车牌识别系统中，本发明介绍了一种融合最大稳定极值区域和车牌特征的车牌定位算法，首先利用最大稳定极值区域法对车牌进行粗略定位，再结合车牌特征和车牌字符特征对车牌进行精准定位，然后将车牌分割成单个字符后，利用lbp svm识别车牌字符，即提取字符的lbp(localbinarypatterns，局部二值模式)特征，输入训练好的网络中进行车牌识别。
39.所述一种基于物联网技术的城市交通大脑监控系统设计步骤如下：步骤一：车辆速度检测子系统首先设置虚拟线圈，然后通过车牌定位和车牌识别
得到车辆经过固定距离所需要的时间，最后利用距离除以时间得到车辆速度。
40.步骤二：车辆行为语义分析子系统通过视频检测并跟踪运动车辆目标，检测出车辆的行驶轨迹，结合车辆行驶轨迹与车道线段之间的关系，实现检测及分析车辆行为语义，然后判别车辆是否有违章行为，最后实现违章行为报警的功能。
41.步骤三：车牌识别子系统，首先利用最大稳定极值区域法对车牌字符进行粗略定位，再结合车牌特征和车牌字符特征对车牌进行精准定位，就可以得出准确的车牌区域。之后再利用车牌字符分割、车牌识别，识别出车牌号码。
42.基于城市道路的车牌识别系统，车牌识别系统是智能交通领域的重要部分，也是目前计算机视觉领域的一个重要研究课题。车牌识别系统主要运用模式识别、人工智能技术和计算机视觉等技术对城市道路上采集到的车辆视频和图像进行处理，能够实时、准确地将车牌图像转换成计算机可以识别的字符格式输出。车牌定位、字符切割、字符识别是车牌识别系统的三个主要的步骤。其中，车牌定位是车牌识别的基础和前提，字符分割是车牌识别的重要步骤，字符识别是车牌识别的关键。从技术上主要用两个指标评价车牌识别系统，即车牌识别准确率和识别速度。车牌识别准确率的公式如下所示。
43.所述车牌识别系统，目前中国统一的车牌尺寸的大小固定44*14cm，每个字符的大小固定9*4.5cm,并且两个字符之间的距离是1.2cm。因此在车牌定位时可以利用车牌尺寸的长宽比固定这一特征，而在车牌分割时可以利用字符尺寸的长宽比固定2:1这个特征。中国统一的车牌尺寸示意图如图5所示。
44.所述基于边缘检测的车牌定位，边缘检测的实质是采用某种算法来提取图像中对象有突变的区域。经典的边缘检测方法，主要提取roberts,prewitt和sobel等算子。
45.所述梯度算子是一阶导数算子。对于图像函数f(x,y)，它的梯度定义为一个向量如下所示：所述基于彩色分割的车牌定位，基于彩色分割的车牌定位算法由颜色分割和目标定位两部分组成。
46.首先将rgb模式彩色图像转换为hsi模式;为了降低计算的时间复杂度，减少光照变化的影响。
47.将hsi模式的彩色图像采样后，再用对数方法调整图像的色彩饱和度;将转化后的彩色图像利用彩色神经网络进行分割。
48.最后一步，根据车牌颜色和纵横比等先验知识，通过投影方法对合理的车牌区域进行分割。基于彩色分割的车牌定位方法的准确率高，但是，当车牌区域的颜色与背景的颜色近似时，由于采用神经网络计算方法计算，所以计算速度较慢。
49.所述基于mser的车牌定位是一种基于仿射特征提取区域的算法，也称为最大稳定极值区域。最大稳定极值区域方法提取的区域内部灰度在大范围内几乎不变，且在多重阂
值下保持形状不变，但是与背景反差却十分明显。
50.基于mser车牌定位算法的原理是:先将图像作灰度化处理，然后按照阂值依次取[255]将图像转换成一系列的二值图像。随着阂值的增大，图像的亮度也越来越大，可以观察到二值图像的白色区域不断出现、生长、合并，经历一个从全黑到全白的过程。在这个过程中，随着阂值上升面积变化却很小的区域，称为最大稳定极值区域，也称mser ;反之，从全白到全黑的过程得到的区域称为mser-。
[0051]
目前，在智能交通领域，基于城市道路的视频测速不需要使用专门的测速设备，物联网的感知层只需要通过摄像头就可以采集系统所需的数据。摄像头一般设置在城市道路的正上方或者道路一侧，高度一般为5-10米之间。摄像机与道路车辆的空间位置示意图，如图1所示。
[0052]
基于视频的车速检测算法的主要原理，仍然基于最基本的物理运动学，通过计算车辆运动位移除以车辆运动时间得到车辆运动速度，具体车速计算公式如下所示。
[0053]
基于视频的车辆速度检测，获取到数据都是来自于摄像头，因此，中国公路车道线的标准图会经过透视，不再是长方形，而会变成一个类似梯形的形状，分别如图2中的左右图所示。如果算法提前不知道车辆运动的实际位移，通过处理视频数据得到，的车辆坐标是像素坐标，需要进行坐标转换，转换成实际物理坐标，才可以得到车辆运动的实际位移。
[0054]
结合上述车辆速度检测原理以及传统虚拟线圈车速检测算法的优缺点，本发明改进了一种虚拟线圈车速检测算法。在视频中设置两个(两个以上也可)虚拟线圈，当虚拟线圈1的图像灰度发生变化时，直接识别经过车辆的车牌号码，并记录车辆经过的时间，当虚拟线圈2的图像灰度发生变化时，再次识别经过车辆的车牌号码及记录时间，这样就可以计算车辆经过虚拟线圈的平均速度。本发明设计的车辆速度检测算法流程图，如图2和图6所示。改进后的虚拟线圈车速检测算法的具体步骤为:第一步，根据道路交通摄像头的安装位置及摄像头拍摄的路面情况，设置合适的车辆速度检测虚拟线圈，一般设置两个，并己知两个虚拟线圈之间的实际距离。
[0055]
第二步，判断车辆是否经过虚拟线圈1，如果经过则定位识别车辆的车牌号码，并记录车辆经过的时间，然后执行第三步，否则循环第二步。
[0056]
第三步，判断车辆是否经过虚拟线圈2，如果经过则定位识别车辆的车牌号码，并记录车辆经过的时间，然后执行第四步，否则回到第二步。
[0057]
第四步，当车辆经过两个虚拟线圈后，得到同一辆车经过两个虚拟线圈所消耗的时间，又己知虚拟线圈之间的实际距离，即可通过速度计算公式求出车辆经过虚拟线圈的平均速度。
[0058]
本发明改进后的虚拟线圈车速检测算法的主要特征如下：1)与虚拟线圈车辆检测算法一样，改进后的虚拟线圈车速检测算法可以实时地检测车辆速度，另外还解决了虚拟线圈算法无法同时检测多辆汽车的速度问题，以及大范围区域内或跨区域的车辆速度检测的问题。
[0059]
2)与车牌定位车速检测法相比，改进后的虚拟线圈车速检测算法，因为己知虚拟线圈之间的实际距离，不需要进行坐标转换，所以降低了算法的复杂度;另外也保留了车牌
定位车速检测法的优点，在检测车辆速度的同时还可以获得车辆的车牌号码。
[0060]
3)与特征匹配车速检测法相比，改进后的虚拟线圈车速检测算法利用车辆的车牌号码作为车辆独一无二的特征，只有同一车辆完全经过虚拟线圈之后才会计算车辆速度，不会出现误检测或者检测对象不是同一车辆的情况。
[0061]
当然，本发明改进后的虚拟线圈车速检测算法依然有局限性。算法结合了虚拟线圈和车牌识别算法，因此对摄影条件和车牌识别技术要求较高。另外尽管该方法可以实现大范围内测速，但得到的也是区域内的平均速度。
[0062]
首先分析了车辆行为语义表示的特征。其中，设图3中(a),(b),(c)轨迹示意图中的右车道线或(d)、(e)、(o轨迹示意图中的中间车道线l1的方程如下所示，式中，a为车道线的斜率。
[0063]
因此，如果结合车辆运动特征与车道线，车辆行为的语义表示示意图，可以用车辆行驶的运动特征与车道之间的关系来描述，也可以用两者之间的方程式来表示，具体车辆行驶行为类型的表示如表3.1所示，其中，}a)为正常行驶，(b)为逆行，(c)为停止行驶，(d)为调头逆行，(e)为变道，o为超车。
[0064]
基于视频的车辆行为语义分析，采用hough变换检测车道线，用于后续的车辆行为语义分析。hough变换的原理就是利用坐标转变[}20}，利用两个空间中的点与线的对称性，把图像空间中的直线检测问题转换为参数空间中的点检测。在图像空间x-y中，所有共线的点的集合可以用下式表示。
[0065]
如果参数空间中使用直线方程，当图像空间直线斜率为无穷大时，会使累加器变的很大，从而使计算复杂度过大，本发明选择采用极坐标方程。
[0066]
因此，hough变换检测图像中直线的步骤为:将彩色图像处理成灰度图像，其次对灰度图像进行边缘检测，然后对边缘检测的结果作hough变换，最后得到直线检测结果。
[0067]
基于视频的车辆行为语义分析，采用卡尔曼滤波实现跟踪运动车辆目标。卡尔曼（kaknan)滤波考虑了信号与测量值的基本特征，是一种对动态系统的状态序列求线性最小均方误差估计的算法。它引进了状态空间的概念，利用状态的状态方程和观测方程来描述系统，能够估计多维非平衡随机信息,卡尔曼算法的基本原理如下：首先创建一个预测模型，描述随时间的变化而改变的随机动态变量，对于状态空司xern，引入一个线性微分方程描述，后对随机变量进行实时观测，利用卡尔曼滤波对状态值进行最优估计。由于相邻两帧时间间隔短，可以认为跟踪目标状态基本没有变化，所以可以假设目标在此期间是匀速的。基于此，定义卡尔曼滤波的系统状态x、是一个四维的向量(x,y,vx,vy)t，参数分别代表运动目标在x,y坐标轴的位置和速度。根据上面的匀速的运动模型，定义状态转移矩阵a和观测矩阵h，如图所示。
[0068]
实现对车辆行为的语义进行理解与分析，需要提取车辆行为的运动特征。只有选取了合适的运动特征才能准确地描述车辆行为，常用的运动特征有:目标位置、运动速度、运动反向。