一种基于无人机的道路缺陷自动检测方法及系统

1.本发明涉及道路检测技术领域，特别是涉及一种基于无人机的道路缺陷自动检测方法及系统。


背景技术：

2.道路检测是指对道路进行检查以发现裂缝、凹陷、凸起等常见缺陷，便于后期对道路的维护以及修复等。
3.传统的道路检测是利用道路检测车进行的，道路检测车在道路上行驶，通过对路面进行图像采集或者人工视检，以发现道路缺陷。这种方式受限于道路的车况，当车辆较多时，检测不便；同时，这种方式效率较低，每次行驶仅能对一条车道进行检测。
4.现有技术提供了利用无人机进行道路检测的方法，但是现有技术提供的方法通常是使无人机按设定路线巡检，通过对道路进行全面的图像采集实现道路的缺陷分析。这种方式下，是否存在缺陷只能在后期的图像处理过程中才能发现，对于发现的道路缺陷，也无法及时获取更多的信息，无法实现无人机在巡检过程中的自适应调整路径。


技术实现要素：

5.基于此，有必要针对上述的问题，提供一种基于无人机的道路缺陷自动检测方法及系统。
6.本发明是这样实现的，一种基于无人机的道路缺陷自动检测方法，应用于无人机，所述基于无人机的道路缺陷自动检测方法包括：按预设的巡检路径飞行并采集道路图像；获取采集的道路图像并实时处理；根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；根据生成的局部采集路径对局部缺陷进行图像采集；返回原巡检路径，重复上述步骤直至完成预设道路的巡检。
7.此外，本发明提供了一种基于无人机的道路缺陷自动检测系统，所述基于无人机的道路缺陷自动检测系统包括：无人机，用于执行如本发明所述的基于无人机的道路缺陷自动检测方法；以及控制装置，所述控制装置与所述无人机通信，用于无人机的工作控制。
8.本发明提供的方法由于计算简单，可以实现图像的实时处理；根据处理结果判断是否存在缺陷，若存在则生成局部采集路径，进行进一步的局部图像采集。本发明提供的方法实现了图像采集过程中的自动路径调整，作业过程无需实时监控，无需调头重复采集，效率高，智能化程度高。
附图说明
9.图1为一个实施例提供的基于无人机的道路缺陷自动检测方法的流程图；图2为一个实施例提供的基于无人机的道路缺陷自动检测系统的结构框图；图3为一个实施例中无人机控制模块的内部结构框图。
具体实施方式
10.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
11.可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
12.如图1所示，在一个实施例中，提出了一种基于无人机的道路缺陷自动检测方法，具体可以包括以下步骤：s100，按预设的巡检路径飞行并采集道路图像；s200，获取采集的道路图像并实时处理；s300，根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；s400，根据生成的局部采集路径对局部缺陷进行图像采集；s500，返回原巡检路径，重复上述步骤直至完成预设道路的巡检。
13.在本实施例中，需要理解，无人机进行图像采集是按步距进行的，每飞行一个设定步距采集一张图像，采集区域前后衔接。这种方式可以减少图像的采集、处理量，同时步距之间的时间差可以用于图像的处理，实现了采集与处理的“同步”，不需要先采集后集中处理，这种方式下，无人机不需要调头对已采集的区域重新采集，提高了图像采集的有效性。
14.在本实施例中，这里的实时处理是指在线处理而不是先采集后批量处理，通过这种方式，巡查路径巡查完成，图像的识别处理也完成，快捷简便。
15.在本实施例中，根据图像处理的结果确定是否需要对路径进行调整，这里的调整具体是指对局部缺陷区域进行更细致的图像采集从而在执行预设的巡检路径时，插入一段局部采集路径。
16.在本实施例中，完成局部区域的图像采集后，返回原巡检路径，重复本发明的过程步骤直至完成全部的道路巡检。
17.本发明提供的方法由于计算简单，可以实现图像的实时处理；根据处理结果判断是否存在缺陷，若存在则生成局部采集路径，进行进一步的局部图像采集。本发明提供的方法实现了图像采集过程中的自动路径调整，作业过程无需实时监控，无需调头重复采集，效率高，智能化程度高。
18.作为一个优选实施例，所述获取采集的道路图像并实时处理，包括：获取采集的道路图像；对道路图像进行拍摄范围校验，根据校验结果调整无人机飞行高度；
对道路图像进行畸变矫正；对畸变矫正后的图像进行缺陷识别。
19.在本实施例中，通过拍摄范围校验，可以调整拍摄区域的范围，以充分利用摄像头的视野，扩大道路在画面中的占比，提高图像的质量以及针对性，减少图像中的无用信息。
20.在本实施例中，还包括对图像进行畸变矫正，通过畸变矫正，可以全部或者部分消除因道路的不同位置与摄像头距离不同导致的实物在图像中的变形，使所得图像与道路具体尺寸更接近。
21.在本实施例中，对畸变后的图像进行识别从而确定是否有缺陷存在，进一步地，还包括识别缺陷的类型。
22.作为一个优选实施例，对道路图像进行拍摄范围校验，根据校验结果调整无人机飞行高度，包括：识别道路最外侧的两条边线；计算识别出的最外侧的两条边线之间的距离与占图像宽度的比例；比较计算出的比例与设定范围的大小，若计算出的比例小于设定范围，则减小飞行高度；若计算出的比例大于设定范围，增加大飞行高度。
23.在本实施例中，通过识别道路两侧的白实线确定无人机的拍摄范围是否合适。当识别出的最外侧的两条边线之间的距离与占图像宽度的比例达到90%（上下偏差2%），则所得的道路图像与图像画面较宽度较为接近，充分利用了摄像头的视野范围，提高了图像中道路的辨识度。
24.在本实施例中，若识别出的最外侧的两条边线之间的距离与占图像宽度的比例偏大（或者偏小）时，通过使无人机下降（或者上升），可以减小（或者扩大）道路在视野中的占比。
25.作为一个优选实施例，所述识别道路最外侧的两条边线，包括：选定道路图像宽度方向的任意一行像素；从两侧向中间，计算该行中每一像素的r值、g值以及b值两两之间的差，r值、g值以及b值的均值，得到三个差值以及一个均值；判断计算出的三个差值是否均小于5%且所得均值大于240，若是，记该像素为边界像素；判断是否存在若干个连续的边界像素，若是，计算道路图像的长度方向上与若干个连续的边界像素所在的行邻近的若干行像素的对应列的像素是否为边界像素，若是，判断识别出的边界像素所在的列为边线。
26.在本实施例中，道路最外侧的两条边线为实线，故可以通过任意一像素行的计算分析找到边线。
27.在本实施例中，道路的宽度方向对应图像的宽度方向。这里的从两侧向中间，是指本步骤的计算同时从两侧向中部计算，每侧在找到边线即停止计算，可以减少计算量。
28.在本实施例中，道路两侧的边线采用白色，但是由于种种原因，采集到的边线图像不必然是白色，本发明给定了一个容差的范围，通过差值与均值的双重限定，提高了识别的准确率。
29.在本实施例中，特别地，通过若干个连续的边界像素来进一步定位边线。“若干个连续的边界像素”，这里边界像素的数量可以由边线宽度的80%与单个像素的宽度的比值确定作为一个优选实施例，所述对道路图像进行畸变矫正，包括：选定一个矫正角θ（弧度）；根据矫正角θ将道路图像的像素列分为若干组，使每一像素组的左右边界与无人机中心的连线的夹角为矫正角θ；将每组像素列的总宽度压缩为hθ，其中，h为无人机中心与地面的距离。
30.在本实施例中，矫正角越小矫正效果越好，通常矫正角小于1度，可以取0.2~0.8度。
31.在本实施例中，具体到每组像素列中，每列像素的宽度均匀压缩。通过上述步骤的处理，越远离视野中心的组压缩的程度越大，此与畸变从中间向两边扩大的规律适应。
32.作为一个优选实施例，所述对畸变矫正后的图像进行缺陷识别，包括：识别道路边线；截取道路最外侧两条边线之间的区域；在截取所得的区域中移除内边线所在的像素列；将所得的区域接合成矩形区域，对矩形区域进行缺陷识别。
33.在本实施例中，通过上述处理，可以先道路以外的区域进行移除，不考虑在道路缺陷的识别过程中。同时，将道路内部的边线（如虚线、黄线、白线中的一种或者多种）移除，可以排除边线对缺陷识别的干扰。在本发明中，对于道路内部边线的识别，可以参考关于最外侧边线的识别过程，本发明实施例对此不再赘述。
34.作为一个优选实施例，所述对矩形区域进行缺陷识别，包括：将矩形区域均分为若干个矩形识别区；计算每个矩形识别区对角线像素的r值、g值以及b值的均值；计算每条对角线像素均值的回归值，记为第一回归值；计算所有对角线第一回归值的回归值，记为第二回归值；分别计算每一个第一回归值与所述第二回归值的偏差，若偏差大于第一设定阈值，则判断对应矩形识别区存在缺陷。
35.在本实施例中，回归值即与各个均值的差值之和最小的值，体现了均值的倾向或者集中趋势。在本实施例中，第二回归值为所有对角线第一回归值的回归值，体现了图像整体的情况，对于一般道路而言，第二回归值回归程度很高，利用第一回归值与第二回归值的偏差能够较容易地识别出道路缺陷。这里的偏差可以由（第一回归值-第二回归值）/第二回归值所得的绝对值确定，这里的第一设定阈值可以取0.5~0.7。在本实施例中，需要理解，计算每个矩形识别区对角线像素的r值、g值以及b值的均值，是将三种颜色共同计算得到一个均值，而非得到三个均值；对于若干个数的回归值的计算可参考现有技术 ，本发明实施例对此不赘述作为一个优选实施例，所述判断对应矩形识别区存在缺陷，之后还包括：对于存在缺陷的矩形识别区，计算该识别区内每个像素的r值、g值以及b值的均值，并计算像素均值的回归值，记为第三回归值；
计算每个矩形识别区第一回归值与第三回归值的偏差，若偏差大于第二设定阈值，则判断为线缺陷，否则判断为面缺陷。
36.在本实施例中，与前一实施例的不同在于，计算的范围是整个识别区，其余参考前一实施例的解释说明。这里的偏差可以由（第一回归值-第三回归值）/第三回归值所得的绝对值确定。
37.在本实施例中，这里的第二设定阈值可以取0.5~0.75。当偏差较大时，说明对角线的区域与整个矩形识别区的差异较大，对角线无法反映矩形识别区内的整体情况，即缺陷在对角线中的体现较少，这种缺陷通常为线缺陷，而面缺陷则更容易体现在对角线中。
38.作为一个优选实施例，所述根据处理结果生成局部采集路径，包括：以道路图像中心点为起点，通过最短路径连接各个存在缺陷的矩形识别区的中心，连接道路图像中心点作为终点得到局部采集路径；完成前一道路图像的采集经过1/2步距，执行上述局部采集路径。
39.在本实施例中，无人机采用画面前置的采集方法，所述画面前置，即在所采集的图像中，无人机的投影落于画面图像中的下边线中点位置对应的实际道路位置，当无人机飞行到画面图像上边线中点位置对应的实际道路位置时，采集下一张图像。故无人机从前一张图像的下边中点位置对应的实际道路位置飞行到图像中心位置对应的道路实际位置时，飞行距离即为半个步距，此时可以执行局部采集路径并回到该位置，再继续执行巡检路径。
40.在本实施例中，最短路径可以通过排列组合的方式找出所有的可选路径，计算每条可选路径的长度，取长度最小的可选路径；也可以参考现有技术提升最短路径的计算速度，此属于可选的优化方法，本发明实施例对此不作一步限定。
41.如图2所示，本发明实施例还提供了一种基于无人机的道路缺陷自动检测系统，所述基于无人机的道路缺陷自动检测系统包括：无人机，用于执行如本发明实施例所述的基于无人机的道路缺陷自动检测方法；以及控制装置，所述控制装置与所述无人机通信，用于无人机的工作控制。
42.在本实施例中，无人机通常执行本发明提供的上述基于无人机的道路缺陷自动检测方法，可以实现图像的实时处理；根据处理结果判断是否存在缺陷，若存在则生成局部采集路径，进行进一步的局部图像采集。本发明提供的方法实现了图像采集过程中的自动路径调整，作业过程无需实时监控，无需调头重复采集，效率高，智能化程度高。在该系统中，控制装置与无人机之间无线通信，控制装置可以包括无人机控制模块，无人机控制模块连接网络，用于无人机巡检路径的设定，以及无人机工作时的控制，包括但不限于启动、停止控制。
43.图3示出了一个实施例中无人机控制模块的内部结构图。如图3所示，该无人机控制模块包括通过系统总线连接的处理器、存储器、网络接口、输入装置。其中，存储器包括非易失性存储介质和内存储器。该无人机控制模块的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的基于无人机的道路缺陷自动检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的基于无人机的道路缺陷自动检测方法。无人机控制模块的显示屏可以是液晶显示屏或者电子墨水显示屏，无人机控
制模块的输入装置可以是显示屏上覆盖的触摸层，也可以是无人机控制模块外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
44.在一个实施例中，提出了一种无人机控制模块，所述无人机控制模块包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：按预设的巡检路径飞行并采集道路图像；获取采集的道路图像并实时处理；根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；根据生成的局部采集路径对局部缺陷进行图像采集；返回原巡检路径，重复上述步骤直至完成预设道路的巡检。
45.在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：按预设的巡检路径飞行并采集道路图像；获取采集的道路图像并实时处理；根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；根据生成的局部采集路径对局部缺陷进行图像采集；返回原巡检路径，重复上述步骤直至完成预设道路的巡检。
46.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
47.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
48.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于无人机的道路缺陷自动检测方法，应用于无人机，其特征在于，所述基于无人机的道路缺陷自动检测方法包括：按预设的巡检路径飞行并采集道路图像；获取采集的道路图像并实时处理；根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；根据生成的局部采集路径对局部缺陷进行图像采集；返回原巡检路径，重复上述步骤直至完成预设道路的巡检。2.根据权利要求1所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述获取采集的道路图像并实时处理，包括：获取采集的道路图像；对道路图像进行拍摄范围校验，根据校验结果调整无人机飞行高度；对道路图像进行畸变矫正；对畸变矫正后的图像进行缺陷识别。3.根据权利要求2所述的基于无人机的道路缺陷自动检测方法，其特征在于，对道路图像进行拍摄范围校验，根据校验结果调整无人机飞行高度，包括：识别道路最外侧的两条边线；计算识别出的最外侧的两条边线之间的距离与占图像宽度的比例；比较计算出的比例与设定范围的大小，若计算出的比例小于设定范围，则减小飞行高度；若计算出的比例大于设定范围，增加大飞行高度。4.根据权利要求3所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述识别道路最外侧的两条边线，包括：选定道路图像宽度方向的任意一行像素；从两侧向中间，计算该行中每一像素的r值、g值以及b值两两之间的差、r值、g值以及b值的均值，得到三个差值以及一个均值；判断计算出的三个差值是否均小于5%且所得均值大于240，若是，记该像素为边界像素；判断是否存在若干个连续的边界像素，若是，计算道路图像的长度方向上与若干个连续的边界像素所在的行邻近的若干行像素的对应列的像素是否为边界像素，若是，判断识别出的边界像素所在的列为边线。5.根据权利要求2所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述对道路图像进行畸变矫正，包括：选定一个矫正角θ；根据矫正角θ将道路图像的像素列分为若干组，使每一像素组的左右边界与无人机中心的连线的夹角为矫正角θ；将每组像素列的总宽度压缩为hθ，其中，h为无人机中心与地面的距离。6.根据权利要求2所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述对畸变矫正后的图像进行缺陷识别，包括：
识别道路边线；截取道路最外侧两条边线之间的区域；在截取所得的区域中移除内边线所在的像素列；将所得的区域接合成矩形区域，对矩形区域进行缺陷识别。7.根据权利要求6所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述对矩形区域进行缺陷识别，包括：将矩形区域均分为若干个矩形识别区；计算每个矩形识别区对角线像素的r值、g值以及b值的均值；计算每条对角线像素均值的回归值，记为第一回归值；计算所有对角线第一回归值的回归值，记为第二回归值；分别计算每一个第一回归值与所述第二回归值的偏差，若偏差大于第一设定阈值，则判断对应矩形识别区存在缺陷。8.根据权利要求7所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述判断对应矩形识别区存在缺陷，之后还包括：对于存在缺陷的矩形识别区，计算该识别区内每个像素的r值、g值以及b值的均值，并计算像素均值的回归值，记为第三回归值；计算每个矩形识别区第一回归值与第三回归值的偏差，若偏差大于第二设定阈值，则判断为线缺陷，否则判断为面缺陷。9.根据权利要求8所述的基于无人机的道路缺陷自动检测方法，其特征在于，所述根据处理结果生成局部采集路径，包括：以道路图像中心点为起点，以通过最短路径连接各个存在缺陷的矩形识别区的中心，连接道路图像中心点作为终点得到局部采集路径；完成前一道路图像的采集经过1/2步距，执行上述局部采集路径。10.一种基于无人机的道路缺陷自动检测系统，其特征在于，所述基于无人机的道路缺陷自动检测系统包括：无人机，用于执行如权利要求1-9任意一项所述的基于无人机的道路缺陷自动检测方法；以及控制装置，所述控制装置与所述无人机通信，用于无人机的工作控制。

技术总结
本发明涉及道路检测技术领域，特别是涉及一种基于无人机的道路缺陷自动检测方法及系统，所述基于无人机的道路缺陷自动检测方法包括：按预设的巡检路径飞行并采集道路图像；获取采集的道路图像并实时处理；根据处理结果判断是否需要进行路径调整，若需要，则根据处理结果生成局部采集路径；根据生成的局部采集路径对局部缺陷进行图像采集；返回原巡检路径，重复上述步骤直至完成预设道路的巡检。本发明提供的方法通过对图像的实时处理，根据处理结果判断是否存在缺陷，若存在则生成局部采集路径，进行进一步的局部图像采集。本发明提供的方法实现了图像采集过程中的自动路径调整，作业过程无需实时监控，无需调头重复采集，效率高。高。高。


技术研发人员：钟炜
受保护的技术使用者：天津理工大学
技术研发日：2022.04.22
技术公布日：2022/5/25