一种基于激光雷达的特殊场景人员检测系统的制作方法

1.本发明涉及环境感知技术领域，尤其是一种基于激光雷达的特殊场景人员检测系统。


背景技术：

2.随着机器学习和人工智能技术的发展，智能化人员检测逐渐实用化。人员检测技术是一种通过传感器采集环境信息，调用检测算法，实现目标区域内人员感知的技术。近年来，随着人员检测技术在特定场景中的广泛应用，如特殊作业车辆周围人员排查、军事禁区人员清查、周边安防等，人员检测技术面临着更高的挑战。以重型卡车为例，大片盲区的存在使得重型卡车造成的人员伤亡事故频发，人员检测系统能够辅助司机确认车轮附近、车辆周边及运行方向安全范围内无人员存在，很好的规避意外事故。进行高精度人员检测的首要前提是具有可靠、稳定、精确的传感器。
3.传统人员检测技术往往以红外探头、摄像头作为传感器，此类传感器易受环境因素干扰，如热源、光照等，造成适用场景受限。随着毫米波雷达民用化，以毫米波雷达为传感器的人员检测技术也是一类发展方向，但毫米波雷达易受环境中杂波信号影响，造成虚警率颇高。为满足实用化要求，需要选择一种更为可靠、稳定、精准的传感器用以环境感知。因此，激光雷达是最具潜力的传感器。
4.激光雷达是一种主动检测式光学系统，通过向特定的区域发射激光进行扫描，经障碍物反射后，获得三维点云数据，具有厘米级的深度信息检测能力、不受环境干扰、实施性好、精确度高、全天时检测的优势。激光雷达主要有机械式和固态mems激光雷达，分别具有360
°
全角度覆盖视场角和固定视场角；安装位置与角度以不遮挡激光扫描窗口为原则，可根据使用场景任意调整，符合多数使用场景要求；同时，激光雷达体积小、质量轻、安装方便，可根据使用场景的结构特点选择和排布激光雷达。因此，基于激光雷达的人员检测系统能够在某些特殊作业场所发挥巨大作用。


技术实现要素：

5.针对上述技术问题，本发明提出了一种基于激光雷达的特殊场景人员检测系统，该检测系统利用激光雷达获取目标场景的环境信息，以提高环境感知的可靠性，利用深度学习算法分析、处理点云数据，判断目标场景中是否有人员存在，以保证在该环境下进行特殊作业的安全性。
6.一种基于激光雷达的特殊场景人员检测系统，检测流程为：
7.步骤一，系统自检，系统通电自启并自检，检查激光雷达是否正常启动、算法程序是否正常运行，检查异常则发布预警信息；
8.步骤二，激光雷达标定，系统配备多台激光雷达时，对多个目标区域进行人员检测之前需要对多台激光雷达进行标定，使得所有激光雷达采集得到的点云数据坐标统一到同一直角坐标系下；
9.步骤三，数据采集，激光雷达采集周围环境信息，获取三维点云数据，并通过以太网将获取得到的点云数据传输给系统处理器，系统配配备台激光雷达时，采用时间同步的方式，通过数据交换枢纽获取同一时间戳下全部激光雷达的点云数据，再经由以太网将获取得到的点云数据传输给系统处理器；
10.步骤四，数据处理，系统配备多台激光雷达时，需要通过时间戳同步判断该时间戳下是否获取得到了全部激光雷达采集得到的点云数据，并将当前时间戳下全部激光雷达采集得到的点云数据进行数据融合；
11.步骤五，点云标注，对融合后点云数据中的人员信息进行标注；
12.步骤六，模型训练，基于深度学习框架进行模型训练及优化，获得人员检测模型；
13.步骤七，人员检测，系统处理器调用人员检测模型对点云数据进行检测，系统配备多台激光雷达时，则对融合后的点云数据进行检测，判断目标区域内是否有人员存在，若存在，则发布人员具体方位信息。
14.作为上述技术方案的优选，在步骤一中，系统自检内容包括激光雷达数据获取自检和目标检测算法自检；
15.激光雷达数据获取自检包括：是否同时得到全部激光雷达生成的点云数据，点云数据是否通过以太网传递给系统处理器，
16.目标检测算法自检包括：检测模型加载是否正常及检测结果是否正常，
17.当系统自检出现相应异常时，通过通信协议向上位机发送特有的标志位，不同标志位表示出现不同的系统故障，供上位机进行判断及相应的排故处理。
18.作为上述技术方案的优选，步骤二中，激光雷达的探测范围能够覆盖目标检测区域，多台激光雷达标定满足环境点云图像重合、地面点云图像平行、人员点云图像无重影。
19.作为上述技术方案的优选，步骤三中，用于数据采集的交换枢纽的网口数量大于系统配备的激光雷达数量，时间同步的方式包括硬件时间同步和gps时间同步，可根据实际使用选择。
20.作为上述技术方案的优选，步骤四中，点云数据融合为全部激光雷达点云数据叠加。
21.作为上述技术方案的优选，在步骤五中，点云数据标注主要针对人员和类人障碍物信息标注，标注信息包括人员和类人障碍物的三维坐标、三维深度和朝向信息。
22.作为上述技术方案的优选，在步骤七中，检测模型人员检测结果包括人员三维坐标、三维深度和朝向信息。
23.作为上述技术方案的优选，在步骤三和步骤四中，时间戳的精度为毫秒量级。
24.本发明的有益效果在于：
25.采用激光雷达作为传感器，具有检测精度高、实时性好、抗干扰能力强以及可全天时检测的优势；同时，激光雷达体积小、质量轻、安装方便，可根据使用场景的结构特点选择和排布激光雷达以满足使用场景需求；采用深度学习检测算法，检测过程具有智能性和实时性；整套系统实用性强，能在大多数需要在人员清查后才能开展作业的特殊场景发挥重要作用。
附图说明
26.图1为本发明的工作原理图。
27.图2为激光雷达在某重型卡车上的排布示意图。
28.图3为检测结果示意图。
具体实施方式
29.下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.如图1所示的一种基于激光雷达的特殊场景人员检测系统，以装配六台激光雷达的某重型卡车为例，具体硬件组成包括六台激光雷达、处理器、数据交换枢纽以及电缆；软件部分基于ubuntu操作系统，并配置有ros软件架构，采用深度学习框架pytorch，支持采用tensorrt对模型进行优化加速，需nvidiagpu支持运算
31.具体检测流程为：
32.步骤一，系统上电自启，并检查六台激光雷达是否均正常启动、算法程序是否正常运行，如若检查异常，则发布预警信息；
33.步骤二，激光雷达标定，为了对卡车不同目标区域进行人员检测，车身共安装有六台固态激光雷达，分别用以检测车辆前方、u型槽内和后方区域的人员信息。因此，需要对六台激光雷达进行标定，使得所有激光雷达采集得到的点云数据坐标统一到同一直角坐标系下；
34.步骤三，数据采集，采用硬件时间同步的方式，通过数据交换枢纽获取同一时间戳下全部激光雷达的三维点云数据，再经由以太网将获取得到的点云数据传输给系统处理器；
35.步骤四，数据处理，通过时间戳同步，判断该时间戳下是否获取得到了全部激光雷达采集得到的点云数据，并将当前时间戳下全部激光雷达采集得到的点云数据进行数据融合；
36.步骤五，对融合后点云数据中的人员信息进行标注；
37.步骤六，模型训练，基于深度学习框架进行模型训练及优化，获得人员检测模型；
38.步骤七，人员检测，系统处理器调用人员检测模型对融合后的点云数据进行检测，判断目标区域内是否有人员存在，如若存在，则通过can通信向整车控制器发送预警信息及人员具体方位信息，并至少保存卡车运行24小时内的检测信息，以便后续查看。
39.在步骤一中，系统自检主要针对激光雷达和系统功能部分，以免由于硬件和软件异常出现漏检、错检，如若系统在自检过程发布预警信息，则目标检测区域暂停作业，直至系统恢复正常。
40.在步骤二中，激光雷达可选用livox mid40固态激光雷达，单个激光雷达的视场角为38.4
°
圆锥型视场角，探测深度最大为260米。按照如图2所示的安装方式，车身共安装有六台固态激光雷达(图中黑色矩形为激光雷达)，分别用以检测车辆前方、u型槽内和后方区域的人员信息。安装完成后，对六台激光雷达进行标定，需要满足标定后，六台激光雷达的重合视场区域的点云图像重合而非错开；对于前向两台激光雷达和后向四台激光雷达没有
重合视场的情况，以标定后车辆前后向激光雷达的地面点云图像平行为宜。
41.在步骤三中，系统处理器通过激光雷达驱动控制六台激光雷达，采用硬件时间同步进行点云数据采集，需要以太网口支持硬件时间戳同步功能，采用ieee 1588v2.0 ptp网络协议进行时间同步，为得到泛化性高的人员检测模型，前期进行大量且丰富的数据采集，采集原则为样本丰富且充足、人员姿态多样化。
42.在步骤四中，通过时间戳同步，判断当前时间戳下是否同时获取到了六台激光雷达生成的点云数据，并将六台激光雷达点云数据进行融合，并将融合后的点云数据以新的ros话题发布。
43.在在步骤五中，数据标注是对上述步骤四中获取的到的六激光雷达融合后的点云数据进行标注，标注信息包括但不限于：人员和类人障碍物的三维坐标、三维深度和朝向信息，对点云数据中的人员信息进行准确标注是人员检测系统精准度和可靠性的基础。
44.在步骤六中，模型训练采用pointpillar模型对步骤五中获取得到的标注后点云数据进行模型训练，并使用多gpu分布式训练加快训练速度，获得人员检测模型。
45.在步骤七中，人员检测是指处理器调用步骤六中获取得到的人员检测模型，对上述步骤四中获取得到的六台激光雷达融合后的点云数据进行人员检测，人员感知处理控制器以nvidiaagx开发板为平台进行扩展设计，为了减小检测延迟时间，提高模型检测速度，通过tensorrt架构进行模型推理加速，对实时采集的点云数据进行感知，以ros话题形式发布人员检测结果，如图3所示，其中，图3中每组检测结果包括置信度、距离及方位角信息，通过can通信向整车控制器发送预警信息及人员具体方位信息，并至少保存卡车运行24小时内的检测信息。
46.在本实施例中，整套系统探测精度小于等于0.2米；探测延时小于等于0.5秒；能够准确感知车辆前方和后方30米范围内的人员信息。
47.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。