一种基于嵌入式Linux平台双目摄像头实现同步的方法与流程

一种基于嵌入式linux平台双目摄像头实现同步的方法
技术领域
1.本发明涉及图像数据传输技术领域，具体为一种基于嵌入式linux平台双目摄像头实现同步的方法。


背景技术：

2.计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统。
3.无人机ai视觉与智能硬件相结合过程中经视频图像抓取，isp图像处理后传输给深度学习进行双目slam、半稠密重建和目标检测。
4.当前的双目摄像头技术中，市场上主要通过直接获取当前两个摄像头的数据，通过图像识别进行精准判断，如测量图像距离、双目slam、半稠密重建和目标检测等。由于两个摄像头拍摄时间不同步而不精准。


技术实现要素：

5.本发明的目的在于提供一种基于嵌入式linux平台双目摄像头实现同步的方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于嵌入式linux平台双目摄像头实现同步的方法，该基于嵌入式linux平台双目摄像头实现同步的方法的具体步骤如下：
7.s1：建立同步控制机制：将两个摄像头fsin同步引脚与cpu端gpio相连；
8.通过cpu的gpio来通过控制两个摄像头的fsin硬件，每一次将cpu端gpio拉高拉低，使camera从csi输出的数据能够同时传输到mipi上，在camera的输出端做到同步；
9.s2：输出时间戳：在csi中添加一个时间戳，当camera输出图像时，能在第一时间添加时间戳，两个camera输出的数据时间戳的一致，camera输出图像的误差减小。
10.进一步地，所述时间戳的添加处理方式具体为：
11.监控camera输出图像情况；
12.与时钟模块建立连接，并实时获取时间信息；
13.当监测到camera输出图像，同时对输出的图像编辑时间信息，作为时间戳。
14.与现有技术相比，本发明的有益效果是：
15.能够减少由于双目摄像头图像输出时间不一致而导致误差偏大，进而可能引起无人机等设备出现处理不及时，同时通过这种方法也能尽量降低成本。对双目sla外加半稠密重建和目标检测等方面有这非常有效。
附图说明
16.图1为本发明结构示意图；
17.图2为camera的系统逻辑框图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
20.实施例：
21.请参阅图1-2，本发明提供一种技术方案：一种基于嵌入式linux平台双目摄像头实现同步的方法，该基于嵌入式linux平台双目摄像头实现同步的方法的具体步骤如下：
22.s1：建立同步控制机制：将两个摄像头fsin同步引脚与cpu端gpio(通用型之输入输出)相连；
23.通过cpu的gpio来通过控制两个摄像头的fsin硬件，每一次将cpu端gpio拉高拉低，使camera从csi输出的数据能够同时传输到mipi上，在camera的输出端做到同步；
24.但是，在camera输出后，camera数据还需要经过一些列流程，如：从csi
‑‑
》isp
‑‑
》dewarp
‑‑
》v4l2，整个阶段都需要耗费一定的时间，并且不同的camera输出数据，使用到的isp图像处理时间不一致，从而导致输出到应用层的时候也会不一致，所以在这个时候就需要在camera输出图像数据时进行下述步骤操作；
25.s2：输出时间戳：在csi中添加一个时间戳，当camera输出图像时，能在第一时间添加时间戳，两个camera输出的数据时间戳的一致，camera输出图像的误差减小。
26.优选的，所述时间戳的添加处理方式具体为：
27.监控camera输出图像情况；
28.与时钟模块建立连接，并实时获取时间信息；
29.当监测到camera输出图像，同时对输出的图像编辑时间信息，作为时间戳。
30.时间戳作为输出的时间标记，后续操作基于时间戳调整，使得camera输出图像的误差在2ms以内。
31.camera的系统组成如图2所示；
32.一般来说，camera主要是由lens和sensoric两部分组成，其中有的sensoric集成了dsp，有的没有集成，但也需要外部dsp处理。细分的来讲，camera设备由下边几部分构成：
33.1)lens(镜头)一般camera的镜头结构是有几片透镜组成，分有塑胶透镜(plastic)和玻璃透镜(glass)，通常镜头结构有：1p,2p,1g1p,1g3p,2g2p,4g等。
34.2)sensor(图像传感器)senor是一种半导体芯片，有两种类型：ccd和cmos。sensor将从lens上传导过来的光线转换为电信号，再通过内部的ad转换为数字信号。由于sensor的每个pixel只能感光r光或者b光或者g光，因此每个像素此时存贮的是单色的，我们称之为rawdata数据。要想将每个像素的rawdata数据还原成三基色，就需要isp来处理。
35.3)isp(图像信号处理)主要完成数字图像的处理工作，把sensor采集到的原始数据转换为显示支持的格式。
36.4)camif(camera控制器)芯片上的camera接口电路，对设备进行控制，接收sensor采集的数据交给cpu，并送入lcd进行显示。
37.工作原理：
38.外部光线穿过lens后，经过colorfilter滤波后照射到sensor面上，sensor将从lens上传导过来的光线转换为电信号，再通过内部的ad转换为数字信号。如果sensor没有集成dsp，则通过dvp的方式传输到baseband，此时的数据格式是rawdata。如果集成了dsp，rawdata数据经过awb、则colormatrix、lensshading、gamma、sharpness、ae和de-noise处理，后输出yuv或者rgb格式的数据。
39.最后会由cpu送到framebuffer中进行显示，这样我们就看到camera拍摄到的景象了。
40.3.yuv与ycbcr：yuv和rgb一样，是色彩空间中常用的色彩模型之一，两者可以相互转换。yuv中得y表示亮度，u和v表示色度。与rgb相比，它的优点在于占用更少的空间。ycbcr则是在世界数字组织视频标准研制过程中作为itu-rbt601建议的一部分,其实是yuv经过缩放和偏移的翻版。其中y与yuv中的y含义一致,cb,cr同样都指色彩,只是在表示方法上不同而已。在yuv家族中,ycbcr是在计算机系统中应用最多的成员,其应用领域很广泛,jpeg、mpeg均采用此格式。一般人们所讲的yuv大多是指ycbcr。ycbcr有许多取样格式,如4∶4∶4,4∶2∶2,4∶1∶1和4∶2∶0。
41.以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
42.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于嵌入式linux平台双目摄像头实现同步的方法，其特征在于，该基于嵌入式linux平台双目摄像头实现同步的方法的具体步骤如下：s1：建立同步控制机制：将两个摄像头fsin同步引脚与cpu端gpio相连；通过cpu的gpio来通过控制两个摄像头的fsin硬件，每一次将cpu端gpio拉高拉低，使camera从csi输出的数据能够同时传输到mipi上，在camera的输出端做到同步；s2：输出时间戳：在csi中添加一个时间戳，当camera输出图像时，能在第一时间添加时间戳，两个camera输出的数据时间戳的一致，camera输出图像的误差减小。2.根据权利要求1所述的一种基于嵌入式linux平台双目摄像头实现同步的方法，其特征在于：所述时间戳的添加处理方式具体为：监控camera输出图像情况；与时钟模块建立连接，并实时获取时间信息；当监测到camera输出图像，同时对输出的图像编辑时间信息，作为时间戳。

技术总结
本发明属于图像数据传输技术领域，具体为一种基于嵌入式Linux平台双目摄像头实现同步的方法，该基于嵌入式Linux平台双目摄像头实现同步的方法的具体步骤如下：S1：建立同步控制机制：将两个摄像头fsin同步引脚与CPU端gpio相连；通过CPU的gpio来通过控制两个摄像头的fsin硬件，每一次将CPU端gpio拉高拉低，使camera从csi输出的数据能够同时传输到mipi上，在camera的输出端做到同步；S2：输出时间戳：在csi中添加一个时间戳。能够减少由于双目摄像头图像输出时间不一致而导致误差偏大，进而可能引起无人机等设备出现处理不及时，同时通过这种方法也能尽量降低成本。对双目SLA外加半稠密重建和目标检测等方面有这非常有效。加半稠密重建和目标检测等方面有这非常有效。加半稠密重建和目标检测等方面有这非常有效。


技术研发人员：李丹
受保护的技术使用者：黑龙江惠达科技发展有限公司
技术研发日：2022.01.31
技术公布日：2022/5/25