一种快件码识别机的视频间隔合成方法及装置与流程

1.本技术属于快递取件证据保存技术领域，尤其涉及一种快件码识别机的视频间隔合成方法及装置。


背景技术：

2.随着电子商务的发展，快递物流越来越成为寄送货物的手段，采用快递来寄送的货物也被称为快件。然而快递员在递送快件时，由于收件人没在收件地址等原因，难以直接递交到收件人手上。于是快递柜、快递驿站等临时放置快件的方式应运而生，为居民的快件临时放置和收取提供了很大便利，也节省了快递人力。
3.目前的快递驿站里布置有很多货架，每个货架的每一层都有独立编号。当快递员将快件放到货架上时，快件会被分配独立编号“xx号xxx层xxx编号的快件”，并被登记进快件扫码系统入库。快递公司会将上述信息发送到收件人手机，收件人根据信息到相关快递驿站取件。收件人根据所收到的快件所在位置信息找到快件后，将快件放置到快件码识别机上进行识别并取走。
4.然而，现在的快递驿站，还是会出现误取而导致的快件丢失事件，需要根据时间点调取相关监控录像来查找相关人员信息，但是目前快递驿站的各个摄像机的视频独立保存，查找信息比较繁琐，也有可能存在监控盲区无法准确查找到相关人员信息。


技术实现要素：

5.本技术的目的是提供一种快件码识别机的视频间隔合成方法及装置，以准确存留取件人的相关证据。
6.为了实现上述目的，本技术技术方案如下：一种快件码识别机的视频间隔合成方法，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，所述快件码识别机设置有扫码摄像机，所述快件码识别机还设置有取件人摄像机，同一个快件码识别机的扫码摄像机与取件人摄像机的帧率相同，所述快件码识别机在识别快件成功时，将扫码摄像机、取件人摄像机和全局摄像机拍摄的视频合成留存，所述快件码识别机的视频间隔合成方法，包括：若所述至少两台快件码识别机调取同一全局摄像机的视频实况时，将所述全局摄像机帧率调整为扫码摄像机帧率的最小公倍数；计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子；根据每台扫码摄像机对应的编码因子，调整所述全局摄像机的编码方式，在一个编码组中，第一帧为i帧，单倍编码因子对应的p帧参考i帧编码，其他倍数编码因子对应的p帧参考前一个倍数编码因子对应的p帧编码；获取全局摄像机视频流后，根据对应快件码识别机的扫码摄像机的编码因子间隔从编码组中抽取对应的帧，生成与对应快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流；
将扫码摄像机视频、取件人摄像机视频和新的全局摄像机视频合成留存。
7.进一步的，所述编码组中将非编码因子倍数对应的p帧置空。
8.进一步的，所述编码组中将非编码因子倍数对应的p帧参考其前一帧进行编码。
9.进一步的，所述一个编码组中，对于编码因子倍数对应的p帧，在其帧头部设置对应的序列号，在发送编码后的视频流时，删除非编码因子倍数对应的p帧。
10.进一步的，所述获取全局摄像机视频流后，根据快件码识别机的扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流，包括：快件码识别机接收全局摄像机视频流后，根据自身扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与自身扫码摄像机帧率一致的新的全局摄像机视频流。
11.进一步的，所述获取全局摄像机视频流后，根据快件码识别机的扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流，包括：快件码识别机所接入的网络设备获取快件码识别机对应的编码因子，根据编码因子间隔从接收到的全局摄像机视频流编码组中抽取对应的帧，生成新的全局摄像机视频流，发送给所述快件码识别机。
12.本技术还提出了一种快件码识别机的视频间隔合成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述快件码识别机的视频间隔合成方法的步骤。
13.本技术提出的一种快件码识别机的视频间隔合成方法及装置，当至少两个快件码识别机调取同一个全局摄像机的视频时，实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数，计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子，根据每台扫码摄像机对应的编码因子，调整所述全局摄像机的编码方式，在一个编码组中，第一帧为i帧，单倍编码因子对应的p帧参考i帧编码，其他倍数编码因子对应的p帧参考前一个倍数编码因子对应的p帧编码。本技术技术方案能够解决两台不同帧率识别机调取同一个全局摄像机时由于帧率不同而导致视频模糊的问题。本技术技术方案可以得到图像清晰的全局摄像机码流，并进行合成保存，能够全面保存取件证据。
附图说明
14.图1为本技术快件码识别机的视频间隔合成方法流程图；图2为本技术实施例p帧编码示意图。
具体实施方式
15.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
16.本技术提供的一种快件码识别机的视频间隔合成方法及装置，应用于快件驿站，快件驿站目前都配置有快件码识别机，以便取件人在取件后扫码出库。这种方式便于快件驿站的管理，减少了人工成本。为了减少快件误取，并提供取件证据，现在的快件驿站都设
置有用于监控整个快件驿站的全局摄像机。全局摄像机通常分布在快件驿站的各个角落，全面覆盖整个快件驿站。
17.快件码识别机设置一个朝下的扫码摄像机，并网络连接全局摄像机。此外，快件码识别机还设置有取件人摄像机，在取件人扫码出库时抓拍取件人的正面视频图像。当取件人将快件放置在台面上扫码出库时，扫码摄像机会实时将快件画面显示在显示屏上，同时，扫码摄像机会检测包装上的条码，找到后，画面中的条码区域会显示一个长方形的框，并发出一个声音提示识别成功。同时取件人摄像机也在取件人扫码出库时，拍摄取件人正面视频。
18.为了保留取件人取件的视频证据，本技术快件码识别机将扫码摄像机拍摄的视频、取件人摄像机拍摄的视频以及调取的全局摄像机视频保存作为取件证据。
19.具体的，当取件人在快件码识别机前放置快件扫码时，人脸未必正对着快件码识别机，而且朝向可能晃动改变。通过取件人摄像头可以看到取件人的朝向。根据取件人的人脸朝向，快件码识别机需要调取最能拍摄到取件人正面的全局摄像机，获取实时视频，必要时切换全局摄像机并在时间线上拼接视频，并将此视频和取件人摄像机的视频一同合并入扫码摄像机拍摄的视频中，作为视频证据留底。具体如下：当取件人到达快件码识别机前，快件码识别机的取件人摄像机根据取件人的朝向，根据摄像机之间共享的位置信息选择最合适的全局摄像机，申请实况视频流，获取取件人的远景视频。
20.当快件码识别机通过取件人摄像机发现取件人的朝向发生变更，根据摄像机之间共享的位置信息发现有更合适的全局摄像机，向新的全局摄像机申请实况视频流。得到新的实况流之后，停止点播原全局摄像机的视频流。
21.快件码识别机截取取件人扫码期间的多段全局摄像机的视频，每段视频流截取以i帧开始的视频，将其按照时间先后进行拼接，合成新的全局摄像机总视频流。同时截取取件人扫码期间的取件人摄像机采集的实况视频流。
22.快件码识别机将截取后的全局摄像机总视频流和取件人摄像机实况视频流作为小画面嵌入到扫码摄像机拍摄的台面视频流中，作为视频流证据留底。
23.多个视频合成，通常采用的方法是，将每个视频流的帧提取出来，然后按照统一布局合并。例如，快件码识别机的扫码摄像机和取件人摄像机的帧率为25帧/秒，则将快件放置台面的视频流和取件人摄像机视频流的1秒时间段内的各25帧提取出来，然后将全局摄像机的1秒时间段内的各25帧提取出来，分别按照统一布局（例如将取件人摄像机的帧图像和全局摄像机的帧图像重叠到快件放置台面视频流的帧图像的左下角和右下角）进行图片合并，重新排列生成新的视频。
24.可能存在的问题是，快件码识别机a和快件码识别机b同时向一台全局摄像机申请实况流，由于前者帧率为25帧/秒，后者帧率为30帧/秒，而全局摄像机只能编码一股视频流。为此，需要对全局摄像机的视频编码方式进行改变，以适应这种视频合成方式。
25.在一个实施例中，如图1所示，提供了一种快件码识别机的视频间隔合成方法，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，所述快件码识别机设置有扫码摄像机，所述快件码识别机还设置有取件人摄像机，同一个快件码识别机的扫码摄像机与取件人摄像机的帧率相同，所述快件码识别机在识别快件成功时，将扫
码摄像机、取件人摄像机和全局摄像机拍摄的视频合成留存，所述快件码识别机的视频间隔合成方法，包括：步骤s1、若至少两台快件码识别机调取同一全局摄像机的视频实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数。
26.本实施例以一个快件驿站有两台快件码识别机为例进行说明，分别为识别机a和识别机b，每台识别机中扫码摄像机和取件人摄像机为同一设备中配备的摄像机，它们的帧率相同。但是识别机a和识别机b两者摄像机的帧率不同。以识别机a摄像机帧率为25帧/秒，识别机b摄像机帧率为30帧/秒进行说明。
27.当只有一台快件码识别机向全局摄像机申请实况视频流时，快件码识别机在点播实况流的请求消息中内嵌本机帧率的信息，例如识别机a在请求消息中内嵌25帧/秒的帧率信息；全局摄像机收到消息后，将视频编码的帧率更改为25帧/秒，通过组播发送；识别机a收到视频流后进行合成。
28.当两台识别机向同一个全局摄像机申请实况流，全局摄像机收到请求后，发现两台识别机的各自帧率不同，则取两者帧率的最小公倍数，25和30的最小公倍数为150。全局摄像机将帧率修改为150帧/秒进行组播发送，并将150帧/秒的策略发送给识别机a和识别机b。
29.由于视频流中每个p帧体现的是本帧相对于前面一帧的差值，如果每个识别机从全局摄像机的视频流中间隔的取p帧，必将因为信息的丢失而导致视频流模糊。因此，本实施例对编码方式进行了重新调整。
30.步骤s2、计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子。
31.本技术先计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子，如下：对于识别机a，帧率为25帧/秒，全局摄像机帧率为150帧/秒，则编码因子a等于6；对于识别机b，帧率为30帧/秒，全局摄像机帧率为150帧/秒，则编码因子a等于5。
32.需要说明的是，计算编码因子，可以由快件码识别机计算，或者由全局摄像机计算，无论是哪台设备计算，只需获取全局摄像机帧率与每台扫码摄像机帧率即可，在计算得到编码因子之后，可以通过网络共享给其他设备，从而使得其他设备获取到编码因子，以下不再赘述。
33.步骤s3、根据每台扫码摄像机对应的编码因子，调整所述全局摄像机的编码方式，在一个编码组中，第一帧为i帧，单倍编码因子对应的p帧参考i帧编码，其他倍数编码因子对应的p帧参考前一个倍数编码因子对应的p帧编码。
34.本技术全局摄像机采用最小公倍数的帧率编码，但是编码方式必须发生更改，以适配两台识别机的视频合成需求。
35.在本实施例中，全局摄像机采用150帧/秒的帧率，以适配两台识别机的25帧/秒和30帧/秒的帧率，因此，采用非均匀的p帧生成方式，而编码组gop采用150帧。
36.如图2所示，对于识别机a，编码因子为6，全局摄像机在编码时，由i帧开始从150帧中均匀地提取间隔的25帧，这25帧独立进行前向参考。第1帧为i帧，第6个p帧记为p6，也就是单倍编码因子对应的p帧，p6参考i帧编码。p12（双倍编码因子对于的p帧）参考p6进行编码，p18、p24、p30
…
p144，依次采用相同策略。显然，从i帧，p6帧，一直到p144帧，一共25帧，
依次参考前面一帧进行编码。
37.对于识别机b，编码因子为5，全局摄像机在编码时，由i帧开始从150帧中均匀地提取间隔的30帧，这30帧独立进行前向参考。第1帧为i帧，第5个p帧记为p5，也就是单倍编码因子对应的p帧，p5参考i帧编码。p10（双倍编码因子对于的p帧）参考p5进行编码，p15、p20、p25
…
p145，依次采用相同策略。显然，从i帧，p5帧，一直到p145帧，一共30帧，依次参考前面一帧进行编码。
38.此时，在一个编码组中凡是各个编码因子倍数的帧都进行编码，即第1帧、p5、p6、p10、p12
…
p144、p145都参照上述编码方式进行了编码。而其他p帧，则按照传统方式进行编码，在传统方式中p帧时参考其前一帧进行编码的。
39.在上述编码后，全局摄像机发出的还是一路码流，识别机a和识别机b收到后，分别按照自己的帧率进行抽取。识别机a抽取第1帧、p6、p12
…
p144，共25帧；识别机b抽取第1帧、p5、p10
…
p145，共30帧通过上述的描述，可知对于非编码因子倍数的帧，在实际的应用中并不需要。因此本技术一个优选的技术方案中：将非编码因子倍数对应的p帧置空。
40.置空后的其余p帧不包含差值信息，可以大幅度降低码率。
41.在另一个优选的技术方案中，所述全局摄像机还执行如下操作：对于编码因子倍数对应的p帧，在其帧头部设置对应的序列号，在发送编码后的视频流时，删除非编码因子倍数对应的p帧。
42.在本实施例中，p5、p6、p10、p12
…
等有用的视频帧，在帧头部新增一个序列号，分别为5、6、10、12等，全局摄像机在发送视频码流时，主动丢弃除有用帧意外的其他帧，不予发送，从而减少了发送的码流。
43.识别机在接收到全局摄像机发送的码流后，参考帧头部的序列号选取自己需要的视频帧。
44.步骤s4、获取全局摄像机视频流后，根据对应快件码识别机的扫码摄像机的编码因子间隔从编码组中抽取对应的帧，生成与对应快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流。
45.本实施例，从全局摄像机发出的视频流中抽取用于组成新的全局摄像机视频的帧，可以在快件码识别机中进行，也可以在其他网络设备中进行，以下分别进行说明。
46.在一个具体的实施例中，由快件码识别机执行，包括如下步骤：快件码识别机接收全局摄像机视频流后，根据自身扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与自身扫码摄像机帧率一致的新的全局摄像机视频流。
47.例如，识别机a收到全局摄像机发送的组播流，从i帧开始，每隔6帧依次p6、p12、p18的取帧，每个gop取25帧（其中包括i帧、p6、p12、
…
、p144），进行图像合并，生成新的视频流。
48.识别机b收到全局摄像机发送的组播流，从i帧开始，每隔5帧依次p5、p10、p15的取帧，每个gop取30帧（其中包括i帧、p5、p10、
…
、p145），进行图像合并，生成新的视频流。
49.在另一个具体的实施例中，由快件码识别机所接入的网络设备执行，快件码识别机通过网络设备接入到网络中，连接全局摄像机。全局摄像机发出的视频通过网络发送，先
经过网络设备才能到达快件码识别机。包括如下步骤：快件码识别机所接入的网络设备获取快件码识别机对应的编码因子，根据编码因子间隔从接收到的全局摄像机视频流编码组中抽取对应的帧，生成新的全局摄像机视频流，发送给所述快件码识别机。
50.在本实施例中，由于快件码识别机是快件驿站的主要设备，所承担的工作比较多。而接入快件码识别机的网络设备则仅进行数据的传输，性能相对比较空闲。本实施例利用网络设备来进行视频帧的抽取，降低了快件码识别机的负荷，使得快件码识别机无感的获取抽取得到的视频帧，不需要额外的消耗性能。
51.快件码识别机所接入的网络设备可以通过网络获取快件码识别机上扫码摄像机的帧率，也可以通过网络获取全局摄像机的帧率，从而可以计算出编码因子。或直接获取快件码识别机对应的编码因子，进行视频帧的抽取。
52.在抽取视频帧时，与上一实施例中快件码识别机一样，对于识别机a，网络设备收到全局摄像机发送的组播流，从i帧开始，每隔6帧依次p6、p12、p18的取帧，每个gop取25帧（其中包括i帧、p6、p12、
…
、p144），进行图像合并，生成新的视频流，发送给识别机a。
53.对于识别机b，网络设备收到全局摄像机发送的组播流，从i帧开始，每隔5帧依次p5、p10、p15的取帧，每个gop取30帧（其中包括i帧、p5、p10、
…
、p145），进行图像合并，生成新的视频流，发送给识别机b。
54.从而快件码识别机直接从网络设备获取到新的全局摄像机视频流，这里不再赘述。若识别机a和识别机b共同接入一个网络设备，则网络设备可以通过识别机所接入的物理端口区分识别机，分别取帧后生成新的视频流，发送给对应的识别机。
55.步骤s5、将扫码摄像机视频、取件人摄像机视频和新的全局摄像机视频合成留存。
56.在识别机抽取到全局摄像机的视频流后，即可用来合成视频保存为证据。容易理解的是，识别机主要是为了保存取件人在识别机前扫码出库时的影像作为证据，可以是识别机识别前后一段时间的视频，也可以是识别机识别成功后一段时间的视频。从而可以在得到各个摄像机的视频后，可以通过识别机来合成视频，也可以有扫码摄像机来合成视频。可以将扫码摄像机、取件人摄像机和全局摄像机的视频打包来存储，也可以将取件人摄像机和全局摄像机的视频作为画中画嵌入到识别机拍摄的视频中保存。
57.在另一个实施例中，本技术还提供了一种快件码识别机的视频间隔合成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述快件码识别机的视频间隔合成方法的步骤。
58.关于快件码识别机的视频间隔合成装置的具体限定可以参见上文中对于快件码识别机的视频间隔合成方法的限定，在此不再赘述。上述快件码识别机的视频间隔合成装置可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上对应的操作。
59.存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
60.其中，所述存储器可以是，但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read-only memory，prom），可擦除只读存储器（erasable programmable read-only memory，eprom），电可擦除只读存储器（electric erasable programmable read-only memory，eeprom）等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
61.所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器 (central processing unit，cpu)、网络处理器 (network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
62.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种快件码识别机的视频间隔合成方法，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，所述快件码识别机设置有扫码摄像机，其特征在于，所述快件码识别机还设置有取件人摄像机，同一个快件码识别机的扫码摄像机与取件人摄像机的帧率相同，所述快件码识别机在识别快件成功时，将扫码摄像机、取件人摄像机和全局摄像机拍摄的视频合成留存，所述快件码识别机的视频间隔合成方法，包括：若所述至少两台快件码识别机调取同一全局摄像机的视频实况时，将所述全局摄像机帧率调整为扫码摄像机帧率的最小公倍数；计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子；根据每台扫码摄像机对应的编码因子，调整所述全局摄像机的编码方式，在一个编码组中，第一帧为i帧，单倍编码因子对应的p帧参考i帧编码，其他倍数编码因子对应的p帧参考前一个倍数编码因子对应的p帧编码；获取全局摄像机视频流后，根据对应快件码识别机的扫码摄像机的编码因子间隔从编码组中抽取对应的帧，生成与对应快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流；将扫码摄像机视频、取件人摄像机视频和新的全局摄像机视频合成留存。2.根据权利要求1所述的快件码识别机的视频间隔合成方法，其特征在于，所述编码组中将非编码因子倍数对应的p帧置空。3.根据权利要求1所述的快件码识别机的视频间隔合成方法，其特征在于，所述编码组中将非编码因子倍数对应的p帧参考其前一帧进行编码。4.根据权利要求1所述的快件码识别机的视频间隔合成方法，其特征在于，所述一个编码组中，对于编码因子倍数对应的p帧，在其帧头部设置对应的序列号，在发送编码后的视频流时，删除非编码因子倍数对应的p帧。5.根据权利要求1所述的快件码识别机的视频间隔合成方法，其特征在于，所述获取全局摄像机视频流后，根据快件码识别机的扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流，包括：快件码识别机接收全局摄像机视频流后，根据自身扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与自身扫码摄像机帧率一致的新的全局摄像机视频流。6.根据权利要求1所述的快件码识别机的视频间隔合成方法，其特征在于，所述获取全局摄像机视频流后，根据快件码识别机的扫码摄像机对应的编码因子间隔从编码组中抽取对应的帧，生成与快件码识别机的扫码摄像机帧率一致的新的全局摄像机视频流，包括：快件码识别机所接入的网络设备获取快件码识别机对应的编码因子，根据编码因子间隔从接收到的全局摄像机视频流编码组中抽取对应的帧，生成新的全局摄像机视频流，发送给所述快件码识别机。7.一种快件码识别机的视频间隔合成装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求6中任意一项所述方法的步骤。

技术总结
本发明公开了一种快件码识别机的视频间隔合成方法及装置，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，若所述至少两台快件码识别机调取同一全局摄像机的视频实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数，计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子，根据每台扫码摄像机对应的编码因子，调整所述全局摄像机的编码方式，在一个编码组中，第一帧为I帧，单倍编码因子对应的P帧参考I帧编码，其他倍数编码因子对应的P帧参考前一个倍数编码因子对应的P帧编码。本发明可以得到图像清晰的全局摄像机码流，并进行合成保存，能够全面保存取件证据。能够全面保存取件证据。能够全面保存取件证据。


技术研发人员：严振声
受保护的技术使用者：浙江华眼视觉科技有限公司
技术研发日：2022.04.24
技术公布日：2022/5/25