本发明涉及包装循环箱管理，尤指一种包装循环箱管理系统及管理方法。
背景技术：
1、近年来，随着物流和电子商务的快速发展，包装循环箱在运输和仓储中的应用日益广泛。包装循环箱是一种可重复使用的容器，能够有效降低物流成本和减少环境污染。然而，随着循环箱数量的增加和物流网络的复杂化，如何高效地管理和调度这些循环箱成为了一个亟待解决的问题。
2、在传统系统中，循环箱的调度主要依靠人工进行。工作人员需要手动记录和分配循环箱，处理大量的订单和需求。这种方式不仅耗时耗力，还容易出现人为错误。传统系统的库存管理较为简单，通常仅记录循环箱的数量和位置，缺乏对循环箱实时状态和使用情况的详细跟踪。库存信息的不准确和滞后，导致调度决策缺乏数据支持，难以及时响应市场需求变化。传统系统难以根据各站点的实时需求和使用情况进行动态调整，往往造成某些站点循环箱短缺，而另一些站点则过剩。由于缺乏智能调度手段，系统无法有效平衡各站点之间的循环箱分布。传统系统在规划运输路径时，通常仅考虑最短路径或固定路线，未能充分考虑实时交通状况和各站点的需求优先级，导致运输效率低下。
3、同时，由于循环箱子的繁多和外观相似，工作人员通常难以显而易见的对封装后箱子进行明确的归类，进而导致查验过程的繁琐，对遗漏箱子装载货物也无法实现实时的监控，导致管理难度上升。
技术实现思路
1、为解决上述问题，本发明提供一种包装循环箱管理系统及管理方法，通过在循环箱内设置可交互的蓝牙设备并在关键运输节点中设置与蓝牙设备交互的通讯装置提供了可进行有效强化学习的数据，并基于针对性的强化学习输出循环箱的调度策略。
2、为实现上述目的，本发明采用的技术方案是：
3、一种包装循环箱管理系统，包括包装循环箱、循环箱定位模块、智能云管理模块和异常告警模块，所述包装循环箱、循环箱定位模块、智能云管理模块依次通信连接，所述异常告警模块与所述循环箱定位模块通讯连接；
4、所述包装循环箱的外侧边缘设置有色光条，所述包装循环箱内嵌设有存储单元、蓝牙单元和箱控单元，所述存储单元用于存储循环箱的实时数据，所述箱控单元用于控制所述包装循环箱的开闭、控制所述色光条的颜色变换和控制蓝牙单元收发循环箱的使用数据；
5、所述循环箱定位模块包括设置于站点的定位通讯装置和设置于运输载具的定位通讯装置，所述定位通讯装置用于与所述包装循环箱进行数据交互并与智能云管理模块通讯连接；
6、所述智能云管理模块用于根据存储循环箱的实时数据确定循环箱的使用状态，所述使用状态包括空闲、起始点使用中、路途中以及到达目的地，基于强化学习算法，根据实时交通状况、站点需求和循环箱的使用状态进行循环箱调度；
7、所述异常告警模块用于根据循环箱的实时数据确定循环箱是否发生遗失并发出异常告警。
8、进一步地，所述循环箱的实时数据包括货物装载状态、单次存储货物类型、货物序列号、货物起点与货物目的地，还包括相邻货物关联集和光色条颜色数据。
9、进一步地，所述控制所述色光条的颜色变换包括以下步骤：
10、每一循环箱通过其蓝牙单元持续扫描预设范围内的其他循环箱的蓝牙信号，通过加密逻辑采集其他循环箱的货物类型、货物序列号和货物批次信息；
11、所述箱控单元将采集到预设范围内的其他循环箱的信息与本循环箱的信息进行比对，确定是否属于同一批次货物；
12、若为属于同一批次货物，则所述箱控单元根据预设的颜色显示规则，生成与同批次货物相对应的颜色信号，将预设范围内同批次货物的循环箱进行关联并更新相邻货物关联集；若不属于同一批次货物，则获取其光色条颜色数据；
13、根据不属于同一批次货物的光色条颜色数据进行颜色冲突的规避。
14、进一步地，所述根据存储循环箱的实时数据确定循环箱的使用状态包括以下步骤：
15、接收并存储从各循环箱上传的实时数据；
16、根据循环箱的当前位置与货物起点和货物目的地进行比对，判断循环箱是否位于起点、目的地或运输路径上；
17、若循环箱位于货物起点且未装载时，标记使用状态为空闲；若循环箱位于货物起点且已装载时，标记使用状态为起始点使用中；当循环箱位于运输路径上时，标记使用状态路途中；若循环箱到达货物目的地且未卸载时，标记使用状态到达目的地；若循环箱到达货物目的地且已卸载时，标记使用状态空闲。
18、进一步地，所述基于强化学习算法，根据实时交通状况、站点需求和循环箱的使用状态进行循环箱调度包括以下步骤：
19、收集各站点的历史流量数据，包含每目的循环箱使用量和返还量；
20、根据历史流量数据预测未来预设时间内各站点的循环箱需求量，根据未来需求量和各站点当前的循环箱库存量，计算各站点的实际需求量；
21、以各站点的实际需求量、每个循环箱的当前位置和站点之间实时交通状况为状态，以站点之间运输循环箱数量为动作，以满足各站点实际需求量的程度和实现满足各站点实际需求量定义奖励函数，训练dqn网络；
22、基于训练完成的dqn网络实时生成站点之间运输循环箱数量，并得到若干个单次送运货所需添加的空闲循环箱数量，进行循环箱调度。
23、进一步地，所述dqn网络的公式如下：
24、
25、其中，s为当前状态参数集，包括各站点的实际需求量、每个循环箱的当前位置和各站点之间的实时交通状况；a为当前动作参数集，包括站点之间运输循环箱的数量；q(s，a)为状态参数集s下采取动作参数集的a的q值；α为学习率；r为当前动作的即时奖励；γ为折扣因子；s′为下一个状态参数集；a′下一个状态下的动作参数集。
26、进一步地，所述奖励函数的公式如下：
27、
28、其中，r为奖励值；α和β为权重系数；ns为实际满足的站点需求量；ndemand为站点的总需求量；tt为实际运输时间；tmax为最大运输时间。
29、进一步地，所述各站点之间的实时交通状况包括若干个实时交通状况值，所述实时交通状况值通过以下步骤得到：
30、接入实时的导航api获取各站点之间的运输预计时间；
31、根据预设时间梯度对运输预计时间进行分级，对每一分级按照梯度进行赋值，得到实时交通状况值。
32、一种包装循环箱管理方法，应用于上述任意一项所述的一种包装循环箱管理系统，包括：
33、在站点设置定位通讯装置，在运输载具中设置定位通讯装置，所述定位通讯装置用于与所述包装循环箱进行数据交互；
34、根据从通讯装置获取的存储循环箱的实时数据确定循环箱的使用状态，所述使用状态包括空闲、起始点使用中、路途中以及到达目的地，基于强化学习算法，根据实时交通状况、站点需求和循环箱的使用状态进行循环箱调度。
35、本发明的有益效果在于：本发明通过包装在循环箱的外侧边缘设置色光条，箱体内嵌设有存储单元、蓝牙单元和箱控单元。通过蓝牙单元和存储单元，系统能够自动采集和存储循环箱的实时数据，包括循环箱的当前位置、货物装载状态、货物类型、货物序列号、货物起点与货物目的地等。循环箱定位模块包括设置于站点的定位通讯装置和设置于运输载具的定位通讯装置。这些装置与包装循环箱进行数据交互，并将数据传输至智能云管理模块，实现对循环箱的实时跟踪和监控，确保信息的准确和及时更新。智能云管理模块用于根据存储的循环箱实时数据确定循环箱的使用状态，包括空闲、起始点使用中、路途中以及到达目的地。通过这种方式，系统能够动态调整循环箱的使用状态，并根据需求进行合理分配。基于强化学习算法，利用深度q网络(dqn)进行循环箱调度。系统以各站点的实际需求量、每个循环箱的当前位置和站点之间的实时交通状况为状态，以站点之间运输循环箱数量为动作，以满足各站点实际需求量的程度和实现满足各站点实际需求量定义奖励函数，训练dqn网络。基于训练完成的dqn网络，系统能够实时生成站点之间的循环箱运输数量，并得到若干个单次送运货所需添加的空闲循环箱数量，进行循环箱调度。通过这种方式，系统能够根据实时交通状况和站点需求进行动态调整，提高运输效率，平衡各站点之间的循环箱分布。异常告警模块用于根据循环箱的实时数据确定循环箱是否发生遗失，并发出异常告警。通过实时数据监控和智能分析，系统能够及时发现循环箱的异常情况，并迅速采取措施，减少损失，提高安全性。本方案通过物联网技术、智能云管理和强化学习算法的综合应用，实现了对包装循环箱的自动化数据采集、智能化库存管理、智能调度与优化、自动化异常检测与告警以及颜色标识与批次管理，实现了循环箱的合理调度和优化了管理效率。
1.一种包装循环箱管理系统，其特征在于，包括包装循环箱、循环箱定位模块、智能云管理模块和异常告警模块，所述包装循环箱、循环箱定位模块、智能云管理模块依次通信连接，所述异常告警模块与所述循环箱定位模块通讯连接；
2.根据权利要求1所述的一种包装循环箱管理系统，其特征在于，所述循环箱的实时数据包括货物装载状态、单次存储货物类型、货物序列号、货物起点与货物目的地，还包括相邻货物关联集和光色条颜色数据。
3.根据权利要求2所述的一种包装循环箱管理系统，其特征在于，所述控制所述色光条的颜色变换包括以下步骤：
4.根据权利要求1所述的一种包装循环箱管理系统，其特征在于，所述根据存储循环箱的实时数据确定循环箱的使用状态包括以下步骤：
5.根据权利要求1所述的一种包装循环箱管理系统，其特征在于，所述基于强化学习算法，根据实时交通状况、站点需求和循环箱的使用状态进行循环箱调度包括以下步骤：
6.根据权利要求5所述的一种包装循环箱管理系统，其特征在于，所述dqn网络的公式如下：
7.根据权利要求6所述的一种包装循环箱管理系统，其特征在于，所述奖励函数的公式如下：
8.根据权利要求7所述的一种包装循环箱管理系统，其特征在于，所述各站点之间的实时交通状况包括若干个实时交通状况值，所述实时交通状况值通过以下步骤得到：
9.一种包装循环箱管理方法，应用于权利要求1-8任意一项所述的一种包装循环箱管理系统，其特征在于，包括：
