一种基于注意力机制和行为克隆模型的污水处理预测控制方法

：
1.本发明属于水处理智能控制技术领域，具体涉及一种基于注意力机制和行为克隆模型的污水处理预测控制方法。


背景技术：

2.污水处理(sewage treatment)是为使污水达到排入某一水体或再次使用的水质要求对其进行净化的过程。污水处理被广泛应用于建筑、农业、交通、能源、石化、环保、城市景观、医疗、餐饮等各个领域，也越来越多地走进寻常百姓的日常生活。目前来说，污水处理还大部分处于人工或者半自动阶段，系统运行和维护仍然主要依靠专家依照实际情况的发生给出必要的操作，专业性较强且人力成本很高，浪费了大量的财力、人力，而且必须有人坚守岗位。现有的一些方法也只是勉强做到了控制层面，但控制大多数是基于实际情况进行有效控制，无法做出未来的状态预测，并采取有效操作，当现场出现异常的时候，再去处理，可能会出现处理不及时的情况，从而造成严重的损失。
3.推动城市的信息化、智能化发展是许多城市建设者和研究者们所关心的重点问题，也是促进数字孪生的应用以及工业4.0的发展的有效途径之一。智慧城市已经成为现代社会的一个热门研究领域，在智慧城市的建设、发展中，污水的有效处理具有重要意义。对于污水处理过程来说，如果可以提前预知接下来的水质高低，并提前做出一些必要的操作，可以有效减少能源的消耗并降低操作和人力成本，减少突发状况的发生。另一方面，目前很多污水处理过程中的操作都是人工操作，过于依靠专家经验，不仅浪费时间和精力，而且安全隐患突出，专业性较强，人工成本较高。虽然许多国家政府和相关部门开始重视污水处理，并投入大量资金兴建污水处理工厂。但是目前大部分污水处理工厂缺少专业人员的监督、维护，有效的污水处理变得极为困难。针对目前污水处理厂智能化不足的情况，本方法充分发挥数据自身所特有的优点，对训练参数进行优化以获得最佳处理方案，设计了一种模型预测控制方法，可有效解决传统污水处理过程所带来的问题，从而确保污水处理过程的智能运行。


技术实现要素：

4.本发明目的在于克服现有技术存在的缺点，寻求设计一种基于注意力机制和行为克隆模型的污水处理预测控制方法。通过研究污水处理指标的变化规律并结合专家知识，充分发挥数据自身所特有的优点，对训练参数进行优化以获得最佳处理方案，系统可以对污水处理现场情况进行智能预测控制，提前预测接下来的污水处理效果，并第一时间给出反馈，自动做出必要的操作。
5.为了实现上述目的，本发明涉及的基于注意力机制和行为克隆模型的污水处理预测控制方法，具体包括以下步骤：
6.(1)实时获取污水处理系统中水质采集设备采集的进水水质数据；
7.(2)将进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差输入到智能控制模块，智能控制模块模拟专家操作，将专家对该情况的专家操作指令作为输出，提前修正污水处理系统中相关设备的运行参数；所述专家操作指令为专家基于输入对污水处理系统做的一系列的操作，当刚执行上述方法时，步骤(2)中的输入只包括进水水质数据；
8.(3)将进水水质数据和对应的专家操作指令输入到水质预测模块，水质预测模块基于输入预测污水处理系统的出水水质变化，将预测出水水质数据作为输出；
9.(4)将专家操作指令输送到污水处理系统中的被控设备中调整污水处理系统的运行参数；
10.(5)重复步骤(1)-(4)，直至预测出水水质数据和期望出水水质之间的偏差小于设定的阈值，或直至达到设定的循环周期，停止运行。
11.具体地，智能控制模块基于克隆模型构建，首先将已有的一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，训练构建克隆模型，然后将另一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，验证和测试克隆模型，最后得到构建好的克隆模型。
12.具体地，水质预测模块基于gru-attention模型构建，首先将已有的一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，训练构建gru-attention模型，然后另一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，验证和测试gru-attention模型，最后得到构建好的gru-attention模型。
13.具体地，步骤(1)中基于modbus通信协议实现对污水处理系统的进水水质数据的实时读取；步骤(4)中专家操作指令基于modbus通信协议输送到污水处理系统中的被控设备中调整污水处理系统的运行参数。
14.本发明与现有技术相比具有以下有益效果：基于水质预测模块得到预测出水水质，将进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差输入到智能控制模块，智能控制模块模拟专家操作，将专家对该情况的专家操作指令作为输出，提前修正污水处理系统中相关设备的运行参数，使预测水质数据与期望水质数据相符合或者在合理范围之内。
附图说明：
15.图1为实施例1中所述的基于注意力机制和行为克隆模型的污水处理预测控制方法原理结构示意图。
16.图2为实施例1中gru神经网络单元结构示意图。
具体实施方式：
17.下面通过具体实施例并结合附图对本发明作进一步说明。
18.实施例1
19.如图1所示，本实施例涉及的基于注意力机制和行为克隆模型的污水处理预测控制方法，具体包括以下步骤：
20.(1)实时获取污水处理系统中水质采集设备采集的进水水质数据，如cod、ph、温度、溶解氧等。
21.具体地，步骤(1)中基于modbus通信协议实现对污水处理系统的进水水质数据的实时读取。本实施例中modbus通信协议采用modbus-rtu模式，通过modbus协议将污水处理系统现场获取的数据进行采集汇总，并全部存储于云服务中。modbus协议允许多个设备在同一个网络上进行通信，将采集到的数据进行传输，实现实时、精确地采集数据，进而实现污水处理过程的预测控制。
22.(2)将进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差输入到智能控制模块，智能控制模块模拟专家操作，将专家对该情况的专家操作指令作为输出，提前修正污水处理系统中相关设备的运行参数；所述专家操作指令为专家基于输入对污水处理系统做的一系列的操作，包括但不限于温度调节、进水量的调节、设定风机和水泵的运行参数(e.g.,电压、电流、功率、转速)等；当刚执行上述方法时，步骤(2)中的输入只包括进水水质数据。
23.具体地，智能控制模块基于克隆模型构建，首先将已有的一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，训练构建克隆模型，然后将另一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，验证和测试克隆模型，最后得到构建好的克隆模型。
24.克隆模型是强化学习的一种。强化学习(reinforcement learning，rl)是一种基于环境的奖励和惩罚来指导agent的行为的机器学习方法。在传统的rl任务中，rl任务中的多步决策的搜索空间相当巨大，传统方法的执行效率以及模型的实际表现是一个严峻的问题，并且多数的情况，我们都没办法真的从环境里面得到非常明确的奖赏或者惩罚。通过直接模仿人类专家的决策范例可以显著缓解这一困难，比如behavior cloning(bc)。在bc中，我们参考的是专家知识，将所有轨迹的所有(state,action)抽取出来，把状态作为特征，动作作为标记，构成数据集d：
25.d＝{(s0，a0)，(s1，a1)，(s2，a2)，...}
26.其中，d为整个数据集，si和ai(i＝1,2,
…
,n)为数据集d中的第i条状态-动作轨迹。
27.然后对这个新构造出的数据集d使用分类或回归算法即可学习策略模型，本方法所采用的是bp神经网络模型，模型的训练目标是使模型生成的状态-动作轨迹分布和输入的轨迹分布尽可能相匹配。由于本方法的输出操作指令为多个，因此我们采用多个神经元输出节点，每一个节点为一个操作，输出函数采用sigmoid函数：
[0028][0029]
其中，z为输出层神经元节点原始输出值，s为经过sigmooid函数变换后得到的最终输出值。
[0030]
(3)将进水水质数据和对应的专家操作指令输入到水质预测模块，水质预测模块
基于输入预测污水处理系统的出水水质变化，将预测出水水质数据作为输出；
[0031]
具体地，水质预测模块基于gru-attention模型构建，首先将已有的一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，训练构建gru-attention模型，然后另一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，验证和测试gru-attention模型，最后得到构建好的gru-attention模型。
[0032]
门控循环单元(gated recurrent unit，gru)神经网络模型是一种特殊的循环神经网络(recurrent neural network，rnn)模型，是长短期记忆(long short-term memory，lstm)神经网络的重要变体，gru模型与lstm的主要区别是，gru模型中只有两个门：分别是更新门(update gate)和重置门(reset gate)，gru将状态和输出合并，去除了细胞单元状态c，使用隐藏节点的输出h来进行信息的传递，因此，与标准的lstm模型相比，gru模型少一个状态输出，结构更加简单，如图2所示：
[0033]
gru具有较低的计算开销，对于大型数据集，gru相比较传统的rnn模型会更适合，是当前非常流行的rnn模型，在数据处理和预测方面表现相当出色。gru的具体计算逻辑如下：
[0034]zt
＝σ(wz·
[h
t-1
，x
t
])
[0035]rt
＝σ(wr·
[h
t-1
，x
t
])
[0036]h′
t
＝tanh(wh·
[r
t
*h
t-1
，x
t
])
[0037]ht
＝(1-z
t
)*h
t-1
+z
t
*h
′
t
[0038]
其中，x
t
为t时刻的输入(当前时刻的进水cod数据、所执行的操作指令参数变化)，h
t-1
为t-1时刻的隐藏输出，z
t
和r
t
分别是更新门和重置门。wr、wz、wh分别表示所对应的权重，σ表示sigmoid函数，tanh表示双曲正切激活函数。
[0039][0040]
其中，x为双曲正切激活函数输入值，tanh(x)为经过激活函数变化后得到的值，即h
′
t
。
[0041]
attention模型是目前较为流行的一种模型，可以有效解决传统encoder-decoder的“信息过长，信息丢失”的问题，从而提高神经网络处理信息的能力。该模型借鉴了人类的注意力机制。attention模型在翻译任务中取得了非常不错的成果，并已延伸到很多非自然语言处理领域的任务当中。attention模型目前比较常用的主要是soft attention以及self attention。本方法采用soft attention模型。
[0042]
在本方法的attention设计中，设定h＝[h1,h2,
…
,hn]为gru的输出，z为最后一层的输出，即我们需要的最终输出，z0为初始随机化矩阵，经过softmax函数得到si，(公式1，2)，并通过公式3得到c，根据c和z0最终得到z，并根据z给出预测值y，即最终输出的预测出水cod数据。
[0043][0044]
[0045][0046]
其中，hi为gru神经网络i时刻的输出，vi是hi与z0结合并经过全连接神经网络所得出的值，作为softmax函数的输入，s＝[s1,s2,
…
,sn]为h的权重分布，c为加权的attention值。
[0047]
在本方法的性能评价中，智能控制模块采用多目标均方根误差(multi-objective root mean squared error,mormse)：
[0048][0049]
水质预测模块采用均方根误差(root mean squared error,rmse)，公式如下：
[0050][0051]
其中，yi为样本真实值，yi为样本预测值，n为样本总数，m为所执行操作个数，所设计方法的性能随着mormse以及rmse的减少而增大。
[0052]
(4)将专家操作指令输送到污水处理系统中的被控设备中调整污水处理系统的运行参数。所述被控设备包括但不限于污水处理系统中的电池阀、温度控制单元、曝气单元、风机等设备，所述运行参数包括但不限于运行温度、进水量、曝气量、水泵功率、风机功率等。
[0053]
具体地，步骤(4)中专家操作指令基于modbus通信协议输送到污水处理系统中的被控设备中调整污水处理系统的运行参数。本实施例中modbus通信协议采用modbus-rtu模式，通过modbus协议将专家操作指令下达到被控设备，实现对运行参数的修正。modbus协议允许多个设备在同一个网络上进行通信，将采集到的数据进行传输，实现实时、精确地采集数据，进而实现污水处理过程的预测控制。
[0054]
(5)重复步骤(1)-(4)，直至预测出水水质数据和期望出水水质之间的偏差小于设定的阈值，或直至达到设定的循环周期，停止运行。
[0055]
本实施例涉及的基于注意力机制和行为克隆模型的污水处理预测控制方法，不断地根据状态改进策略，动态地调整设备运行参数，从而获得最优策略以实现特定目标，即使预测水质数据与期望水质数据相符合或者在合理范围之内。

技术特征：
1.一种基于注意力机制和行为克隆模型的污水处理预测控制方法，其特征在于，具体包括以下步骤：(1)实时获取污水处理系统中水质采集设备采集的进水水质数据；(2)将进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差输入到智能控制模块，智能控制模块模拟专家操作，将专家对该情况的专家操作指令作为输出，提前修正污水处理系统中相关设备的运行参数；所述专家操作指令为专家基于输入对污水处理系统做的一系列的操作，当刚执行上述方法时，步骤(2)中的输入只包括进水水质数据；(3)将进水水质数据和对应的专家操作指令输入到水质预测模块，水质预测模块基于输入预测污水处理系统的出水水质变化，将预测出水水质数据作为输出；(4)将专家操作指令输送到污水处理系统中的被控设备中调整污水处理系统的运行参数；(5)重复步骤(1)-(4)，直至预测出水水质数据和期望出水水质之间的偏差小于设定的阈值，或直至达到设定的循环周期，停止运行。2.根据权利要求1所述的基于注意力机制和行为克隆模型的污水处理预测控制方法，其特征在于，智能控制模块基于克隆模型构建，首先将已有的一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，训练构建克隆模型，然后将另一部分进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差作为输入，上述输入对应的专家操作指令作为输出，验证和测试克隆模型，最后得到构建好的克隆模型。3.根据权利要求2所述的基于注意力机制和行为克隆模型的污水处理预测控制方法，其特征在于，水质预测模块基于gru-attention模型构建，首先将已有的一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，训练构建gru-attention模型，然后另一部分进水水质数据和对应的专家操作指令作为输入，上述输入对应的预测出水水质数据作为输出，验证和测试gru-attention模型，最后得到构建好的gru-attention模型。4.根据权利要求3所述的基于注意力机制和行为克隆模型的污水处理预测控制方法，其特征在于，步骤(1)中基于modbus通信协议实现对污水处理系统的进水水质数据的实时读取；步骤(4)中专家操作指令基于modbus通信协议输送到污水处理系统中的被控设备中调整污水处理系统的运行参数。

技术总结
本发明公开了一种基于注意力机制和行为克隆模型的污水处理预测控制方法，基于水质预测模块得到预测出水水质，将进水水质数据、上一次预测出水水质数据以及上一次预测出水水质数据和期望出水水质之间的偏差输入到智能控制模块，智能控制模块模拟专家操作，将专家对该情况的专家操作指令作为输出，提前修正污水处理系统中相关设备的运行参数，使预测水质数据与期望水质数据相符合或者在合理范围之内。内。内。


技术研发人员：苗盛 徐久哲 周长亮
受保护的技术使用者：青岛理工大学
技术研发日：2022.02.08
技术公布日：2022/5/25