本发明属于图像编码，具体涉及一种基于注意力机制图像预编码的方法。
背景技术：
1、分割算法在导引装置、自动驾驶、工业质量检测和医疗影像分析等领域得到了越来越多的应用，而这些场景都需要算法能够实时响应。在算力快速增长的当下，越来越多的端侧设备能够直接在设备侧实现分割算法的推理，端侧设备计算能够即时处理数据，无需等待云端响应，不仅从而显著降低了数据传输和处理的时间延迟，而且在网络条件不佳或中断的情况下，端侧设备计算仍然能够保持一定的处理能力，确保分割算法推理的连续性和稳定性。
2、当端侧设备设备计算完成后，还需要将原图像发送给数据中心，以便于后续对数据进行检索、分析和备份，以及基于数据对算法进行更新。而对于已经执行完分割算法的图像，已经知道了图像中需要特别关注的部分，即图像中已经分割的区域。然而，当前现有的图像编码，或者是采用无损压缩的编码方式保留图像整体的质量与细节，但是该方法会增加编码的硬件功耗和时间，且无法去除图像中非roi区域的冗余信息；或者是采用有损压缩的图像编码方式减小图像整体的质量与细节，但是该方法无法保留图像roi区域的细节和质量。此外，现有的有损编码或者无损编码都是固定的，无法在保留细节和去除冗余之间进行灵活地调整，难以平衡压缩比和质量。
技术实现思路
1、为了解决上述背景技术中提到的问题，本发明提出了一种基于注意力机制图像预编码的方法。
2、一种基于注意力机制图像预编码的方法，步骤如下：
3、步骤s1，由端侧设备加载原图像，并利用训练好的图像分割器对原图像进行实例分割；
4、具体地，图像分割器是一个同时输出检测框和掩膜的人工神经网络，图像分割器的计算公式为：
5、；
6、；
7、；
8、式中，为增加检测框输出和掩膜输出的人工神经网络，为原图像，为原图像中像素点坐标，为提取的特征，为全连接层，为二分类函数，为人工神经网络的检测框输出，为人工神经网络输出的掩膜，为掩膜中像素点坐标。
9、当端侧设备完成实例分割后，还需要将原图像发送给数据中心进行，以便于后续对数据进行检索、分析和备份，以及基于数据对算法进行更新。一般地，传统的做法是直接将图像进行编码，然后将编码后的数据进行发送。但是，由于已经对图像执行了实例分割，即已经知道了图像中的roi区域，若依然对图像整体执行编码，不仅会增加编码的硬件功耗和时间，还会增加编码后数据传输的带宽开销，且影响编码后数据的传输速率。基于此。本发明提出在端侧已经完成实例分割的基础上，对图像执行注意力机制运算，从而在保证图像中roi区域质量的同时，降低图像中非roi区域的中质量，从而减小图像编码时的硬件功耗和时间，并降低网络编码后数据传输的带宽开销。
10、步骤s2，获取图像分割器的输出结果，并由输出结果得到掩膜图像，具体步骤如下：
11、首先，获取原始图像的高度和宽度；然后，将掩膜的尺寸调整到原图的高度和宽度；最后，将输出的掩膜合并成一个单一的掩膜图像。
12、此步骤是为了从图像分割器的输出结果中，获取原图像中的roi区域和非roi区域，并将掩膜图像上采样至原图像的大小，并将输出掩膜中的多个roi区域合并到原图像一张图像中。
13、步骤s3，根据得到的掩膜图像，配置注意力机制的权重，具体步骤如下：
14、步骤s301，配置注意力机制的权重系数，具体约束公式为：
15、；
16、式中，表示roi区域的权重系数，表示非roi区域的权重系数；
17、在不同的应用场景中，对已获取图像roi区域的原图像有不同的备份、使用及显示要求，通过设置roi区域权重系数和非roi区域权重系数的大小，不仅可以灵活地设置原图像roi区域及非roi区域的量化压缩程度，还可以实现图像整体质量和图像文件大小之间的按需配置，从而可以满足不同的使用场景。
18、步骤s302，根据权重系数构建权重系数矩阵，权重系数矩阵的计算公式为：
19、；
20、式中，为合并后的掩膜图像，为合并后的掩膜图像中像素点坐标。
21、步骤s4，根据配置的注意力机制权重，对原图像执行注意力机制运算，具体地，注意力机制运算包括颜色空间加权计算和频率分量加权计算，其中，颜色空间加权计算的公式为：
22、；
23、式中，为执行颜色空间加权计算后得到的图像，为颜色空间加权计算后所得图像中的坐标，为按像素相乘操作，为向下取整操作，为原图像，为合并后的掩膜图像，为合并后的掩膜图像中像素点坐标。
24、频率分量加权计算的公式为：
25、；
26、；
27、式中，为量化后的离散余弦变换系数矩阵，为量化后离散余弦变换系数矩阵中的值，n为离散余弦变换的划分块数，为原图像，为余弦函数，表示圆周率，为归一化系数，和分别为归一化系数中横坐标和纵坐标各自对应的系数值，为向下取整操作，为合并后的掩膜图像，为合并后的掩膜图像中像素点坐标，为离散余弦变换系数矩阵。
28、针对图像执行实例分割后还需要进行图像传输的场景，当前现有的图像编码，或者是采用无损压缩的编码方式保留图像整体的质量与细节；或者是采用有损压缩的图像编码方式减小图像整体的质量与细节，无法兼顾细节保留和冗余去除。本发明提出先对图像执行注意力机制的运算，即通过对roi区域赋予更多权重，对非roi区域赋予较小权重，然后再对图像进行无损编码，不仅能够保证roi区域图像质量和细节，还能够去除图像非roi区域的冗余信息，此外，还可以通过灵活配置权重系数，在细节保留和冗余去除之间进行灵活地调整，从而平衡压缩比和质量。
29、步骤s5，对注意力机制运算后得到的结果进行编码，具体包括步骤：
30、首先，统计量化后离散余弦变换系数矩阵中每个系数的出现频率；
31、然后，根据统计的频率构造哈夫曼树；接着，由构造的哈夫曼树来生成哈夫曼码字；最后，用生成的哈夫曼码字替换执行颜色空间加权计算后得到图像中的像素点。
32、在得到注意力机制运算的结果后，通过对注意力机制运算后得到的结果进行编码，能够利用注意力机制运算的结果，对图像中的roi区域执行无损编码，对图像中非roi区域执行颜色空间的量化压缩和频率分量的量化压缩，从而在实现图像中非roi区域被量化压缩的基础上，保证图像中roi区域的质量。
33、步骤s6，由端侧设备将编码后的数据进行传输。
34、本发明提出了一种基于注意力机制图像预编码的方法，与现有的技术相比，具有以下有益效果：
35、本发明提出针对图像执行实例分割后还需要进行图像传输的场景，先基于图像分割得到的结果对图像执行注意力机制运算，然后再对图像进行编码，不仅能够保证roi区域图像质量和细节，还能够去除图像非roi区域的冗余信息，并且，本发明还可以灵活地配置权重系数，从而能够在细节保留和冗余去除之间进行灵活地调整，从而平衡压缩比和质量。
1.一种基于注意力机制图像预编码的方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于注意力机制图像预编码的方法，其特征在于，步骤s2包括：
3.根据权利要求1所述的基于注意力机制图像预编码的方法，其特征在于，步骤s3包括步骤：
4.根据权利要求1所述的基于注意力机制图像预编码的方法，其特征在于，步骤s4中所述的注意力机制运算包括颜色空间加权计算，所述颜色空间加权计算的公式为：
5.根据权利要求1所述的基于注意力机制图像预编码的方法，其特征在于，步骤s4中所述的注意力机制运算还包括频率分量加权计算，所述频率分量加权计算的公式为：
6.根据权利要求1所述的基于注意力机制图像预编码的方法，其特征在于，步骤s5包括步骤：
