一种目标检测的方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理等场景。


背景技术：

2.早期的目标计数是基于目标检测算法，即根据可见目标对象的检测结果进行计数得到目标对象的数量。
3.后来，随着人工智能技术的不断发展和进步，出现了使用神经网络模型进行端到端预测的目标技术方法，但现有的神经网络模型也大多基于可见目标对象的分布密度来估算目标对象的数量。
4.但上述方法在目标对象相互堆叠和遮挡的场景下，都难以准确预测被遮挡目标对象的数量，因此会产生较大的误差。


技术实现要素：

5.本公开提供了一种目标检测的方法、装置、设备以及存储介质。
6.根据本公开的一方面，提供了一种目标检测的方法，包括：对输入图像进行目标检测，得到可见目标对象；根据输入图像和可见目标对象，进行空间位置关系分析，得到可见目标对象之间的空间位置关系；根据可见目标对象和可见目标对象之间的空间位置关系，构建可见目标对象的空间图结构；根据空间图结构，确定目标对象的数量，目标对象包括可见目标对象和被遮挡目标对象。
7.根据本公开的另一方面，提供了一种目标检测的装置，包括：可见目标对象获取模块，用于对输入图像进行目标检测，得到可见目标对象；空间位置关系确定模块，用于根据输入图像和可见目标对象，进行空间位置关系分析，得到可见目标对象之间的空间位置关系；空间图结构的构建模块，用于根据可见目标对象和可见目标对象之间的空间位置关系，构建目标对象的空间图结构；目标计数模块，用于根据空间图结构，确定目标对象的数量，目标对象包括可见目标对象和被遮挡目标对象。
8.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项目标检测的方法。
9.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一项目标检测的方法。
10.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项目标检测的方法。
11.本公开提供了一种目标检测的方法、装置、设备及存储介质。该方法通过目标检测获取可见目标对象；对获取到的可见目标对象进行空间位置关系分析，得到可见目标对象之间的空间位置关系；根据可见目标对象及可见目标对象之间的空间位置关系，构建空间
图结构；基于空间图结构对目标对象进行计数。由于，根据空间图结构不仅可以统计可见目标对象，还可以根据空间图结构估算到被遮挡目标对象的数目，使得目标对象的计数更准确，特别适用于目标对象堆叠摆放或被遮挡的应用场景。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1是本公开第一实施例实现目标检测的方法的流程示意图；
15.图2是具有堆叠的目标对象的输入图像的示意图；
16.图3是本公开第二实施例使用目标检测模型实现目标检测的方法的流程示意图；
17.图4是本公开第二实施例训练目标检测模型的流程示意图；
18.图5是本公开第一实施例目标检测的装置的机构示意图；
19.图6是用来实现本公开实施例的目标检测的方法的电子设备的框图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.图1示出了本公开一实施例实现目标检测的方法的主要流程。如图1所示，该方法包括：操作s110，对输入图像进行目标检测，得到可见目标对象；操作s120，根据输入图像和可见目标对象，进行空间位置关系分析，得到可见目标对象之间的空间位置关系；操作s130，根据可见目标对象和可见目标对象之间的空间位置关系，构建可见目标对象的空间图结构；操作s140，根据空间图结构，确定目标对象的数量，目标对象包括可见目标对象和被遮挡目标对象。
22.在操作s110中，输入图像是待分析以得到目标计数的二维图像，通常表示为由图像中每个像素点或像素块的特征值所组成的向量矩阵。
23.输入图像可以是拍摄或绘图目标对象得到的原始图像；也可以是经过去噪和增强处理后的预加工图像；还可以是经过编码器转换后的图像特征图。
24.由于输入图像通常是从某一角度对目标对象进行拍摄或绘图得到的二维图像，因此，当实际场景中存在多个目标对象，且目标对象之间存在堆叠或遮挡时，输入图像可能仅会包含从这一角度所能见到的目标对象，即可见目标对象；而由于角度原因，被可见目标对象覆盖或遮挡的另一些目标对象，即被遮挡目标对象，则不会出现在输入图像内。
25.以图2所示的输入图像为例，其中的盒子为指定的目标对象。该输入图像包含有目标对象堆叠所形成的堆20，其中，位于堆前方和上方的盒子201、盒子202、盒子203、盒子204、盒子205和盒子206均为可见目标对象；而位于盒子205后方的盒子，则为被遮挡目标对象。
26.目标检测指对输入图像进行图像分割，从中识别出指定的目标对象并输出目标对
象，其中，输出的目标对象通常为输入图像包含目标对象的一个矩形区域。
27.由于输入图像中仅包含可见目标对象，因此对输入图像进行目标检测所得到的目标对象通常也仅包含可见目标对象。
28.在本公开实施例中并不限定目标检测的方法，实施者可根据实施条件采取任意适用的方法。例如，传统的目标检测算法cascade hog/dpm haar/svm以及基于上述方法的诸多改进和优化；基于候选区域/窗和深度学习的r-cnn、spp-net、r-fcn等；基于深度学习的回归方法yolo/ssd/densebox等；以及结合rnn算法的rrc detection和结合dpm的deformable cnn等等。
29.在操作s120中，空间位置关系为在三维空间中，第一目标对象与第二目标对象的位置关系，例如，上下、左右、前后、不相邻。进一步地，空间位置关系还可以细化为在三维空间中，第一目标对象相对于第二目标对象的位置，例如，上、下、左、右、前、后。
30.以图2所示的输入图像为例，盒子203与其它盒子的空间位置关系可以描述为：
31.盒子203在盒子205的上方；
32.盒子203在盒子204的左边；
33.盒子203在盒子202的前方；
34.盒子203与盒子201不相邻；
35.盒子203与盒子206不相邻。
36.在根据输入图像和可见目标对象进行空间位置关系分析时，可根据透视原理、色彩和像素深度等图像分析手段来获取；也可以使用现有工具(比如ros，opencv)将目标对象中某点的二维坐标转换为在空间中的三维坐标，然后再比较目标对象中该点的三维坐标即可；还可以使用经过使用大量图片训练的机器学习模型来获取。
37.在操作s130中，空间图结构是一种三维空间图数据结构。在空间图结构中的每个顶点的坐标是三维的。
38.在根据可见目标对象和可见目标对象之间的空间位置关系，构建可见目标对象的空间图结构时，可以：首先以某一目标对象为参照物，根据其与其它目标对象之间的空间位置关系构建出该目标对象和与其相邻的目标对象的空间图结构，之后再以与其相邻的目标对象中的某一目标对象为参照物继续扩展直至所有目标对象都被加入到空间图结构中。
39.在根据可见目标对象和可见目标对象之间的空间位置关系，构建可见目标对象的空间图结构时，还可以使用边特征图形神经网络来构建，通过学习或指定边特征图神经网的顶点和边，使用现有的空间图结构构建方法就可以将特征图神经网络转换为空间图结构。
40.在获得空间图结构之后，就可以很好地复原目标对象在现实中的空间位置，从而可以利用空间位置关系推演出被遮挡的目标对象。
41.以图2所示的输入图像为例，通过“盒子203在盒子205的上方；”和“盒子203在盒子202的前方”这两个空间位置关系，就可以确定“盒子205后方和盒子202的下方还有一个盒子”。
42.如此，在操作s140中，就可以根据所获取的空间图结构，估算出被遮挡目标对象的个数，再结合可见目标对象就可以得到该空间图结构中一共有多少个目标对象了。
43.此外，本公开目标检测的方法，主要利用目标对象的位置信息和图像特征来构建
空间图结构，并基于空间图结构进行目标计数，与目标对象的类别无关，因此具有很好的泛化性。
44.需要说明的是，图1所示的实施例仅为本公开目标检测的方法的基本公开实施例，实施者还可以在此基础上进一步细化和扩展，即可得到更多实施例。
45.图3就示出了在图1所示的实施例的基础上，进一步细化和扩展的本公开另一实施例。如图3所示，本公开实施例是通过一个端到端目标检测模型30来实现本公开目标检测的方法的。
46.其中，目标检测模型30包括：目标检测网络301、空间位置关系分析网络302和边特征图形神经网络303。
47.输入图像输入到目标检测模型30后，首先，由目标检测网络301对输入图像进行目标检测，得到可见目标对象的位置信息和输入图像的视觉特征；之后，将可见目标对象的位置信息和输入图像的视觉特征传递到空间位置关系分析网络302，由空间位置关系分析网络302进行空间位置分析，得到可见目标对象之间的空间位置关系分类、空间距离和可见目标对象的上下文信息；然后，将可见目标对象之间的空间位置关系分类、空间距离和可见目标对象的上下文信息输入到边特征图形神经网络303，对边特征神经网络303进行设置以生成相应的空间网络结构，并根据该空间网络结构进行回归和预测得到目标对象的数量(包括可见目标对象和遮挡目标对象)，输出目标对象的数量。
48.其中，目标检测网络301是基于常见的目标检测网络，比如，基于卷积神经网络(cnn)的目标检测网络改进后得到的，该目标检测网络不仅会输出可见目标对象的位置信息，例如，可见目标对象所在检测框的中心点的坐标(c_x,c_y)，还会输出输入图像的视觉特征。
49.其中，通过目标检测网络所获得的可见目标对象的位置信息，可使得对可见目标对象之间的空间位置关系分析，还有助于对最终计数结果进行分析和检验。
50.通过目标检测网络所获得的输入图像的视觉特征，例如，颜色、纹理和深度等，会对后续处理，特别是分析可见目标对象之间的空间位置关系的过程，非常有帮助，可使得其分析结果更为准确，并为进一步提高目标检测模型30准确度，提供可重要的数据基础。
51.在本公开实施例中，输入图像的视觉特征具体为目标检测网络30的末层图像特征。其中，如果目标检测网络30仅包含主干网络，则末层图像特征图为主干网络最后一层卷积层的特征图；如果目标检测网络30还包含了融合了多层特征的网络结构(比如，特征金字塔)，则末层图像特征图为融合了多层特征的网络结构的最后一层特征图。末层图像特征图中的特征往往是经过处理和融合的，更精简、更具代表性。使用末层图像特征图中的特征，可在不损失重要信息的情况下简化计算。
52.此外，当将位置信息与目标检测网络30末层图像特征图相结合，获取到可见目标对象所在检测框的中心点的坐标(c_x,c_y)在末层图像特征图中对应的向量，即中心点向量。
53.在本公开实施例中，就是将向量为中心点向量与末层图像特征图作为目标检测网络30。其中，中心点向量中不仅包含位置信息，还包含有可见目标对象的视觉特征，这为后续进行空间位置关系分析和构建空间图结构都提供了更丰富的信息，也可以使得目标检测模型30能够适应更多复杂的目标对象和应用场景，进一步提高了目标检测模型30的泛化
性。
54.如果为中心点向量与末层图像特征图的维度较大，则还可以进一步进行降维处理，以提高处理速度和降低后续计算的复杂度。
55.空间位置关系分析网络302是一个预先训练好的空间位置关系分类网络。
56.在训练空间位置关系分类网络时，可使用大量由目标对象堆叠的输入图像作为训练图像，对输入图像中的每个目标对象都进行标注，例如，第n个堆(目标对象堆叠形成的堆或簇)、第d排、第r层高、第c列等，以表征其空间位置。而根据这些标注信息，可以确定目标对象之间的空间位置关系。之后，根据标注信息与预测结果的比对，对空间位置关系分类网络的模型参数进行持续调整和优化，直至收敛。
57.使用预先训练好的空间位置关系分类网络，可使得在对目标检测模型30进行训练时，无需再对目标对象进行空间位置关系的标注，而仅进行目标检测所需的标注即可。如此，可大大降低目标检测模型30的训练难度。
58.此外，使用预先训练好的空间位置关系分类网络，还可使得目标检测模型30在训练过程中，更专注于边特征神经网络303进行目标计数的机器学习过程，从而使得整个模型收敛得更快。
59.在实际应用时，空间位置关系分析网络302会对从目标检测网络301输出的可见目标对象的位置信息和输入图像的视觉特征中，获取每两个可见目标对象的中心点向量和输入图像的视觉特征，分析得到每两个可见目标对象的空间位置关系。
60.具体包括：根据每两个可见目标对象的中心点向量和输入图像的视觉特征，得到包含相应两个可见目标对象的最小矩形区域图像(特征图)；将最小矩形区域图像输入到空间位置关系分析网络302中，进行空间位置关系分析，得到相应两个可见目标对象之间的空间位置关系。
61.其中，两个可见目标对象之间的空间位置关系，对应到空间位置关系分析网络302的模型输出，包括空间位置关系分类和包含相应两个可见目标对象之间的空间距离和上下文信息的空间位置关系向量。
62.其中，空间位置关系和相应两个可见目标对象之间的空间距离可以为后续构建空间图结构提供更为准确的依据，更真实地还原可见目标对象之间的摆放位置。而上下文信息，则可以在难以判断两个可见目标对象之间的位置关系时，提供补充信息，以进一步确定或修正两个可见目标对象之间的空间位置关系。
63.在本公开实施例中，空间位置关系分类包括“上”、“下”、“左”、“右”、“前”、“后”或“不相邻”等，第一可见目标对象相对于第二可见目标对象的空间位置关系。这种相对的空间位置关系是有向的，即第一可见目标对象相对于第二可见目标对象的空间位置关系，与第二可见目标对象相对于第一可见目标对象的空间位置关系是不同的。
64.采用这种空间位置关系分类，比起“上下”等无向(比如哪个目标对象在哪个目标对象的上面)的空间位置关系分类来说，可以通过最少的数据量(单向关系)来获取更清晰更准确的空间位置关系。
65.在本公开实施例中，两个可见目标对象之间的空间距离使用的是两个可见目标对象所在的检测框中心点i和j之间的欧几里德距离。
66.在本公开实施例中，上下文信息取的是空间位置关系分析网络302倒数第二层全
连接层的输出向量(c维)。空间位置关系分析网络302倒数第二层全连接层的输出向量会包含更为精简但非常重要的之前网络所提供的信息，例如可见目标对象的中心点向量、输入图像的视觉特征以及为确定空间位置关系提供依据的其它信息。
67.进一步地，在本公开实施例中，空间位置关系分析网络302将两个可见目标对象所在的检测框中心点i和j之间的欧几里德距离与空间位置关系分析网络302倒数第二层全连接层的输出向量合并，得到多维(c 2维)向量eij，并将eij作为空间位置关系分析网络30的输出。
68.而该多维(c 2维)向量eij正好可以用作边特征图形神经网络303的边特征向量。
69.边特征图形神经网络303是基于egnn构建的图形神经网络，特别适合用于构建空间图结构。比起基于局部近邻距离度量的方法，基于egnn构建的图形神经网络可以处理更为复杂的空间关系，泛化性更好。
70.在本公开实施例中，通过将可见目标对象设置为边特征图形神经网络的顶点；将可见目标对象之间的空间位置关系设置为边特征图形神经网络的边；之后，就可以使用现有的空间图结构的构建方法，根据边特征图形神经网络来构建可见目标对象的空间图结构了。
71.具体地，边特征图形神经网络303在获取了空间位置关系分析网络302输出的空间位置关系分类、空间距离和可见目标对象的上下文信息后，将可见目标对象的中心点向量对顶点特征进行初始化；根据空间位置关系分析网络302输出的多维空间位置关系向量eij对边特征进行初始化；然后进行图神经网络的前向运算，使整个图神经网络的顶点特征和边特征都得到更新，之后再对整张图(空间图结构)进行特征向量的计算，并经过简单的全连接层回归得到最终的计数结果。
72.需要说明的是，图3所示的处理过程是本公开实施例目标检测模型30的内部处理逻辑。在实际应用时，目标检测模型30是作为一个端到端的机器学习模型使用的，即只需将输入图像输入到目标检测模型30，即可通过目标检测模型30的输出，直接获取包括被遮挡目标对象在内的目标对象的数量。
73.因此，为了使目标检测模型30在应用中所输出的计数结果更为准确，通常需要在应用之前，使用大量的训练图像对目标检测模型30进行训练。训练目标检测模型30的主要过程，如图4所示，主要包括：操作s410，将训练图像输入到目标检测模型，得到目标对象的预测数量，训练图像标注有可见目标对象和目标对象的实际数量；操作s420，根据目标对象的预测数量和标注的目标对象的实际数量，计算目标检测模型的损失函数值；操作s430，根据损失函数值，调整目标检测模型的模型参数。
74.从操作s410中，可以看出训练图像所需要进行的标注，与进行目标检测所需要进行的标注相同。因此，可以利用目标检测网络所使用的训练图像，只需额外标注目标的数量即可。如此，可大大减少标准量。
75.而在操作s420和操作s430中，则可以使用任何常用的边特征图像网络所使用的损失函数和梯度更新方法即可。
76.由于本公开实施例中，空间位置关系分析网络302是预先训练好的、因此在训练目标检测模型30中，仅需要训练目标检测网络301和边特征图形神经网络，其中，目标检测网络301的标注与普通的目标检测网络的标注基本相同，无需引入额外的标注成本；而使用边
特征图形神经网络构建空间图结构的部分也是一个通用模块，无需过多训练。因此，目标检测模型30的训练成本较低，非常易于落地。
77.由于图3和图4所示的实施例还可以将实际应用过程中的数据进行加工得到新的训练图像，对目标检测模型30进行持续优化。因此，随着时间的推移，目标检测模型30的精度会越来越高，应用效果也会越来越好。
78.进一步地，本公开实施例还提供一种目标检测的装置，如图5所示，该装置50，包括：可见目标对象获取模块501，用于对输入图像进行目标检测，得到可见目标对象；空间位置关系确定模块502，用于根据输入图像和可见目标对象，进行空间位置关系分析，得到可见目标对象之间的空间位置关系；空间图结构的构建模块503，用于根据可见目标对象和可见目标对象之间的空间位置关系，构建目标对象的空间图结构；目标计数模块504，用于根据空间图结构，确定目标对象的数量，目标对象包括可见目标对象和被遮挡目标对象。
79.根据本公开另一实施例，其中，可见目标对象获取模块501还用于将输入图像输入到目标检测网络，得到可见目标对象，可见目标对象包括位置信息。
80.根据本公开另一实施例，其中，空间位置关系确定模块502包括：最小矩形区域图像获取单元，用于根据每两个可见目标对象和输入图像，得到包含相应两个可见目标对象的最小矩形区域图像；空间位置关系确定单元，用于将最小矩形区域图像、相应两个可见目标对象输入到空间位置关系分析网络进行空间位置关系分析，得到相应两个可见目标对象之间的空间位置关系，空间位置关系包括空间位置关系分类和空间位置关系向量，空间位置关系向量包括相应两个可见目标对象之间的空间距离和相应两个可见目标对象的上下文信息。
81.根据本公开另一实施例，该装置50，还包括：空间位置关系分析网络训练模块，用于对空间位置关系分析网络进行训练。
82.根据本公开另一实施例，其中，空间图结构的构建模块503包括：顶点设置单元，用于将可见目标对象设置为边特征图形神经网络的顶点；边设置单元，用于将可见目标对象之间的空间位置关系设置为边特征图形神经网络的边；空间图结构的构建单元，用于根据边特征图形神经网络，构建可见目标对象的空间图结构。
83.根据本公开另一实施例，该装置50，还包括：模型训练模块，用于将训练图像输入到目标检测模型，得到目标对象的预测数量，训练图像标注有可见目标对象和目标对象的实际数量；损失函数计算模块，用于根据目标对象的预测数量和标注的目标对象的实际数量，计算目标检测模型的损失函数值；模型参数优化模块，用于根据损失函数值，调整目标检测模型的模型参数。
84.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
85.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
86.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算
装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
87.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
88.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
89.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开目标检测的方法。例如，在一些实施例中，本公开目标检测的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的目标检测的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开目标检测的方法。
90.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
91.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
92.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
93.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
94.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
95.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
96.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
97.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。