知识图谱本体构建方法、装置、设备及可读存储介质与流程

1.本公开涉及人工智能领域，尤其涉及一种知识图谱本体构建方法、装置、设备及可读存储介质。


背景技术：

2.随着人工智能技术的蓬勃发展和应用，知识图谱作为新一代人工智能由感知智能跨向认知智能的基础推力，引起了学术界和产业界的广泛关注。
3.与传统知识图谱不同的是，多模态知识图谱将语言、视觉和听觉等多种模态的数据作为知识，充分融合多种模态下的实体及其语义关系，并按照一定的结构存储生成对应的知识图谱，数据来源不仅仅是文本，也可以是图片、视频和音频等视觉或听觉形式的数据。
4.但是，现有的多模态知识图谱构建方法，未考虑多模态数据之间的联系，忽略了对多模态数据的顶层管理与融合，导致构建的图谱文本类别与图像类别之间的关联性不强、层次不清晰。


技术实现要素：

5.为了解决上述技术问题，本公开提供了一种知识图谱本体构建方法、装置、设备及可读存储介质，以实现多模态知识本体的层次化构建，进一步支撑和指导多模态实例知识图谱的构建。
6.第一方面，本公开实施例提供一种知识图谱本体构建方法，包括：基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，所述本体用于描述知识的框架信息；基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构；其中，所述本体概念词用于描述知识实体所属类别的信息；基于所述图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构；基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。
7.第二方面，本公开实施例提供一种知识图谱本体构建装置，包括：获取模块，用于基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，所述本体用于描述知识的框架信息；第一确定模块，用于基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构；其中，所述本体概念词用于描述知识实体所属类别的信息；第二确定模块，用于基于所述图像领域本体候选集中图像领域本体的图像语义标
签，确定图像领域本体的层次结构；第三确定模块，用于基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。
8.第三方面，本公开实施例提供一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
9.第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
10.第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的知识图谱本体构建方法。
11.本公开实施例提供的知识图谱本体构建方法、装置、设备及可读存储介质，通过基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，本体用于描述知识的框架信息，基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构，其中，本体概念词用于描述知识实体所属类别的信息，基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构。进而基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。由于确定了文本领域本体的层次结构以及图像领域本体的层次结构，实现了对文本和图像等多模态数据的知识本体分类别、分层次的构建。
附图说明
12.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
13.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本公开实施例提供的知识图谱本体构建方法流程图；图2为本公开实施例提供的多模态知识本体的构建示意图；图3为本公开另一实施例提供的知识图谱本体构建方法流程图；图4为本公开实施例提供的知识图谱本体构建装置的结构示意图；图5为本公开实施例提供的电子设备的结构示意图。
具体实施方式
15.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案
进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
16.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
17.针对多模态知识图谱构建过程中，多模态数据难以融合，不能统一组织、管理的问题，本公开实施例提供了一种知识图谱本体构建方法，下面结合具体的实施例对该方法进行介绍。
18.知识图谱是以结构化的语义知识来描述客观世界中的概念及其相互关系。它是对人类思维的抽象，通过自然语言理解、检测识别等机器学习技术对内容进行获取与初步认知，实现对事物间关系属性的联结、转换，进而形成一条条知识链接成网，打通人类思维与机器路径思维，一方面让计算机能够更好地存储、组织、管理和利用海量信息，另一方面通过类人脑的信息处理结构为人工智能赋予强大的认知和逻辑推理能力，实现智能分析、智能问答、人机交互等智能场景应用。
19.图1为本公开实施例提供的知识图谱本体构建方法流程图。该方法可以应用于文本领域本体与图像领域本体的映射与融合的场景，也可以应用于构建多模态知识本体的场景。可以理解的是，本公开实施例提供的知识图谱本体构建方法还可以应用在其他场景中。
20.下面对图1所示的知识图谱本体构建方法进行介绍，该方法包括的具体步骤如下：s101、基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集。
21.终端通过互联网开放数据源进行数据采集，结合一部分社会标注获取文本数据，作为文本语料库，通过对文本语料进行数据预处理，得到文本领域本体候选集，本体用于描述知识的框架信息。
22.其中，。
23.终端收集、标注特定场景识别的图像数据以及相应的图像语义标签，以此作为图像数据的基础库，通过数据收集、标注过程形成图像领域本体候选集合。其中，。
24.s102、基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构。
25.终端基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构，从而实现文本领域本体的层次化构建。其中，本体概念词用于描述知识实体所属类别的信息。
26.s103、基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构。
27.根据图像领域本体候选集中图像领域本体的图像语义标签的应用场景特征，确定图像领域本体的层次结构，从而实现图像领域本体的层次化构建。
28.s104、基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。
29.终端基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，实现文本领域本体与图像领域本体的映射、融合及合并，得到包含文本领域本体和图像领域本体的知识图谱本体。
30.本公开实施例通过基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，本体用于描述知识的框架信息，基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构，其中，本体概念词用于描述知识实体所属类别的信息，基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构。进而基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。由于确定了文本领域本体的层次结构以及图像领域本体的层次结构，实现了对文本和图像等多模态数据的知识本体分类别、分层次的构建。
31.另外，由于本公开实施例使用语义层次较为丰富的文本领域本体，作为首选领域本体，进一步指导图像等其他领域模态数据的本体构建，可以避免其他领域模态数据的本体脱离本体构建基本约束框架，为其他领域模态数据提供含有较为丰富语义的本体概念词集合，从而使得构建的多模态知识图谱本体的层次更丰富。
32.图3为本公开另一实施例提供的知识图谱本体构建方法流程图，如图3所示，该方法包括如下几个步骤：s301、基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集。
33.具体的，s301和s101的实现过程和原理一致，此处不再赘述。
34.s302、确定文本领域本体的本体概念词之间的层级关系。
35.通过机器学习算法来确定文本领域本体的本体概念词之间的层级关系，即确定文本领域本体的本体概念词之间的上下位关系层级，使之有效连接起来，构建一个较为完整、层次分明的文本领域知识本体。
36.在一些实施例中，s302可以通过s701、s702、s703来实现：s701、基于文本领域本体的文本结构信息，确定文本领域本体的本体概念词之间的第一上下位关系候选。
37.可选的，根据文本结构信息，充分利用文本中的中心词缀来挖掘本体概念词的上下位关系候选，例如：“政治人物”的后缀中心词“人物”则是该词的上位词，“政府组织”的后缀中心词“组织”则是该词的上位关系词，根据文本结构信息，通过前缀、后缀词根规律，循环遍历文本领域本体候选集中的概念词，确定文本领域本体的本体概念词之间的第一上下位关系候选subclassa。
38.其中，表示通过中心词缀来生成上下位关系候选的过程，n，v属于文本领域本体候选集，subclassa表示概念为概念的上位词。
39.s702、通过频繁项集挖掘算法确定文本领域本体的本体概念词之间的第二上下位关系候选。
40.可选的，在频繁项集挖掘算法（frequent pattern tree，fp-tree）中，预先定义置信度和支持度规则，置信度具体可表示为：置信度是对每条上下位关系统计的准确度评估阈值，取值范围为0到1之间，支持度则是表示每条上下位关系统计的可靠程度的阈值，取值为整数。支持度具体可表示为：在以上的式子中，n，v均为本体概念词，取自文本领域本体候选集合，为n是v的上位词的概率，为是的上位词的统计可靠程度，为n，v出现在同一实体上位词集合中的次数，为n出现在实体上位词集合中的次数。
41.设置置信度大于0.9，支持度大于10的概念词作为较好的上位词规则。然后引入树存储结构将本体候选集合映射形成fp树，通过两次扫描候选集合挖掘出本体概念词的频繁项集，令，以为原始的输入集合，具体的扫描操作如下所示：第一次扫描数据集以获取具有频繁项目的项目集并删除小于最小支持度的项目，假设g，h，i，j，k支持度都小于10，那么就将g，h，i，j，k等概念词从上位词频繁项集合里面删除，此时令频繁项集，并根据概念词支持度的大小，在项目集合中对概念词进行降序排序。
42.第二次扫描原始数据集，以第一次筛选留下的频繁项集合中的a，b，c，d，e，f等概念词进行排序后，作为频繁项头表。通过项头表和排序后的数据集，按照先后顺序，排序靠前的是祖先节点，靠后的是子孙节点，以此构建fp树。对于每组概念词的频繁项集，找到满足条件的条件基，递归调用树结构，删除小于最小支持度的项目。如果存在一条路径是以单路径树结构结束，那么我们就确定此为频繁项集，找到上下位关系。例如：是以单路径结束的，那就确定a为b的上位词。如果在fp树中没有找到单一路径，就继续调用树结构，直到形成单一路径。
43.以此形成本体概念词的频繁子项集，确定文本领域本体的本体概念词之间的第二
上下位关系候选subclassb。
44.s703、基于第一上下位关系候选和第二上下位关系候选，确定文本领域本体的本体概念词之间的层级关系。
45.终端基于第一上下位关系候选和第二上下位关系候选，确定文本领域本体的本体概念词之间的层级关系，其中，第一上下位关系候选和第二上下位关系候选存在交集与互补的关系。
46.s303、基于文本领域本体的本体概念词之间的层级关系，确定文本领域本体的层次结构。
47.在终端确定文本领域本体的本体概念词之间的层级关系后，进而基于文本领域本体的本体概念词之间的层级关系，确定文本领域本体的层次结构，从而实现文本领域本体的层次化构建。
48.s304、确定图像领域本体的图像语义标签之间的层级关系。
49.通过聚类算法来确定图像领域本体的图像语义标签之间的层级关系，即确定图像领域本体的图像语义标签之间的上下位关系层级，使之有效连接起来，构建一个较为完整、层次分明的图像领域知识本体。
50.在一些实施例中，s304可以通过s801、s802、s803来实现：s801、对图像领域本体的图像语义标签进行聚类处理，得到图像领域本体的图像语义标签之间的第一上下位关系候选。
51.基于图像领域本体的图像语义标签进行聚类，将无类别的语义标签数据，通过聚类对图像的语义标签进行分类，形成图像标签词的聚类簇。聚类时采用欧式距离作为标签词相似度计算准则，将相似度高的标签词分类到同一类别。
52.其中，x，y表示来自于图像标签数据中的标签概念词，xk表示x概念词在第k维的特征项，同理yk表示y概念词在第k维的特征项，经过一共p个特征维度的相似距离计算，计算出d2(x，y)为概念词x，y之间的相似度。
53.此聚类方式依据于大多数图像的文本标签具有一定的文本结构，文本结构相同的文本标签更倾向于属于同一大类，同时参照已构建的文本领域本体ont
text
中较为稳定的上下位概念词，采用欧式距离计算文本领域本体中的上下位概念词与图像标签聚类簇内标签词的相似度，以此为聚类簇添加上位词。如“文艺活动”、“体育活动”、“典礼活动”等标签能够通过聚类形成一个聚类簇,那么通过在从文本领域本体中相似概念词查找到“活动”概念词，那么即可为此簇聚类团添加上“活动”这个上级标签，以此为基础，参照已构建的文本领域本体及同义词词林，得到图像领域本体的图像语义标签之间的第一上下位关系候选subclassc。
54.其中，为图像领域本体的图像语义标签与文本领域本体的本体概念词之间的相似度计算过程。
55.s802、对图像领域本体的图像语义标签关联的图像数据进行聚类处理，基于聚类结果确定图像领域本体的图像语义标签之间的第二上下位关系候选。
56.对图像领域本体的图像语义标签关联的图像数据进行聚类处理，选取每个标签类别下一定数量的正例图像数据作为标签实例数据的聚类样本，针对每个标签类别下的图像进行聚类，同样采用欧式距离计算图像数据间的距离，将相似图像聚类到同一类别，再将同一图像聚类簇中的图像标签提取出来，与文本领域本体ont
text
中的概念词进行比较，找出该图像聚类簇中图像标签的上位词。例如标签为“松科”、“银杏科”与标签为“植物”的图像数据更倾向于聚为同类，参照已构建的文本领域本体及同义词词林，发现“植物”为“松科”的上位词，进而得到图像领域本体的图像语义标签之间的第二上下位关系候选subclassd。
57.s803、基于第一上下位关系候选与第二上下位关系候选，确定图像领域本体的图像语义标签之间的层级关系。
58.终端基于第一上下位关系候选和第二上下位关系候选，确定图像领域本体的图像语义标签之间的层级关系，其中，第一上下位关系候选和第二上下位关系候选存在交集与互补的关系。
59.s305、基于图像领域本体的图像语义标签之间的层级关系，确定图像领域本体的层次结构。
60.在终端确定图像领域本体的图像语义标签之间的层级关系后，进而基于图像领域本体的图像语义标签之间的层级关系，确定图像领域本体的层次结构，从而实现图像领域本体的层次化构建。
61.s306、基于文本领域本体候选集和文本领域本体的层次结构，确定目标文本领域本体。
62.可选的，将同义词词林扩展版作为本体概念词上下位关系挖掘的参考，合并基于文本领域本体的文本结构信息确定的文本领域本体的本体概念词之间的第一上下位关系候选subclassa以及通过频繁项集挖掘算法确定的文本领域本体的本体概念词之间的第二上下位关系候选subclassb，进行融合，确定文本领域本体层次结构subclass
text
，进而构建目标文本领域本体。引入同义词词林，构建多模态领域知识本体构建的顶层分类，使其更符合人类常识认知。同时，同义词词林中的大量同义词为领域本体层次化构建及领域本体映射、融合提供了本体词语义相似度计算参考。
63.其中，subclass
text
为融合后最终确定的本体概念词之间的上下位关系，
为融合上下位关系的过程，合并后的subclass
text
较为完备，进而形成目标文本领域本体ont
text
。
64.同义词词林扩展版（简称同义词词林）收录词语近7万条，全部按意义进行编排，是一部同义类词典。词林包括了中文大多常用词的分类，同时也含有一定的上下位关系，一方面可以解决本体概念词的顶层分类的缺失，另一方面词林中的上下位关系能够与挖掘的上下位关系候选互补，进一步补全本体概念词的上下位关系。
65.词林中的数据一共分为五层，12大类，分别是“人”、“物”、“时间与时空”、“抽象事物”、“特征”、“动作”、“心理活动”、“活动”、“现象与状态”、“关联”、“助词”、“敬语”。因为本体概念词是作为实体的类别标签存在，所以舍弃词林中的虚词，保留词林中前4大类中的同义词，同时参考百科中实体的类目，将“人”、“物”、“时空”、“抽象事物”及“社会活动”等5大类作为本体概念词顶层分类参考的先验知识，指导其余本体概念词的层次化构建。
66.s307、基于图像领域本体候选集和图像领域本体的层次结构，确定目标图像领域本体。
67.可选的，基于同义词词林中“人”、“物”、“时空”、“抽象事物”、“社会活动”等5大类的顶层分类先验知识，进一步结合文本领域本体的确定的本体概念词之间的层级关系subclass
text
及同义词词林中的词表，合并基于图像标签进行聚类获取的图像领域本体的图像语义标签之间的第一上下位关系候选subclassc以及基于图像数据进行聚类获取的图像领域本体的图像语义标签之间的第二上下位关系候选subclassd，进行融合，构建图像领域本体的图像语义标签之间的层级关系subclass
image
，进而形成层次化图像领域本体ont
image
。
68.其中，为图像领域本体的图像语义标签上下位关系融合过程。
69.s308、基于目标文本领域本体和目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体。
70.终端基于目标文本领域本体和目标图像领域本体，进行文本领域本体与图像领域本体的映射、融合及合并，进而确定包含文本领域本体和图像领域本体的知识图谱本体。
71.本公开实施例通过基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，确定文本领域本体的本体概念词之间的层级关系，基于文本领域本体的本体概念词之间的层级关系，确定文本领域本体的层次结构。进一步，确定图像领域本体的图像语义标签之间的层级关系，基于图像领域本体的图像语义标签之间的层级关系，确定图像领域本体的层次结构，基于文本领域本体候选集和文本领域本体的层次结构，确定目标文本领域本体，基于图像领域本体候选集和图像领域本体的层次结构，确定目标图像领域本体。进而基于目标文本领域本体和目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体。本公开实施例充分考虑文本与图像的标签数据特征，采取不同方法构建文本领域本体和图像领域本体，使得知识图谱本体更准确。先构建文本数据层次化领域本体，利用类别层次较为丰富的本体概念词标签，以进一步指导图像数据标签的层次化构建，一方面为图像数据领域本体构建提供参照标签，另一方面，从语义层次促进了图像数据与文本数据的融合，使构建的多模态知识图谱更为统一。
72.在一些实施例中，基于目标文本领域本体和目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体，包括：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵；基于相似度矩阵，将基于目标文本领域本体和目标图像领域本体进行融合处理，得到包含文本领域本体和图像领域本体的知识图谱本体。
73.如图2所示，融合文本领域本体与图像领域本体中的相似、冲突的概念词。参考同义词词林中的语义相似度，定义本体概念词之间的相似度矩阵：其中，p概念词来自文本领域本体，q来自图像领域本体，p，q为两个领域本体中任意两个本体概念词，为本体词的字符串相似度，为同义词词林计算的本体词的语义相似度。
74.进一步，基于相似度矩阵，将基于目标文本领域本体和目标图像领域本体进行融合处理，得到包含文本领域本体和图像领域本体的知识图谱本体，即图2中的多模态领域本体。
75.在一些实施例中，确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵，包括：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的语义相似度；基于语义相似度确定相似度矩阵。
76.对于图像领域本体中的q本体概念词，若有与文本领域本体中高度相似的p本体概念词，经过冲突、二义性问题解决，合并p，q本体概念词，并调整、融合该概念对应的父级、子级概念词。
77.其中，m为p，q经过融合、冲突解决过程后的本体概念词。
78.可选的，依照同义词词林定义的“人”、“物”、“时空”、“抽象事物”、“社会活动”等5大类顶层本体类别，将文本领域本体ont
text
与图像领域本体ont
image
进行融合、映射，形成具有层次结构的多模态领域知识本体。
79.其中，为最终构建的多模态知识本体，为融合多模态本体上下位关系的过程。
80.本实施例通过计算各领域本体词之间的语义相似度，结合相似矩阵的评估，将多个领域本体进行连接、映射与融合，实现多模态领域知识本体的构建。对于新增的数据源以及其他模态的数据，也可以构建相应的领域本体，确保新增数据源的正确性和规范性，与现有本体进行集成映射，实现多模态领域本体的增量构建与动态维护，提高领域本体的灵活性和实用性。
81.图4为本公开实施例提供的知识图谱本体构建装置的结构示意图。该知识图谱本体构建装置可以是如上实施例的终端，或者该知识图谱本体构建装置可以该终端中的部件
或组件。本公开实施例提供的知识图谱本体构建装置可以执行知识图谱本体构建方法实施例提供的处理流程，如图4所示，知识图谱本体构建装置40包括：获取模块41、第一确定模块42、第二确定模块43、第三确定模块44；其中，获取模块41用于基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，本体用于描述知识的框架信息；第一确定模块42用于基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构；其中，本体概念词用于描述知识实体所属类别的信息；第二确定模块43用于基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构；第三确定模块44用于基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。
82.可选的，第一确定模块42在基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构时，具体用于：确定文本领域本体的本体概念词之间的层级关系；基于文本领域本体的本体概念词之间的层级关系，确定文本领域本体的层次结构。
83.可选的，第一确定模块42在确定文本领域本体的本体概念词之间的层级关系时，具体用于：基于文本领域本体的文本结构信息，确定文本领域本体的本体概念词之间的第一上下位关系候选；通过频繁项集挖掘算法确定文本领域本体的本体概念词之间的第二上下位关系候选；基于第一上下位关系候选和第二上下位关系候选，确定文本领域本体的本体概念词之间的层级关系。
84.可选的，第二确定模块43在基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构时，具体用于：确定图像领域本体的图像语义标签之间的层级关系；基于图像领域本体的图像语义标签之间的层级关系，确定图像领域本体的层次结构。
85.可选的，第二确定模块43在确定图像领域本体的图像语义标签之间的层级关系时，具体用于：对图像领域本体的图像语义标签进行聚类处理，得到图像领域本体的图像语义标签之间的第一上下位关系候选；对图像领域本体的图像语义标签关联的图像数据进行聚类处理，基于聚类结果确定图像领域本体的图像语义标签之间的第二上下位关系候选；基于第一上下位关系候选与第二上下位关系候选，确定图像领域本体的图像语义标签之间的层级关系。
86.可选的，第三确定模块44在基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体时，具体用于：基于文本领域本体候选集和文本领域本体的层次结构，确定目标文本领域本体；基于图像领域本体候选集和图像领域本体的层次结构，确定目标图像领域本体；基于目标文本领域本体和目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体。
87.可选的，第三确定模块44在基于目标文本领域本体和目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体时，具体用于：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵；基于相似度矩阵，将基于目标文本领域本体和目标图像领域本体进行融合处理，得到包含文本领域本体和图像领域本体的知识图谱本体。
88.可选的，第三确定模块44在确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵时，具体用于：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的语义相似度；基于语义相似度确定相似度矩阵。
89.图4所示实施例的知识图谱本体构建装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
90.图5为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行知识图谱本体构建方法实施例提供的处理流程，如图5所示，电子设备50包括：存储器51、处理器52、计算机程序和通讯接口53；其中，计算机程序存储在存储器51中，并被配置为由处理器52执行如上所述的知识图谱本体构建方法。
91.另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的知识图谱本体构建方法。
92.此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的知识图谱本体构建方法。
93.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
94.在一些实施方式中，客户端、服务器可以利用诸如http（hypertext transfer protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“lan”），广域网（“wan”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
95.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
96.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电
子设备执行时，使得该电子设备：基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，所述本体用于描述知识的框架信息；基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构，其中，所述本体概念词用于描述知识实体所属类别的信息；基于所述图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构；基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。
97.另外，该电子设备还可以执行如上所述的知识图谱本体构建方法中的其他步骤。
98.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
99.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
100.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
101.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
102.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
103.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
104.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种知识图谱本体构建方法，其特征在于，所述方法包括：基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，所述本体用于描述知识的框架信息；基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构，其中，所述本体概念词用于描述知识实体所属类别的信息；基于所述图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构；基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。2.根据权利要求1所述的方法，其特征在于，所述基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构，包括：确定文本领域本体的本体概念词之间的层级关系；基于所述文本领域本体的本体概念词之间的层级关系，确定所述文本领域本体的层次结构。3.根据权利要求2所述的方法，其特征在于，所述确定文本领域本体的本体概念词之间的层级关系，包括：基于文本领域本体的文本结构信息，确定文本领域本体的本体概念词之间的第一上下位关系候选；通过频繁项集挖掘算法确定文本领域本体的本体概念词之间的第二上下位关系候选；基于所述第一上下位关系候选和所述第二上下位关系候选，确定文本领域本体的本体概念词之间的层级关系。4.根据权利要求1所述的方法，其特征在于，所述基于所述图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构，包括：确定图像领域本体的图像语义标签之间的层级关系；基于所述图像领域本体的图像语义标签之间的层级关系，确定图像领域本体的层次结构。5.根据权利要求4所述的方法，其特征在于，所述确定图像领域本体的图像语义标签之间的层级关系，包括：对所述图像领域本体的图像语义标签进行聚类处理，得到所述图像领域本体的图像语义标签之间的第一上下位关系候选；对所述图像领域本体的图像语义标签关联的图像数据，进行聚类处理，基于聚类结果确定所述图像领域本体的图像语义标签之间的第二上下位关系候选；基于所述第一上下位关系候选与所述第二上下位关系候选，确定图像领域本体的图像语义标签之间的层级关系。6.根据权利要求1所述的方法，其特征在于，所述基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体，包括：基于所述文本领域本体候选集和所述文本领域本体的层次结构，确定目标文本领域本
体；基于所述图像领域本体候选集和所述图像领域本体的层次结构，确定目标图像领域本体；基于目标文本领域本体和所述目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体。7.根据权利要求6所述的方法，其特征在于，所述基于目标文本领域本体和所述目标图像领域本体，确定包含文本领域本体和图像领域本体的知识图谱本体，包括：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵；基于所述相似度矩阵，将基于目标文本领域本体和所述目标图像领域本体进行融合处理，得到包含文本领域本体和图像领域本体的知识图谱本体。8.根据权利要求7所述的方法，其特征在于，所述确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的相似度矩阵，包括：确定目标文本领域本体中的本体概念词和目标图像领域本体中的图像语义标签之间的语义相似度；基于所述语义相似度确定相似度矩阵。9.一种知识图谱本体构建装置，其特征在于，所述装置包括：获取模块，用于基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，其中，所述本体用于描述知识的框架信息；第一确定模块，用于基于所述文本领域本体候选集中文本领域本体的本体概念词，确定所述文本领域本体的层次结构；其中，所述本体概念词用于描述知识实体所属类别的信息；第二确定模块，用于基于所述图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构；第三确定模块，用于基于所述文本领域本体候选集、所述文本领域本体的层次结构、所述图像领域本体候选集和所述图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体。10.根据权利要求9所述的装置，其特征在于，所述第一确定模块在基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构时，具体用于：确定文本领域本体的本体概念词之间的层级关系；基于文本领域本体的本体概念词之间的层级关系，确定文本领域本体的层次结构。11.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任一所述的方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

技术总结
本公开涉及一种知识图谱本体构建方法、装置、设备及可读存储介质。本公开通过基于文本语料获取文本领域本体候选集，并基于图像数据获取图像领域本体候选集，基于文本领域本体候选集中文本领域本体的本体概念词，确定文本领域本体的层次结构，基于图像领域本体候选集中图像领域本体的图像语义标签，确定图像领域本体的层次结构。进而基于文本领域本体候选集、文本领域本体的层次结构、图像领域本体候选集和图像领域本体的层次结构，确定包含文本领域本体和图像领域本体的知识图谱本体，实现了对文本和图像等多模态数据的知识本体分类别、分层次的构建。层次的构建。层次的构建。


技术研发人员：周玉金 孙攀 王宇琪 李军锋 王璋盛 曹家 罗引 王磊
受保护的技术使用者：北京中科闻歌科技股份有限公司
技术研发日：2022.04.12
技术公布日：2022/5/25