本发明涉及多模态信息处理，具体涉及基于多模态大模型的科技论文表格知识抽取方法。
背景技术：
1、科技论文作为学术研究的重要载体，其内容不仅包含丰富的文本信息，还涵盖了大量的表格数据。表格以其直观、易于理解的特点，能够有效地传递复杂的数据关系和实验结果，成为论文中不可或缺的组成部分。然而，传统的知识抽取技术主要集中于文本内容的分析，往往未能充分挖掘和利用表格中蕴含的丰富信息资源，这在一定程度上限制了知识提取的完整性和准确性。
2、传统的知识抽取方法主要依赖于自然语言处理技术，通过算法对文本数据进行处理，以提取关键信息和知识。这些方法在处理纯文本数据时表现出色，但在面对表格等形式的内容时则显得力不从心。由于表格中的数据未能得到有效解析，导致从科技论文中提取的知识可能存在信息缺失，无法全面反映研究内容的深度和广度。
技术实现思路
1、本申请提供了基于多模态大模型的科技论文表格知识抽取方法，用于针对解决现有技术中传统科技论文知识抽取方法无法处理表格等形式的内容，提取的知识可能存在信息缺失，无法全面反映研究内容的深度和广度的技术问题。
2、鉴于上述问题，本申请提供了基于多模态大模型的科技论文表格知识抽取方法。
3、第一方面，本申请提供了基于多模态大模型的科技论文表格知识抽取方法，所述方法包括：针对待抽取任务，进行任务数据提取，构建知识抽取任务数据集；搭建多模态大模型架构，所述多模态大模型架构包括视觉编码器、文本编码器、特征变换模块以及解码器；基于通用表格数据集，对所述多模态大模型架构进行初始化，获得通用表格大模型；将所述知识抽取任务数据集进行数据划分，获得微调数据集和知识抽取数据集，其中，所述微调数据集包含多个微调数据；使用所述微调数据集，对所述通用表格大模型进行微调训练，获得论文表格大模型；将所述知识抽取数据集作为输入，基于所述论文表格大模型进行知识抽取，获得标准知识多元组。
4、第二方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面内方法的步骤。
5、第三方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面内方法的步骤。
6、本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
7、本申请实施例提供的基于多模态大模型的科技论文表格知识抽取方法，涉及多模态信息处理技术领域，通过构建一个论文表格大模型，该模型能够同时处理表格图像信息和文本信息，通过视觉编码器、特征变换、文本编码器和解码器，将这两种类型的信息有效融合，补充对表格中信息关联方式的理解，从而生成符合预定义知识模式的多元组输出，解决了现有技术中传统科技论文知识抽取方法无法处理表格等形式的内容，提取的知识可能存在信息缺失，无法全面反映研究内容的深度和广度的技术问题，实现了通过集成图像识别和数据分析技术，构建论文表格大模型进行科技论文知识抽取，提升知识提取的深度和质量的技术效果。
1.基于多模态大模型的科技论文表格知识抽取方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，针对待抽取任务，进行任务数据提取，构建知识抽取任务数据集，包括：
3.如权利要求2所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，所述知识模式包括多元组文本结构、多元组实体类型、多元组实体顺序。
4.如权利要求1所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，基于通用表格数据集，对所述多模态大模型架构进行初始化，包括：
5.如权利要求1所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，使用所述微调数据集，对所述通用表格大模型进行微调训练，获得论文表格大模型，包括：
6.如权利要求1所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，将所述知识抽取数据集作为输入，基于所述论文表格大模型进行知识抽取，获得标准知识多元组，包括：
7.如权利要求6所述的基于多模态大模型的科技论文表格知识抽取方法，其特征在于，基于所述视觉编码器进行图像信息转换，生成视觉embedding，包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
