本申请公开了一种多模态知识图谱建立方法，包括：采集多门学科的开源文本知识图谱和目标文本知识图谱并提取结构特征、视觉特征和文本特征；将所述开源文本知识图谱与目标文本知识图谱融合并处理不一致信息，得到多模态知识图谱；采集学习者的交互信息并抽取实体和关系，得到交互信息的头实体嵌入表示、尾实体嵌入表示和关系嵌入表示，以将交互信息转换为三元组形式；构建目标知识的预训练语言模型学习多模态知识图谱，并对输入的三元组形式的交互信息给出反馈信息。其可以解决传统基于单一的学科知识构建学科知识图谱的方式跨学科学习效果差，导致利用学科知识图谱进行知识信息检索、智能问答...
