基于多模态知识图谱的古钟鉴别交互系统

本系统涉及图像识别技术、知识图谱、3d建模等领域，具体涉及多模态知识图谱的古钟鉴别交互系统。

背景技术：

1、在现有的图像识别技术中，更多的是对于动植物、行人、车辆等领域的相关检测。本系统利用图像识别、深度学习等算法，以北京市大钟寺博物馆古钟为数据集，进行古钟图像识别算法研究。目的是通过该项技术，使游客通过拍照等手段，实现古钟鉴别。其中包括古钟外观、年代、篆刻等具体信息。利用neo4j对古钟基本信息进行数据库录入，可以更加直观的使游客了解到古钟的具体信息。利用3dsmax软件对古钟外观进行可视化迁移，使其可以在线上进行无死角展示。本产品共计有三份ui，分别用于“钟韵华章”小程序首页ui、古钟识别界面ui以及大钟寺地图界面ui。小程序首页ui包含六个模块，分别用于界面切换、搜索、拍照识别、3d模型查看、古钟图谱查看以及古钟故事六个功能的交互入口；古钟识别界面ui包含用于上传图片以识别功能的交互入口；地图界面ui用于展示大钟寺的简明地图与区域名称。

技术实现思路

1、针对上述技术，本系统的目的是打造一款古文物智慧识别系统，传承并推广中华传统文化。通过古钟图像智慧识别、知识图谱、3d模型使游客得以更全面、有效地了解古钟，了解中华优秀传统文化。

2、本系统采用的第一个技术手段古钟图像识别具体操作包括以下步骤：

3、s100：从北京市大钟寺博物馆收集古钟的图片，对这些图片进行预处理，包括图像的去噪、灰度化、尺寸标准化等操作，以确保后续处理的准确性和稳定性。

4、s200：提取出古钟图像的特征信息。包括钟面的花纹、钟身的形状、指针的设计等。利用深度学习技术中的卷积神经网络(cnn)等算法来提取图像特征。

5、s300：对提取出的特征进行匹配和识别。涉及到对提取出的特征与已知古钟特征的数据库进行比对，找出最相似的特征，从而确定古钟的型号、年代等相关信息。使用各种相似度度量方法，比如欧式距离、余弦相似度等来进行特征匹配。

6、s400：借助机器学习和深度学习技术进行古钟图像识别。通过训练模型，让计算机自动学习古钟图像的特征，并能够对新的古钟图像进行准确识别。

7、本系统采用的第二个技术手段古钟知识图谱具体操作包括以下步骤：

8、s100：收集大量与古钟相关的知识数据，包括古钟的历史资料、制作者信息、图片资料等。

9、s200：将搜集到的知识数据进行整合和标注，确定各种信息之间的关联关系。对数据进行清洗、归类、标准化处理，以确保数据的准确性和一致性。

10、s300：确定古钟知识图谱的实体(entities)和关系(relations)，比如古钟、制作者、年代等是实体，而古钟与制作者、年代之间的关系是关系，通过这些实体和关系来描述古钟的相关信息。

11、s400：利用图数据库，按照定义的实体和关系构建古钟知识图谱的结构。将实体和关系以图的形式表示，形成一个有机的知识网络。

12、s500：用户通过查询或浏览知识图谱，可以按照关键词搜索古钟相关信息，获取特定古钟的详细资料和背景介绍，也可以通过图谱展示方式直观地了解古钟信息之间的关联。

13、s600：知识图谱是一个动态的系统，需要不断更新、优化和扩展。随着古钟文化的深入研究和新资料的不断涌现，知识图谱需要及时跟进更新，确保信息的完整性和及时性。

14、本系统采用的第三个技术手段古钟3d模型具体操作包括以下步骤：

15、s100：进行图像采集，从不同角度拍摄古钟的照片或进行扫描，获取古钟的各个方面的视角图片。

16、s200：将采集到的图片进行处理，包括去除背景、对齐、融合等操作，生成适用于建模的数据。

17、s300：将处理后的数据导入3ds max，作为建模的参考，根据所导入的数据，开始进行古钟的三维建模工作。通过绘制、拉伸、缩放、旋转等操作，逐步构建出古钟的外观和结构。在建模过程中，进行精细调整，确保模型的比例、细节、曲线等符合古钟实际的特征。

18、s400：为古钟模型添加纹理，包括表面的颜色、材质等。可以通过拍摄真实古钟的纹理图像。将制作好的纹理映射到古钟模型上，使模型表面具有更真实的外观和质感。

19、s500：在场景中设置适当的灯光，以展示古钟模型的立体感和质感，利用渲染引擎对古钟模型进行渲染，生成高质量的图像用于显示和展示。

20、s600：通过交互设计，用户可以在三维模型中自由旋转、缩放、移动视角，360度全方位地欣赏古钟，将古钟3d模型嵌入到平台，通过虚拟现实技术实现用户可以在虚拟环境中与古钟进行互动。

21、以上三种技术的有效效果为：

22、(1)基于古钟图像识别技术、古钟知识图谱和古钟3d模型技术，可以带来多种有益效果，对文化传承、教育展示以及文物保护等方面产生积极影响。

23、(2)利用古钟图像识别技术，可以实现古钟文物的快速、准确识别。在博物馆、文物馆等场所，可以通过手机或平板设备拍摄古钟图像，即可通过图像识别技术快速获取古钟的相关信息，如作者、年代、历史背景等，为观众带来更便捷、深入的文物观赏体验。

24、(3)古钟知识图谱的建立将为人们提供了一个全面深入了解古钟文化的平台。用户可以通过知识图谱进行古钟信息的检索和展示，深入了解古钟的历史、文化背景、制作者信息等，同时也可以通过知识图谱进行知识的推理和智能应用，为用户提供更加个性化、深入化的古钟文化服务。此外，知识图谱还可以促进古钟文化的传承与发展，有助于挖掘、保护和传承古钟文化的重要性和价值。

25、(4)古钟的3d模型技术可以为古钟的展示与教育提供更加直观生动的方式。通过3d模型，用户可以在虚拟环境中360度自由观看古钟，深入了解其细节和工艺，从而提升用户的观赏体验和认知深度。这种技术还可以应用在教育领域，为学生提供更生动、直观的古钟文化教学资源，激发学生对文化遗产的兴趣，促进文化传统的传承。

26、(5)综合以上几项技术的应用，构建涵盖古钟图像识别、知识图谱、以及3d模型展示的全方位服务体系。在博物馆、文化展览馆等场所，这些技术的应用将带来更加智能化、交互化的文化展示体验，吸引更多观众，提升文物的传播效果。此外，这些技术也可以通过在线平台、移动应用等方式向更广泛的用户群体传播古钟文化，促进文化的传承和交流。

27、(6)古钟图像识别、知识图谱、3d模型技术的应用，不仅可以提升文化展示与教育的效果，也有助于文物的保护与研究。图像识别可以帮助管理人员准确识别文物，并实时掌握其流向和安全状况；知识图谱可以促进对古钟文化的深入研究与保护，为古钟的修复、保护提供更多历史文化的线索；3d模型可以辅助文物专家进行文物的数字化保护和研究，减少文物长时间的外部干扰。为古钟文化的传承、展示、教育和保护带来多重有益效果，为古钟文化的传承与发展注入了新的活力。

技术特征：

1.一种基于多模态知识图谱的古钟鉴别交互系统,其特征在于,包括以下步骤:

2.根据权利要求1所述的古钟属性提取,其特征在于,所述步骤s200中的古钟信息提取算法通过设置语言参数实现多语言支持。

3.根据权利要求2所述的方法，其中所述语言参数用于指定图像中所包含文本的语言类型。

4.根据权利要求2或3所述的方法，其中所述图像文本提取方法基于tesseract ocr技术实现。

5.根据权利要求1所述的古钟知识图谱构建,其特征在于,所述步骤s200中的古钟知识图谱构建包括:

6.根据权利要求1所述的古钟识别鉴别方法,其特征在于,所述步骤s300中的图像识别算法包括:

7.根据权利要求1所述的古钟三维模型重建,其特征在于,所述步骤s400中的古钟三维建模包括以下子步骤:

技术总结本发明涉及古钟图像识别技术领域,具体公开了一种基于多模态知识图谱的古钟鉴别交互系统,包括收集大量的古钟图像数据，对图像进行标注和分类。构建古钟图像数据集；根据数据集提取古钟相关的属性、历史背景和文化知识，构建古钟知识图谱；基于计算机视觉技术提取古钟图像的特征，利用知识图谱中的实体和关系，将图像特征与对应的古钟属性、历史背景等进行关联，使用图像识别算法，将图像特征输入到图像识别模型中，进行古钟图像的自动识别和分类；开发古钟的三维建模算法，实现古钟的三维模型重建，提供交互式的古钟三维展示功能，能够全局观察古钟的外观、结构；古钟鉴别交互系统，具备古钟属性查询、图像识别、知识图谱、3D模型等功能。技术研发人员：杨锋,申娜,彭菲受保护的技术使用者：北京林业大学技术研发日：技术公布日：2024/7/29