一种文物智能识别方法、系统及可读存储介质与流程

1.本技术涉及图像识别技术领域，具体而言，涉及一种文物智能识别方法、系统及可读存储介质。


背景技术：

2.从新石器良渚文化时期算起，距今已有五千多年，而文物则是这一厚重历史和优秀文化的载体，其凝结着不同阶段的重要历史信息，具有极大的研究价值。
3.图像识别技术是人工智能的一个重要领域，它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术。然而，现有的图像识别技术在文物识别领域应用并不普遍，一方面是数字化浪潮中文物发展较为滞后，其不比生活服务类场景，历史文物总是与现代生活保持一种若即若离的感觉，导致行业发展缺少原始动力，技术应用也缺少创新。另一方面，文图图像识别也存在一定的特殊性和识别局限性，比如，在进行文物识图的时候，还要考虑博物馆周围环境的光线，以及文物附近是否会有聚集性灯光等问题。因此，基于传统的图像识别技术进行文物识别，不可避免的会带来识别效率低和低准确度的问题。


技术实现要素：

4.本技术实施例的目的在基于提供一种文物智能识别方法、系统及可读存储介质，可以提高文物识别效率以及识别准确度。
5.本技术实施例还提供了一种文物智能识别方法，包括以下步骤：
6.获取用于反映文物的历史积淀以及现代实践场景的文物记录数据，并基于所述文物记录数据生成文物知识图谱；
7.基于采集到的且包含文物主体目标的文物采集图像进行特征提取，得到表征文物主体目标特征的特征数据；
8.将所述特征数据与预设图像数据库中记录的且与文物主体特征相适应的分类数据进行关联匹配，得到用于进行文物识别的文物分类信息；
9.基于得到的文物识别结果，从所述文物知识图谱中进行文物关联信息的查询以及反馈。
10.第二方面，本技术实施例还提供了一种文物智能识别系统，所述系统包括知识图谱构建模块、特征提取模块、文物识别模块和文物关联信息反馈模块，其中：
11.所述知识图谱构建模块，用于获取用于反映文物的历史积淀以及现代实践场景的文物记录数据，并基于所述文物记录数据生成文物知识图谱，并基于所述文物记录数据生成文物知识图谱；
12.所述特征提取模块，用于基于采集到的且包含文物主体目标的文物采集图像进行特征提取，得到表征文物主体目标特征的特征数据；
13.所述文物识别模块，用于将所述特征数据与预设图像数据库中记录的且与文物主体特征相适应的分类数据进行关联匹配，得到用于进行文物识别的文物分类信息；
14.所述文物关联信息反馈模块，用于基于得到的文物识别结果，从所述文物知识图谱中进行文物关联信息的查询以及反馈。
15.第三方面，本技术实施例还提供了一种可读存储介质，所述可读存储介质中包括文物智能识别方法程序，所述文物智能识别方法程序被处理器执行时，实现如上述任一项所述的一种文物智能识别方法的步骤。
16.由上可知，本技术实施例提供的一种文物智能识别方法、系统及可读存储介质，将预先构建的用于反映文物的历史积淀以及现代实践场景的文物知识图谱与图像识别技术进行结合，使其能够在对文物识别的过程中，更加的准确、高效的完成对文物的识别。另外，由于知识图谱的边代表文物实体间的关系，因此对文物的检索就是对知识图谱的遍历，在能够深度挖掘不同文物实体间的内在联系的情况下，也能够间接提高推理检索的便利性。
17.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1为本技术实施例提供的一种文物智能识别方法的流程图；
20.图2为知识图谱构建示意图；
21.图3为图像特征提取、以及分类示意图；
22.图4为文物智能识别方法的整体系统体系结构示意图；
23.图5为文物智能识别方法的应用示意图；
24.图6为本技术实施例提供的一种文物智能识别系统的结构示意图。
具体实施方式
25.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.请参照图1，图1是本技术一些实施例中的一种文物智能识别方法的流程图。以该方法应用于计算机设备(该计算机设备具体可以是终端或服务器，终端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用
独立的服务器或者是多个服务器组成的服务器集群)为例进行说明，包括以下步骤：
28.步骤s100，获取用于反映文物的历史积淀以及现代实践场景的文物记录数据，并基于所述文物记录数据生成文物知识图谱。
29.步骤s200，基于采集到的且包含文物主体目标的文物采集图像进行特征提取，得到表征文物主体目标特征的特征数据。
30.步骤s300，将所述特征数据与预设图像数据库中记录的且与文物主体特征相适应的分类数据进行关联匹配，得到用于进行文物识别的文物分类信息。
31.步骤s400，基于得到的文物识别结果，从所述文物知识图谱中进行文物关联信息的查询以及反馈。
32.由上可知，本技术实施例提供的一种文物智能识别方法，将预先构建的用于反映文物的历史积淀以及现代实践场景的文物知识图谱与图像识别技术进行结合，使其能够在对文物识别的过程中，更加的准确、高效的完成对文物的识别。另外，由于知识图谱的边代表文物实体间的关系，因此对文物的检索就是对知识图谱的遍历，在能够深度挖掘不同文物实体间的内在联系的情况下，也能够间接提高推理检索的便利性。
33.在其中一个实施例中，步骤s100中，所述文物记录数据包括存储在第三方数据库中的结构化数据、以及由文物的文本描述数据、音频数据和图片数据组成的非结构化数据中的至少一种；所述基于所述文物记录数据生成文物知识图谱，包括：
34.步骤s1001，对所述文物记录数据进行数据预处理，得到相应的预处理数据，其中，采用的数据预处理方式包括用于对具备不同数据类型的数据进行融合、以及链接的数据融合处理方式和数据链接处理方式。
35.具体的，请参考图2，在数据获取阶段，当前实施例中用于构建知识图谱的文物记录数据包括但不限于是来源于数字化的文物记录结构化数据、以及描述文物的文本、音频、图像等非结构化数据。之后，在依次经过知识融合、以及知识处理之后，再进行文物知识图谱模型的构建。
36.步骤s1002，基于所述预处理数据，依据文物知识图谱模型、并采用相应的规则和结构生成文物知识图谱。
37.具体的，计算机设备通过文物知识图谱模型对预处理后的数据进行文物实体和实体关系的抽取，并根据该文物实体和实体关系构建相应的文物知识图谱。其中，实体指的是现实世界中的事物，比如人、地名、公司、电话等，当前实施例中的文物实体可以理解为文物所属的朝代、记录文物的文献出处、文物的适用场合等。关系可以用来表达不同文物实体之间的关联关系。
38.在其中一个实施例中，计算机设备可以通过建立分词词典、使用正则匹配法识别预处理数据中的文物实体，其中，计算机设备在通过正则匹配法进行文物实体的识别时，可以基于预设的实体匹配规则构建正则表达式(例如，在需要识别出文物所属的朝代时，可以基于朝代惯用的定义方式、在一段语句中惯用的结构位置构建正则表达式)，并基于该正则表达式从所得的预处理数据中匹配出所需的目标文物实体。在一个实施例中，当计算机设备采用的分词词典包括基于整词二分、基于trie索引树和基于逐字二分中的至少一种机制，本技术实施例对此不作限定。
39.在其中一个实施例中，计算机设备还可以根据文物知识图谱生成相应的可视化关
联展示图；其中，该可视化关联展示图可以是文物实体的关联图，其可以对文物知识图谱中实体之间的关联关系进行实时展示。例如，以汉服为例，一方面计算机设备可以通过展示汉服和文献出处、朝代、古时适用场合之间的关联关系等等，以此反映文物的历史积淀；另一方面，计算机设备还可以通过展示汉服和影视化之间的关联关系，以此反映现代实践场景。
40.上述实施例，通过构建的文物知识图谱，能够深度挖掘不同文物实体间的内在联系，从而使得基于文物知识图谱能够得到更高的准确率并且使得对目标知识的查询以及相关知识的查询更加方便快捷。
41.在其中一个实施例中，步骤s1001中，在对所述文物记录数据进行数据预处理之前，所述方法还包括；针对所述结构化数据，在确定记录文物信息的目标字段定义不同时，依照文物领域的元数据规定的本体和概念进行数据对齐；针对所述非结构化数据，基于其中包括的文本、音频和图片信息进行实体抽取、关系抽取和属性抽取，产生文物知识的表示。
42.具体的，当前实施例中所需获取的结构化数据主要存储在各大数字博物馆的文物关系型数据库中，计算机设备通过连接到上述的文物关系型数据库进行结构化数据的获取。然而，由于不同文物关系型数据库对记录文物信息的字段定义各有不同，所以在进行数据融合和链接之前，计算机设备还需要对获取到的结构化数据，依照文物领域的元数据规定的本体和概念进行数据对齐，以此提高后续的结构化数据与非结构化数据的融合链接效率。
43.另外，当前实施例中公开的非结构化数据，主要由文物的文本描述、音频和图片数据组成。请参考图2，在进行文物知识的链接与融合之前，计算机设备需要根据文本、音频和图片信息进行实体抽取、关系抽取和属性抽取，产生文物知识的表示。之后，再通过进一步的共指消解、实体消歧等技术，在完成文物信息的智能理解与知识链接之后才能使用。其中，特别对于某些目标文物的音频信息和图像信息还需要进行特征提取、内容理解和相关属性的识别之后，才能将其与其他相关知识进行链接和融合。
44.需要说明的是，上述的“共指”指的是识别同一实体的不同表达。当前实施例中，共指消解的任务是识别一段文本中指向同一个实体的不同表述。而实体消歧的目的是为了消除歧义，以使得不同的文字表述能够指向正确的实体，例如对于“苹果”的表述，其可能对应“苹果公司”这个实体，也可能对应“苹果(水果)”这个实体。
45.在其中一个实施例中，计算机设备还可以基于所得的共指消解、以及实体消歧的处理结果，重新确定实体片段中词语之间的关系，并以此进行实体关系优化，保证实体关系确定的精准度。
46.在其中一个实施例中，步骤s200中，所述基于采集到的且包含文物主体目标的文物采集图像进行特征提取，得到表征文物主体目标特征的特征数据，包括：
47.步骤s2001，基于待检测的第一文物采集图像进行文物主体目标检测，以确定所述文物主体目标在所述第一文物采集图像中所处的图像位置。
48.具体的，针对待检测的第一文物采集图像，计算机设备可以通过改进的canny边缘检测算法进行文物主体目标检测的检测。
49.需要说明的是，canny边缘检测算法是一种多级边缘检测算法，通常情况下边缘检测的目的是在保留原有图像属性的情况下，显著减少图像的数据规模。其一般包括5个实施
步骤：1、应用高斯滤波来平滑图像，目的是为了去除噪音；2、寻找图像的强度梯度；3、应用非最大抑制技术来消除边误检；4、应用双阈值的方法来决定可能的(潜在的)边界；5、利用滞后技术来跟踪边界。
50.在其中一个实施例中，计算机设备可以通过终端拍照或上传图像方式完成文物采集图像的采集，当前实施例中不对具体的图像获取方式进行限定，不同实施例中可以根据具体的实施需求，采用离线或者在线获取方式进行图像采集。
51.步骤s2002，基于所述图像位置进行图像分割，得到包含所述文物主体目标的目标分割图像。
52.具体的，计算机设备在确定检测到文物主体目标时，将进一步通过分割提取技术，例如，基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等，得到包含文物主体目标的目标分割图像。需要说明的是，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号，以便于提高后续对分割图像的检索效率。
53.步骤s2003，根据harris角点检测算法，从所述目标分割图像中检测出符合预定条件的多个目标角点，并根据各所述目标角点分别对应的特征描述信息，构建表征文物主体目标特征的特征数据集。
54.具体的，角点就是极值点，即在某方面属性特别突出的点，其中，角点可以是两个边缘的角点，或是邻域内具有两个主方向的特征点。
55.上述实施例，利用改进后的canny边缘检测算法不仅能够更好的提取文物的边缘曲线，而且对文物的边缘细节起到了一定的保护作用，提高了边缘检测的完整度，保证了分割图像的完整性。
56.在其中一个实施例中，步骤s300中，所述预设图像数据库中记录的内容包括根据已完成特征提取、以及分类检测的第二文物采集图像所确定的已测特征数据集，以及与所述已测特征数据集之间已建立关联的文物分类信息。
57.在其中一个实施例中，步骤s300中，所述将所述特征数据与预设图像数据库中记录的且与文物主体特征相适应的分类数据进行关联匹配，得到用于进行文物识别的文物分类信息包括：
58.步骤s3001，获取所述表征文物主体目标特征的特征数据集、以及预设图像数据库中记录的多个已测特征数据集。
59.具体的，请参考图3，一方面，针对待识别的图像，其将输入到计算机设备，兵由计算机设备基于改进的canny(一个多级边缘检测算法)边缘检测提取出文物主体，之后再针对该文物主体进行harris特征提取。另一方面，针对从图像库中提取出的对象，计算机设备将批量边缘检测提取对象中涵盖的文物主体，之后再针对当前提取出的文物主体进行分类harris特征的提取。
60.步骤s3002，确定所述特征数据集与各所述已测特征数据集之间的hausdorff距离。
61.具体的，请参考图4，计算机设备在进行文物识别时，针对待检测的文物，将同样进行harris角点检测，以形成待检测的特征数据集。之后，再利用衡量特征集之间的相似性的hausdorff距离(豪斯多夫hausdorff距离，即衡量两个目标点集间的距离)来完成文物分
类。
62.在其中一个实施例中，计算机设备在检测到图像主体文物的边缘后，将利用open cv(一个基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库)软件中的函数划定主体轮廓。之后，再基于上述划定的主体轮廓，进行文物主体的提取，以及基于提取到的文物主体进行harris角点检测。最后，在通过计算hausdorff距离进行相似度度量完成对文物的分类识别。
63.步骤s3003，根据所述hausdorff距离，从各所述已测特征数据集中筛选出与所述特征数据集相似度最高的目标特征数据集。
64.步骤s3004，从所述预设图像数据库中，根据所述目标特征数据集进行分类信息的关联匹配，得到用于进行文物识别的文物分类信息。
65.具体的，请参考图3-图4，计算机设备将得到的文物分类结果，作为知识图谱的输入，其中，计算机设备通过将采集的图像与图像库中存储的对象进行比对，并选择与图像库相似度最高的目标图像作为知识图谱的输入信息。之后，再根据对该目标图像的事前知识图谱描述，反馈相应的文物关联信息。
66.上述实施例，将知识图谱与图像识别技术结合，将图像识别的输出作为知识图谱的输入，填补文物知识图谱技术与图像识别结合应用领域的空白，为未来其他智能识别技术手段的介入奠定基础。
67.在其中一个实施例中，步骤s400中，所述基于得到的文物识别结果，从所述文物知识图谱中进行文物关联信息的查询以及反馈，包括：
68.步骤s4001，将所述文物识别结果作为文物知识图谱的输入信息，并根据对所述输入信息的事前知识图谱描述，进行文物关联信息的查询以及反馈，其中，反馈所得的文物关联信息还将用于进一步的文物知识获取、以及扩展功能应用。
69.具体的，请参考图5，用户可根据知识图谱返回的信息，进行进一步的文物知识获取、以及使用其他扩展功能。当前实施例中，以识别汉服为例，该方法可以应用于移动端应用、以及web端后台管理系统，其中：
70.(1)后台管理系统主要涉及对移动端内容的配置模块，包括文物秀场配置、文物资讯内容配置及移动端的运营服务模块等，本技术实施例不对其具体的模块扩展内容进行限定。
71.(2)移动端应用分为“首页”、智能识别入口、文物秀场以及“我的”这4大模块，且各模块之间相互关联。其中，“首页”模块可涉及文物秀场、ugc社区、撞衫比拼、以及近期文物展览资讯展示等。“我的”模块包括应用的登录校验、个人信息的维护、个人相册、以及我的收藏等内容。需要说明的是，涉及到的收藏内容可以来源于ugc内容的收藏、文物展览资讯、或文物秀场的收藏。
72.上述实施例，由于知识图谱的边代表文物实体间的关系，因此对文物的检索就是对知识图谱的遍历，在能够深度挖掘不同文物实体间的内在联系的情况下，也能够间接提高推理检索的便利性。
73.请参考图6，本技术公开的一种文物智能识别系统，该系统600包括知识图谱构建模块601、特征提取模块602、文物识别模块603和文物关联信息反馈模块604，其中：
74.所述知识图谱构建模块601，用于获取用于反映文物的历史积淀以及现代实践场
景的文物记录数据，并基于所述文物记录数据生成文物知识图谱，并基于所述文物记录数据生成文物知识图谱。
75.所述特征提取模块602，用于基于采集到的且包含文物主体目标的文物采集图像进行特征提取，得到表征文物主体目标特征的特征数据。
76.所述文物识别模块603，用于将所述特征数据与预设图像数据库中记录的且与文物主体特征相适应的分类数据进行关联匹配，得到用于进行文物识别的文物分类信息。
77.所述文物关联信息反馈模块604，用于基于得到的文物识别结果，从所述文物知识图谱中进行文物关联信息的查询以及反馈。
78.在其中一个实施例中，所述文物记录数据包括存储在第三方数据库中的结构化数据、以及由文物的文本描述数据、音频数据和图片数据组成的非结构化数据中的至少一种；所述知识图谱构建模块601还用于对所述文物记录数据进行数据预处理，得到相应的预处理数据，其中，采用的数据预处理方式包括用于对具备不同数据类型的数据进行融合、以及链接的数据融合处理方式和数据链接处理方式；基于所述预处理数据，依据文物知识图谱模型、并采用相应的规则和结构生成文物知识图谱。
79.在其中一个实施例中，本技术实施例公开的文物智能识别系统还能够上述实施例的任一可选的实现方式中的方法。
80.上述文物智能识别系统，将预先构建的用于反映文物的历史积淀以及现代实践场景的文物知识图谱与图像识别技术进行结合，使其能够在对文物识别的过程中，更加的准确、高效的完成对文物的识别。另外，由于知识图谱的边代表文物实体间的关系，因此对文物的检索就是对知识图谱的遍历，在能够深度挖掘不同文物实体间的内在联系的情况下，也能够间接提高推理检索的便利性。
81.本技术实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程只读存储器(programmable red-only memory,简称prom)，只读存储器(read-only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
82.上述可读存储介质，将预先构建的用于反映文物的历史积淀以及现代实践场景的文物知识图谱与图像识别技术进行结合，使其能够在对文物识别的过程中，更加的准确、高效的完成对文物的识别。另外，由于知识图谱的边代表文物实体间的关系，因此对文物的检索就是对知识图谱的遍历，在能够深度挖掘不同文物实体间的内在联系的情况下，也能够间接提高推理检索的便利性。
83.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。
84.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
85.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
86.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
87.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。