一种数据查询方法、系统、计算机设备及可读存储介质与流程

本发明涉及数据处理，特别是涉及一种数据查询方法、系统、计算机设备及可读存储介质。

背景技术：

1、eav(entity–attribute–value，实体-属性-值，简称eav)模型是动态为数据模型增加或移除属性的模型，其灵活性可以在新增属性时不需要重新设计表结构，扩展数据库时，属性可以垂直增加，无需改变数据结构。但随着数据量的增加，其检索数据的效率会变得非常低下；并且由于数据比较分散，所以查询一个完整实体的记录需要多个表join查询。更重要的是，当eav模型应用于大数据量时，对于同一组eav建模的数据描述，需要进行矩阵转积处理(pivoting，行列转换)，该操作易于出错且是cpu(central processing unit，中央处理器，简称cpu)密集型的任务。所以，在eav模型中，如何提高数据库的查询效率，是当前亟需解决的一大难题。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据查询方法、系统、计算机设备及可读存储介质，用于解决现有技术中存在的技术问题。

2、为实现上述目的及其他相关目的，本发明提供一种数据查询方法，包括以下步骤：

3、监听数据库的数据变更事件，所述数据库存储有模型数据；

4、对所述数据变更事件进行解析，并在所述模型数据出现数据变更时，将所述模型数据的全部或局部数据转换为搜索引擎的文档数据；

5、响应于数据查询请求，从所述搜索引擎中进行数据查询；其中，所述数据查询请求用于查询所述模型数据。

6、于本发明的一实施例中，若所述模型数据包括实体属性值模型数据，则在所述实体属性值模型数据出现数据变更时，将所述实体属性值模型数据的全部或局部数据转换为搜索引擎的文档数据的过程包括：

7、在所述实体属性值模型数据的值表出现数据变更时，通过所述值表的外键实体编号获取实体表的列字段，以及通过所述值表的外键属性编号获取属性表的属性数据；

8、将所述实体表的列字段以及所述属性表的属性数据进行关联，作为搜索引擎图字段；

9、对所述值表的数据进行逐条解析，并将所述值表中的行数据转换为搜索引擎的列数据，以及，结合所述搜索引擎图字段和所述搜索引擎的列数据，生成所述搜索引擎的文档数据，并将所述文档数据存储至所述搜索引擎中。

10、于本发明的一实施例中，监听数据库的数据变更事件的过程包括：

11、获取所述数据库的配置文件；

12、将所述配置文件中的日志参数调整为开启，并指定日志文件名称和存储位置；其中，所述日志参数包括二进制日志参数；

13、利用预先或实时确定的命令行工具，按照指定的日志文件名称和存储位置读取日志文件，并解析所述日志文件的内容，识别所述数据库的数据事件类型；

14、若所述数据事件类型包括插入、更新或删除，则确定所述数据库存在数据变更事件；

15、若所述数据事件类型不包括插入、更新和删除，则继续解析日志文件内容，识别所述数据库的数据事件类型。

16、于本发明的一实施例中，将所述值表中的行数据转换为搜索引擎的列数据时，所述方法还包括：基于所述搜索引擎的动态特性进行字段自动扩展。

17、于本发明的一实施例中，所述方法还包括：通过应用服务监听数据库的数据变更事件，以及，通过所述应用服务对所述数据变更事件进行解析。

18、于本发明的一实施例中，若所述模型数据包括实体属性值模型数据，则在监听数据库的数据变更事件前，所述方法还包括：

19、获取预设产品的基本信息，并将所述基本信息存储至实体属性值模型的实体表中；以及，

20、获取所述预设产品的属性名称，并将所述属性名称存储至实体属性值模型的属性表中；以及，

21、获取所述预设产品的属性值，并将所述属性值存储至实体属性值模型的值表中；

22、其中，所述基本信息包括：产品的唯一标识符、产品名称；

23、所述属性名称包括：属性的唯一标识符、属性名称；

24、所述属性值包括：值的唯一标识符、引用实体表的外键、引用属性表的外键、属性的实际值。

25、本发明还提供一种数据查询系统，所述系统包括有：

26、监听模块，用于监听数据库的数据变更事件，所述数据库存储有模型数据；

27、转换模块，用于对所述数据变更事件进行解析，并在所述模型数据出现数据变更时，将所述模型数据的全部或局部数据转换为搜索引擎的文档数据；

28、查询模块，用于响应于数据查询请求，从所述搜索引擎中进行数据查询；其中，所述数据查询请求用于查询所述模型数据。

29、于本发明的一实施例中，若所述模型数据包括实体属性值模型数据，则所述转换模块在所述实体属性值模型数据出现数据变更时，将所述实体属性值模型数据的全部或局部数据转换为搜索引擎的文档数据的过程包括：

30、在所述实体属性值模型数据的值表出现数据变更时，通过所述值表的外键实体编号获取实体表的列字段，以及通过所述值表的外键属性编号获取属性表的属性数据；

31、将所述实体表的列字段以及所述属性表的属性数据进行关联，作为搜索引擎图字段；

32、对所述值表的数据进行逐条解析，并将所述值表中的行数据转换为搜索引擎的列数据，以及，结合所述搜索引擎图字段和所述搜索引擎的列数据，生成所述搜索引擎的文档数据，并将所述文档数据存储至所述搜索引擎中。

33、本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述中任意一项所述的数据查询方法的步骤。

34、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述中任意一项所述的数据查询方法的步骤。

35、如上所述，本发明提供一种数据查询方法、系统、计算机设备及可读存储介质，具有以下有益效果：本发明通过应用服务监听数据库的数据变更事件，数据库存储有模型数据；以及通过应用服务对数据变更事件进行解析，并在模型数据出现数据变更时，将模型数据的全部或局部数据转换为搜索引擎的文档数据；最后通过响应于数据查询请求，从搜索引擎中进行数据查询；其中，数据查询请求用于查询模型数据。由此可知，本发明通过将模型数据的全部或局部数据转换为搜索引擎的文档数据，用户通过客户端中的业务系统进行数据查询时，不需要再从数据库中进行复杂的联表查询操作，而是可以直接从搜索引擎中进行数据查询。所以，本发明通过利用搜索引擎的动态特性，不仅简化了数据查询操作，也显著提高了数据查询效率和数据查询灵活性。

技术特征：

1.一种数据查询方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的数据查询方法，其特征在于，若所述模型数据包括实体属性值模型数据，则在所述实体属性值模型数据出现数据变更时，将所述实体属性值模型数据的全部或局部数据转换为搜索引擎的文档数据的过程包括：

3.根据权利要求1或2所述的数据查询方法，其特征在于，监听数据库的数据变更事件的过程包括：

4.根据权利要求2所述的数据查询方法，其特征在于，将所述值表中的行数据转换为搜索引擎的列数据时，所述方法还包括：基于所述搜索引擎的动态特性进行字段自动扩展。

5.根据权利要求1所述的数据查询方法，其特征在于，所述方法还包括：通过应用服务监听数据库的数据变更事件，以及，通过所述应用服务对所述数据变更事件进行解析。

6.根据权利要求1所述的数据查询方法，其特征在于，若所述模型数据包括实体属性值模型数据，则在监听数据库的数据变更事件前，所述方法还包括：

7.一种数据查询系统，其特征在于，所述系统包括有：

8.根据权利要求7所述的数据查询系统，其特征在于，若所述模型数据包括实体属性值模型数据，则所述转换模块在所述实体属性值模型数据出现数据变更时，将所述实体属性值模型数据的全部或局部数据转换为搜索引擎的文档数据的过程包括：

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至6中任意一项权利要求所述的数据查询方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至6中任意一项权利要求所述的数据查询方法的步骤。

技术总结本发明提供一种数据查询方法、系统、计算机设备及可读存储介质，包括：通过应用服务监听数据库的数据变更事件，数据库存储有模型数据；以及通过应用服务对数据变更事件进行解析，并在模型数据出现数据变更时，将模型数据的全部或局部数据转换为搜索引擎的文档数据；最后通过响应于数据查询请求，从搜索引擎中进行数据查询。本发明通过将模型数据的全部或局部数据转换为搜索引擎的文档数据，用户通过客户端中的业务系统进行数据查询时，不需要再从数据库中进行复杂的联表查询操作，而是可以直接从搜索引擎中进行数据查询。所以，本发明通过利用搜索引擎的动态特性，不仅简化了数据查询操作，也显著提高了数据查询效率和数据查询灵活性。技术研发人员：赵圣琦受保护的技术使用者：深圳依时货拉拉科技有限公司技术研发日：技术公布日：2024/11/14