数据交互方法、装置、计算机设备和存储介质与流程

本技术涉及大数据，特别是涉及一种数据交互方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着大数据技术的不断发展，元数据作为“描述数据的数据”的重要概念逐渐受到关注。元数据主要用于描述数据的属性信息，包括但不限于数据的存储位置、历史数据记录、资源查找和文件记录等功能。元数据不仅丰富了数据的语义内涵，也极大地增强了数据的可管理性和可利用性。通常情况下，元数据会被存储在一个专门的元数据存储库（metastore）中。这个metastore一般使用关系型数据库，比如mysql或postgresql，来保存如hive表的结构信息、分区信息、表的存储位置等关键元数据信息。在现有技术中，当需要使用元数据时，系统通常会直接从关系型数据库进行查询。这种方法在数据量较小或交互频率较低的场景下表现良好，但随着数据交互量的急剧增加，直接从关系型数据库获取元数据的方案开始面临性能瓶颈。这种情况可能导致查询延迟增加，系统负载加重，进而影响整体的数据处理效率。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数据交互方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据交互方法。所述方法包括：

3、响应于对目标数据的交互，获取所述数据交互请求，并根据所述数据交互请求，确定所述数据交互请求对应的交互数据库标识；

4、根据所述交互数据库标识，匹配所述交互数据库对应的数据文件；

5、在匹配到所述数据文件的情况下，从所述数据文件中获取所述交互数据库对应的元数据；

6、在未匹配到所述数据文件的情况下，从预设的元数据数据库中获取所述交互数据库对应的元数据；其中，所述元数据数据库中包括数据库与对应的元数据之间的关联关系；

7、基于所述元数据，利用所述数据交互请求，对所述交互数据库进行相应交互。

8、在其中一个实施例中，所述根据所述交互数据库标识，匹配所述交互数据库对应的数据文件，包括：

9、根据所述交互数据库标识，匹配所述数据库标识对应的数据文件的路径信息；

10、利用所述路径信息，获取所述数据文件集合；

11、利用所述交互数据库标识，从所述数据文件集合中匹配所述交互数据库对应的数据文件。

12、在其中一个实施例中，所述利用所述路径信息，获取所述数据文件集合，包括：

13、在所述路径信息为第一存储路径的情况下， 利用所述路径信息，获取所述数据文件集合；

14、在所述路径信息为第二存储路径的情况下，确定未匹配到所述数据文件。

15、在其中一个实施例中，所述数据文件集合的建立方式包括：

16、在所述数据文件占用内存达到预设阈值的情况下，将所述数据文件确定为数据文件集合；

17、在所述数据文件占用内存未达到预设的阈值的情况下，将所述数据文件确定为子数据文件，并将多个子数据文件合并，得到数据文件集合。

18、在其中一个实施例中，所述对所述交互数据库进行相应交互，包括：

19、对所述交互数据库进行相应交互，并记录所述数据交互的交互信息；其中，所述交互信息包括以下至少一种：交互对象、数据库标记、时间标记、交互请求。

20、在其中一个实施例中，所述方法还包括：

21、利用所述时间标记，确定所述交互数据库的交互频率；

22、利用所述交互频率，对所述交互数据库对应的数据文件的路径信息进行调整。

23、第二方面，本技术还提供了一种数据交互装置。所述装置包括：

24、标识获取模块，用于响应于对目标数据的交互，获取所述数据交互请求，并根据所述数据交互请求，确定所述数据交互请求对应的交互数据库标识；

25、文件匹配模块，用于根据所述交互数据库标识，匹配所述交互数据库对应的数据文件；

26、元数据获取模块，用于在匹配到所述数据文件的情况下，从所述数据文件中获取所述交互数据库对应的元数据；

27、所述元数据获取模块，还用于在未匹配到所述数据文件的情况下，从预设的元数据数据库中获取所述交互数据库对应的元数据；其中，所述元数据数据库中包括数据库与对应的元数据之间的关联关系；

28、数据交互模块，用于基于所述元数据，利用所述数据交互请求，对所述交互数据库进行相应交互。

29、在其中一个实施例中，所述文件匹配模块，包括：

30、路径获取子模块，用于根据所述交互数据库标识，匹配所述数据库标识对应的数据文件的路径信息；

31、文件获取子模块，用于利用所述路径信息，获取所述数据文件集合；

32、所述文件获取子模块，还用于利用所述交互数据库标识，从所述数据文件集合中匹配所述交互数据库对应的数据文件。

33、在其中一个实施例中，所述文件获取子模块，包括：

34、文件获取单元，用于在所述路径信息为第一存储路径的情况下， 利用所述路径信息，获取所述数据文件集合；

35、所述文件获取单元，还用于在所述路径信息为第二存储路径的情况下，确定未匹配到所述数据文件。

36、在其中一个实施例中，所述数据文件集合的建立方式包括：

37、在所述数据文件占用内存达到预设阈值的情况下，将所述数据文件确定为数据文件集合；

38、在所述数据文件占用内存未达到预设的阈值的情况下，将所述数据文件确定为子数据文件，并将多个子数据文件合并，得到数据文件集合。

39、在其中一个实施例中，所述数据交互模块，还包括：

40、数据交互子模块，用于对所述交互数据库进行相应交互，并记录所述数据交互的交互信息；其中，所述交互信息包括以下至少一种：交互对象、数据库标记、时间标记、交互请求。

41、在其中一个实施例中，所述装置，还包括：

42、频率获取模块，用于利用所述时间标记，确定所述交互数据库的交互频率；

43、路径调整模块，用于利用所述交互频率，对所述交互数据库对应的数据文件的路径信息进行调整。

44、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例任一项所述的资源管理方法。

45、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本公开实施例任一项所述的资源管理方法。

46、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本公开实施例任一项所述的资源管理方法。

47、上述数据交互方法、装置、计算机设备、存储介质和计算机程序产品，响应于对目标数据的交互，利用所述数据交互请求得到数据库标识，并进一步匹配数据文件，从数据文件或元数据数据库中获取数据库对应的元数据，并对交互数据库进行交互。通过对数据文件的匹配，在获取交互数据库的元数据的同时，可以得到所述数据文件的信息，从而提高了元数据的准确性，同时，先匹配数据文件并获取元数据，提高了元数据的获取效率。在未匹配到数据文件时，从元数据数据库中获取元数据，进一步保证了元数据获取的准确性，从而避免了由于元数据的错误而导致的错误结果、数据丢失等问题，从而提高了数据交互的准确性。