一种检测数据平台数据同步方法及系统与流程

本发明涉及数据处理，特别涉及一种检测数据平台数据同步方法及系统。

背景技术：

1、随着传感技术、信息技术、通信技术和计算机技术的不断发展，各种新型的检测设备、仪器和传感器不断涌现，推动了检测行业的技术水平和产品性能的提升。

2、随着工业化和智能化进程的加速推进，对产品质量、安全性、环保等方面的检测需求不断增长，生物医药、食品、环境保护等行业对检测技术的需求也在不断扩大；检测企业的检测数据平台是指专门用于管理和处理检测过程中所产生的各类数据的综合性软件系统，但是这些检测数据平台的数据来源繁多、数据量大且增长迅速，难以对数据进行有效地同步处理，往往存在效率不高、错误频发和维护难度大等状况，不仅影响到了检测的正常进行，降低了检测速度，还容易引发数据不一致，导致检测结果的可靠性下降等问题。

3、由此，目前需要有一种方案来解决上述问题至少一个。

技术实现思路

1、针对现有技术中的缺陷，本技术提出了一种检测数据平台数据同步方法及系统，为解决以上技术问题中的至少一个，本技术的技术方案是：

2、一种检测数据平台数据同步方法，包括：

3、响应接收到的数据同步请求，基于所述数据同步请求确定所述数据同步请求的类型，所述数据同步请求的类型包括涉及实验室数据的第一数据同步请求与涉及检测标准数据的第二数据同步请求；

4、基于数据同步请求的类型，选择预设审核条件，判断所述数据同步请求是否符合所述预设审核条件；

5、若不符合，则退回或取消所述数据同步请求；若符合，则确定所述数据同步请求所对应的源数据与目标数据；

6、通过数据传输的方式获取所述源数据作为待同步数据，并对所述待同步数据进行数据校验；将通过数据校验的所述待同步数据同步到目标数据库中的所述目标数据中，所述目标数据库包括一或多个，不同的所述目标数据库中通过关键字段彼此关联；

7、当数据同步失败时，依据预设的异常处理步骤进行异常处理。

8、在一个具体实施例中，对所述待同步数据进行数据校验的过程包括：涉及数据形式的一次校验与涉及数据内容的二次校验；

9、若所述一次校验不通过，则对所述待同步数据进行一或多次预处理，直至所述一次校验通过；

10、所述预处理包括数据清洗、数据转换、数据格式化中的任意一个或者多个；

11、当所述一次校验通过时，对所述待同步数据进行二次校验，所述二次校验包括：数据完整性校验、数据准确性校验、数据一致性校验、数据质量校验中的一个或者任意多个。

12、在一个具体实施例中，基于所述数据同步请求确定所述数据同步请求的类型的过程包括：

13、解析所述数据同步请求，提取关键数据同步信息，所述关键数据同步信息包括源数据标识、目标数据标识、同步频率信息、同步策略信息中的一个或者多个；

14、分析所述源数据标识获取包括数据来源、性质与结构在内的第一信息，分析所述目标数据标识获取包括数据用途、结构与存储方式在内的第二信息，分析所述同步频率与所述同步策略信息获取包括同步类型、同步优先级、同步时间在内的第三信息；

15、综合分析所述第一信息、所述第二信息、所述第三信息中的任意多个，确定所述数据同步请求的类型。

16、在一个具体实施例中，所述方法还包括数据同步请求的生成，

17、监测涉及实验室数据的第一数据源与涉及行业标准数据的第二数据源；

18、若监测到所述第一数据源、所述第二数据源的数据发生改变，则对所述改变的数据进行收集，获得源数据；

19、根据所述源数据确定数据同步信息，所述数据同步信息包括目标数据、同步方法及同步频率；

20、验证是否符合数据同步请求生成权限，若符合，则生成对应于所述源数据的数据同步请求。

21、在一个具体实施例中，对所述第一数据源的监测通过预设触发事件的方式实现，当所述第一数据源的数据发生变化时，捕获数据的插入、更新、删除操作；

22、对所述第二数据源的监测通过定时轮询所述第二数据源的方式实现，通过查询比对所述第二数据源前后数据的方式来检测数据的变化。

23、在一个具体实施例中，所述源数据包括静态数据与动态数据；

24、所述静态数据包括：行业检测标准数据与实验室基本数据；

25、所述动态数据包括：检测项目数据；

26、所述静态数据的数据同步方法包括：全量同步方法，所述动态数据的数据同步方法包括：增量同步方法和实时同步方法。

27、在一个具体实施例中，依据预设的异常处理步骤进行异常处理的过程包括：

28、通过设定定时监控任务，持续监控数据同步过程中的异常情况，实时扫描并捕获可能出现的错误信息；

29、当监控到数据同步存在异常时，生成包括所述错误信息的同步异常日志；

30、进行一次异常处理，依据预设的同步次数与时间间隔，对所述待同步数据进行一或多次的数据同步；

31、若所述一次异常处理失败，则进行二次异常处理，针对所述错误信息所对应的错误进行处理，处理完成后再次对所述待同步数据进行一或多次的数据同步；

32、若所述二次异常处理失败，则触发同步异常报警信息。

33、在一个具体实施例中，将通过数据校验的所述待同步数据同步到所述目标数据库中的所述目标数据中之前，该方法还包括：

34、模拟数据同步，将所述待同步数据同步到中间数据库的中间目标数据中，所述中间数据库基于目标数据库映射产生；

35、检查同步后所述中间目标数据是否存在问题，若不存在问题，则将通过检查的所述待同步数据同步到所述目标数据库中的所述目标数据中。

36、在一个具体实施例中，该方法还包括：

37、同时接收到的多个数据同步请求时，先判断检测系统数据同步资源是否充足，若数据同步资源充足，则同时响应所有的所述数据同步请求进行数据同步处理；

38、若数据同步资源不充足，则检测各所述数据同步请求中是否存在优先级字段，若各所述数据同步请求中存在优先级字段，则优先处理存在优先级字段的所述数据同步请求；

39、若各所述数据同步请求中均不存在优先级字段，则按各所述数据同步请求的生成现有顺序进行同步处理；

40、当所述数据同步请求为第二数据同步请求时，还需要对第一数据源进行数据同步。

41、一种检测数据管理与同步的实现系统，用于实现第一部分任一项所述的一种检测数据平台数据同步方法，所述实现系统包括：

42、接收模块，用于响应接收到的数据同步请求，基于所述数据同步请求确定所述数据同步请求的类型，所述数据同步请求的类型包括涉及实验室数据的第一数据同步请求与涉及检测标准数据的第二数据同步请求；

43、同步请求审核模块，用于基于不同类型的数据同步请求，选择不同的预设审核条件，判断所述数据同步请求是否符合所述预设审核条件；

44、若不符合，则退回或取消所述数据同步请求；若符合，则确定所述数据同步请求所对应的数据源与目标数据；

45、数据同步模块，用于通过数据传输的方式获取所述数据源数据作为待同步数据，并对所述待同步数据进行数据校验；将通过数据校验的所述待同步数据同步到所述目标数据库中的所述目标数据中，所述目标数据库包括一或多个，不同的目标数据库中通过关键字段彼此关联；

46、异常处理模块，用于当数据同步失败时，依据预设的异常处理步骤进行异常处理。

47、有益效果：

48、本发明提供了一种检测数据平台数据同步方法及系统，优化了检测企业的检测数据平台的数据同步方法，具体地，对接收到的数据同步请求进行分类，并针对不同类型的数据同步请求进行差异化审核，能够实现对数据同步过程的精细化管理；通过数据校验和异常提示，提高了同步数据的完整性、正确性和安全性；生成同步异常日志有助于对同步过程中出现的问题进行跟踪和分析，为后续的问题排查和处理提供了依据，从而提升了数据同步过程的可管理性和可追溯性。