医疗数据清洗方法、装置、设备及介质与流程

本申请涉及医疗数据管理领域，尤其涉及一种医疗数据清洗方法、装置、设备及介质。

背景技术：

1、医疗数据是医务人员对患者疾病的发生、发展、转归，进行检查、诊断、治疗等医疗活动过程的记录，随着医疗行业的蓬勃发展，长期大量的医疗数据累积占用了极大的存储空间，使得对医疗数据的管理愈发困难，引入管理器对大量的医疗数据进行清洗处理以剔除其中的冗余数据愈发必要。

2、但是，同时对大量的医疗数据进行清洗处理容易使管理器宕机。更进一步的，现有管理器对数据的清洗效率不足，且资源使用率仍有待提高。

技术实现思路

1、本发明实施例提供一种医疗数据清洗方法、装置、计算机设备及计算机可读存储介质，旨在有效地提升对医疗数据的清洗效率，增加管理器集群的资源使用率，最大化利用管理器集群进行医疗数据的清洗。

2、第一方面，本发明实施例提供了一种医疗数据清洗方法，包括：

3、获取待清洗数据集合，并提取待清洗数据的医疗属性；

4、根据医疗属性将待清洗数据分配至多个清洗数据队列，并根据多个清洗数据队列融合生成清洗任务；

5、获取管理器集群信息，管理器集群包括分布式设置的多个管理器节点；

6、根据清洗任务与管理器集群信息在多个管理器节点中配置至少一个一级节点，并将其余的管理器节点配置为二级节点；

7、将多个清洗数据队列分配给二级节点，以在各个二级节点对被分配的清洗数据队列执行数据清洗；

8、对二级节点进行资源余额监控，当二级节点的资源余额超过预设阈值时，将被分配至二级节点的清洗数据队列中的超额数据驱逐至一级节点；

9、在一级节点对超额数据进行重分配处理。

10、在一些实施方式中，在一级节点对超额数据进行重分配处理，包括：

11、在超额数据中查找核验标记，其中，核验标记为在驱逐超额数据的过程中，在超额数据中添加的标记；

12、在超额数据含有核验标记的条件下，检测超额数据的数据量，并确定超额数据的来源信息，来源信息至少用于表征超额数据被驱逐前所处的二级节点；

13、根据超额数据的数据量与节点信息在多个二级节点中确定至少一个目标分配节点；

14、将超额数据分配至目标分配节点，以使目标目标分配节点对超额数据进行清洗处理。

15、在一些实施方式中，根据超额数据的数据量与节点信息在多个二级节点中确定至少一个目标分配节点，包括：

16、根据超额数据的数据量与二级节点的资源余额确定二级节点的第一参数；

17、根据来源信息与二级节点的匹配度确定二级节点的第二参数；

18、根据第一参数与第二参数确定二级节点对应的综合分配参数，

19、根据综合分配参数排列多个二级节点，并选取综合分配参数最大的至少一个二级节点作为目标分配节点。

20、在一些实施方式中，根据超额数据的数据量与二级节点的资源余额确定二级节点的第一参数，包括：

21、监控二级节点的资源余额；

22、当二级节点的资源余额大于超额数据的数据量时，根据二级节点的资源余额与超额数据的数据量的差值确定第一参数。

23、在一些实施方式中，根据医疗属性将待清洗数据分配至多个清洗数据队列，包括：

24、解析医疗属性以获取对应的科室信息与时间信息；

25、根据科室信息生成多个科室标签，并为多个清洗数据队列赋予至少一个科室标签；

26、根据科室信息确定待清洗数据对应的清洗数据队列；

27、将对应同一清洗数据队列的待清洗数据按照时间信息的先后进行排序，以将排序完成的待清洗数据分配至清洗数据队列。

28、在一些实施方式中，将被分配至二级节点的清洗数据队列中的超额数据驱逐至一级节点，包括：

29、根据预设的数据量步长从清洗数据队列的末尾选取超额数据；

30、将超额数据传输至一级节点。

31、在一些实施方式中，将超额数据传输至一级节点之后，还包括：

32、持续对二级节点进行资源余额监控；

33、当二级节点的资源余额超过预设阈值，再次根据预设的数据量步长从清洗数据队列的末尾选取超额数据，并将超额数据传输至一级节点，直至二级节点的资源余额不超过预设阈值。

34、第二方面，本发明实施例还提供了一种医疗数据清洗装置，包括：

35、数据处理模块，用于获取待清洗数据集合，并提取待清洗数据的医疗属性；

36、队列处理模块，用于根据医疗属性将待清洗数据分配至多个清洗数据队列，并根据多个清洗数据队列融合生成清洗任务；

37、节点信息模块，用于获取管理器集群信息，管理器集群包括分布式设置的多个管理器节点；

38、节点配置模块，用于根据清洗任务在多个管理器节点中配置至少一个一级节点，并将其余的管理器节点配置为二级节点；

39、队列分配模块，用于将多个清洗数据队列分配给二级节点，以在各个二级节点对被分配的清洗数据队列执行数据清洗；

40、监控调配模块，用于对二级节点进行资源余额监控，当二级节点的资源余额超过预设阈值时，将被分配至二级节点的清洗数据队列中的超额数据驱逐至一级节点；

41、超额分配模块，用于在一级节点对超额数据进行重分配处理。

42、第三方面，本发明实施例还提供了一种计算机设备，计算机设备包括存储器和处理器；

43、存储器，用于存储计算机程序；

44、处理器，用于执行计算机程序并在执行计算机程序时实现如本说明书实施例提供的任一项医疗数据清洗方法。

45、第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时使处理器实现如本说明书实施例提供的任一项医疗数据清洗方法。

46、本发明实施例提供了一种医疗数据清洗方法、装置、计算机设备及计算机可读存储介质，其中，医疗数据清洗方法包括：获取待清洗数据集合，并提取待清洗数据的医疗属性；根据医疗属性将待清洗数据分配至多个清洗数据队列，并根据多个清洗数据队列融合生成清洗任务；获取管理器集群信息，管理器集群包括分布式设置的多个管理器节点；根据清洗任务在多个管理器节点中配置至少一个一级节点，并将其余的管理器节点配置为二级节点；将多个清洗数据队列分配给二级节点，以在各个二级节点对被分配的清洗数据队列执行数据清洗；对二级节点进行资源余额监控，当二级节点的资源余额超过预设阈值时，将被分配至二级节点的清洗数据队列中的超额数据驱逐至一级节点；在一级节点对超额数据进行重分配处理，从而有效地提升对医疗数据的清洗效率，增加管理器的资源使用率，最大化利用管理器进行医疗数据的清洗。

技术特征：

1.一种医疗数据清洗方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在所述一级节点对所述超额数据进行重分配处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述超额数据的数据量与所述节点信息在多个所述二级节点中确定至少一个目标分配节点，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述超额数据的数据量与所述二级节点的资源余额确定所述二级节点的第一参数，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述医疗属性将所述待清洗数据分配至多个清洗数据队列，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将被分配至所述二级节点的所述清洗数据队列中的超额数据驱逐至所述一级节点，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述超额数据传输至所述一级节点之后，还包括：

8.一种医疗数据清洗装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的医疗数据清洗方法。

技术总结本发明涉及医疗数据管理领域，公开了一种医疗数据清洗方法、装置、设备及介质，方法包括：提取待清洗数据的医疗属性；根据医疗属性将待清洗数据分配至多个清洗数据队列以生成清洗任务；获取管理器集群信息，根据清洗任务与管理器集群信息在多个管理器节点中配置一个一级节点，并将其余的管理器节点配置为二级节点；将多个清洗数据队列分配给二级节点进行数据清洗；当二级节点的资源余额超过预设阈值时，将被分配至二级节点的清洗数据队列中的超额数据驱逐至一级节点；在一级节点对超额数据进行重分配处理，从而有效地提升对医疗数据的清洗效率，增加管理器的资源使用率，最大化利用管理器进行医疗数据的清洗。技术研发人员：王文理,蒋英明,万书武受保护的技术使用者：平安科技（深圳）有限公司技术研发日：技术公布日：2024/7/29