地下市政基础设施数据质检方法、装置、介质和设备与流程

本发明涉及大数据，尤其是涉及一种地下市政基础设施数据质检方法、装置、介质和设备。

背景技术：

1、现有的地下市政基础设施数据质检方法在单线程执行模式下效率低下，而在多线程执行模式下又面临调度开销大、资源争夺、内存溢出、线程异常和死循环等问题，最终导致程序崩溃，可靠性差。这些问题严重制约了质检效率和质量，亟需一种新的解决方案来提升质检方法的效率和可靠性。

技术实现思路

1、基于此，有必要提供地下市政基础设施数据质检方法、装置、介质和设备，以解决现有技术质检效率和质量较差的问题。

2、一种地下市政基础设施数据质检方法，所述方法包括：

3、读取预制的质检方案，并根据所述质检方案生成多个质检任务；

4、对每一质检任务中的质检规则进行耗时评估，并根据耗时评估结果确定每一质检任务的线程数量，以得到总线程数量；其中，任务耗时与线程数量呈正相关；

5、读取地下市政基础设施数据，并根据确定的总线程数量创建对应数量的地下市政基础设施数据的数据副本，以形成数据集合；

6、基于所述数据集合生成总线程数量的线程实例，并通过线程队列调度策略调度线程实例执行质检任务的顺序；

7、将大区域的数据集合划分为多个小区域的数据集合，且将数据集合转换生成空间信息，按顺序启动线程实例执行质检，输出质检报告。

8、在其中一个实施例中，耗时评估的计算公式包括：

9、

10、上式中，m表示总质检规则耗时等级，r表示单条质检规则耗时等级，d表示数据量等级，math.ceil()表示向上取整，t表示质检规则平均耗时，ti表示第i次抽查时质检规则的耗时时间，n表示对质检规则的检查次数，p为预设的区间值，s表示数据量总量，q表示预设的区间值。

11、在其中一个实施例中，所述通过线程队列调度策略调度线程实例执行质检任务的顺序，包括：

12、创建线程池；其中，线程池中的线程数量对应于所述数据集合的小类；

13、依次将待执行的质检任务提交给线程池的线程队列中等待执行，并设置线程池按照先进先出策略从所述线程队列中获取任务，及分配给空闲的线程执行。

14、在其中一个实施例中，所述将大区域的数据集合划分为多个小区域的数据集合，包括：

15、确定所述数据集合的分区范围作为初始的当前划分区域；

16、将所述当前划分区域按网格划分为若干小块；

17、计算每个小块的密度，表示为：

18、ρ＝n/s

19、其中，n表示要素记录数量，s表示小块面积；

20、基于密度大小识别小块中的高密度小块，若所述高密度小块大于预设密度，则将大于预设密度的高密度小块的范围作为更新后的当前划分区域，返回执行所述当前划分区域按网格划分为若干小块的步骤，直至不存在高密度小块大于预设密度，输出所有小块的编号。

21、在其中一个实施例中，所述将数据集合转换生成空间信息，包括：

22、结合精度、格式和坐标系对数据集合进行解析，并将解析结果转换为离散的空间对象；

23、使用线性插值和样条插值方法将离散的空间对象转换为连续的空间对象；

24、基于连续的空间对象采用网格索引法建立空间索引。

25、在其中一个实施例中，所述按顺序启动线程实例执行质检之后，还包括：

26、通过监控引擎定时检测线程的运行状态；其中，所述运行状态包括等待执行，正在执行、执行失败及执行成功；

27、若发现线程处于等待执行或正在执行的状态大于预设时长，或发现线程处于执行失败状态，则触发重试机制或容错机制。

28、在其中一个实施例中，所述按顺序启动线程实例执行质检之后，还包括：利用最近最少使用策略将质检过的分区数据块从内存中移出。

29、一种地下市政基础设施数据质检装置，所述地下市政基础设施数据质检装置包括：

30、质检任务确定模块，用于读取预制的质检方案，并根据所述质检方案生成多个质检任务；

31、线程数量确定模块，用于对每一质检任务中的质检规则进行耗时评估，并根据耗时评估结果确定每一质检任务的线程数量，以得到总线程数量；其中，任务耗时与线程数量呈正相关；

32、数据集合创建模块，用于读取地下市政基础设施数据，并根据确定的总线程数量创建对应数量的地下市政基础设施数据的数据副本，以形成数据集合；

33、线程创建及调度模块，用于基于所述数据集合生成总线程数量的线程实例，并通过线程队列调度策略调度线程实例执行质检任务的顺序；

34、质检模块，用于将大区域的数据集合划分为多个小区域的数据集合，且将数据集合转换生成空间信息，按顺序启动线程实例执行质检，输出质检报告。

35、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述地下市政基础设施数据质检方法的步骤。

36、一种地下市政基础设施数据质检设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述地下市政基础设施数据质检方法的步骤。

37、本发明提供了地下市政基础设施数据质检方法、装置、介质和设备，通过读取预制的质检方案生成多个质检任务，并对每个任务中的质检规则进行耗时评估，根据评估结果确定任务所需的线程数量，创建相应的数据副本和线程实例。利用线程队列调度策略和数据分区，将大区域的数据集合划分为多个小区域，并生成空间信息，按顺序启动线程实例执行质检，最终输出质检报告。这种方法的有益效果在于，通过多线程并行处理显著提高了质检效率，并通过合理的资源分配和监控机制保证了系统的可靠性。此外，数据分区和索引的使用增强了系统的可扩展性，适应大规模数据处理的需求。

技术特征：

1.一种地下市政基础设施数据质检方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，耗时评估的计算公式包括：

3.根据权利要求1所述的方法，其特征在于，所述通过线程队列调度策略调度线程实例执行质检任务的顺序，包括：

4.根据权利要求1所述的方法，其特征在于，所述将大区域的数据集合划分为多个小区域的数据集合，包括：

5.根据权利要求1所述的方法，其特征在于，所述将数据集合转换生成空间信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述按顺序启动线程实例执行质检之后，还包括：

7.根据权利要求1所述的方法，其特征在于，所述按顺序启动线程实例执行质检之后，还包括：利用最近最少使用策略将质检过的分区数据块从内存中移出。

8.一种地下市政基础设施数据质检装置，其特征在于，所述地下市政基础设施数据质检装置包括：

9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种地下市政基础设施数据质检设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

技术总结本发明公开了一种地下市政基础设施数据质检方法、装置、介质和设备，通过读取预制的质检方案生成多个质检任务，并对每个任务中的质检规则进行耗时评估，根据评估结果确定任务所需的线程数量，创建相应的数据副本和线程实例。利用线程队列调度策略和数据分区，将大区域的数据集合划分为多个小区域，并生成空间信息，按顺序启动线程实例执行质检，最终输出质检报告。这种方法的有益效果在于，通过多线程并行处理显著提高了质检效率，并通过合理的资源分配和监控机制保证了系统的可靠性。此外，数据分区和索引的使用增强了系统的可扩展性，适应大规模数据处理的需求。技术研发人员：丁伟,刘从丰,陈硕,张性钦受保护的技术使用者：众智软件股份有限公司技术研发日：技术公布日：2024/9/29