数据预处理方法、装置、计算机设备、存储介质和计算机程序产品与流程

本技术涉及自动驾驶，特别是涉及一种数据预处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、在自动驾驶领域，深度学习模型的应用越来越广泛，注意力机制是深度学习模型中一类重要的算子，该算子可用于计算不同交通参与者对不同地图点的注意力权重。由于交通参与者、地图点的数量可能会很大，这种情况下注意力机制的计算量会非常庞大。

2、相关技术中，为了减少计算量，提出注意力机制预处理算子的概念，注意力机制预处理算子可根据先验条件排除掉一些无需建立注意力关系的部分，从而减小注意力机制的计算量。

3、然而，在不同的路况下，需排除掉的无需建立注意力关系的部分是变化的，因此注意力机制预处理算子的输出长度是动态的，这会影响深度学习模型的推理性能。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升深度学习模型的推理性能的数据预处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据预处理方法，包括：

3、根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；

4、根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；

5、对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度；在各个线程筛选出的待处理数据组的数量总和小于输出长度的情况下，在输入存储区域写入数据组截止标志，以此保证算子的输出长度是一个定值。

6、在其中一个实施例中，根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度，包括：根据预先设置的最大注意力跨越距离和地图点划分间距，确定最大注意力跨越线段数；根据最大注意力跨越线段数、自动驾驶地图上地图点数量以及交通参与者数量，确定注意力机制的预处理算子的输出长度。

7、在其中一个实施例中， 根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围，包括：根据线程数量对所有线程进行分组，得到至少一个线程组，每个线程组对应一个交通参与者；根据地图点数量和线程数量，确定每个线程负责处理的地图点数量；针对每个交通参与者对应的线程组中的每个线程，根据每个线程负责处理的地图点数量，在自动驾驶地图上确定当前线程负责处理的地图点范围。

8、在其中一个实施例中，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点之前，方法还包括：根据每个线程负责处理的地图点数量和最大注意力跨越线段数，确定每个线程轮询一次所要处理的目标地图点数量；根据最大线程数和每个线程轮询一次所要处理的地图点数量，确定总轮询次数；通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，包括：通过当前线程根据目标地图点数量和总轮询次数，从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点。

9、在其中一个实施例中，通过当前线程根据目标地图点数量和总轮询次数，从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，包括：通过当前线程进行第i次轮询，在第i次轮询中的第j次计算过程中，计算所负责处理的地图点范围中编号为i+(j-1)×nmax的地图点与对应交通参与者之间的欧氏距离；在欧式距离小于预设范围阈值的情况下，将编号为i+(j-1)×nmax的地图点作为目标地图点；其中，nmax表示最大注意力跨越线段数，总轮询次数≥i≥1，目标地图点数量≥j≥1。

10、在其中一个实施例中，各个线程通过串行的方式将对应的待处理数据组写入注意力机制的输入存储区域。

11、第二方面，本技术还提供了一种数据预处理装置，包括：

12、第一确定模块，用于根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；

13、第二确定模块，用于根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；

14、处理模块，用于对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度；在各个线程筛选出的待处理数据组的数量总和小于输出长度的情况下，在输入存储区域写入数据组截止标志，以此保证算子的输出长度是一个定值。

15、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

16、根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；

17、根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；

18、对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度；在各个线程筛选出的待处理数据组的数量总和小于输出长度的情况下，在输入存储区域写入数据组截止标志，以此保证算子的输出长度是一个定值。

19、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

20、根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；

21、根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；

22、对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度；在各个线程筛选出的待处理数据组的数量总和小于输出长度的情况下，在输入存储区域写入数据组截止标志，以此保证算子的输出长度是一个定值。

23、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

24、根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；

25、根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；

26、对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度；在各个线程筛选出的待处理数据组的数量总和小于输出长度的情况下，在输入存储区域写入数据组截止标志，以此保证算子的输出长度是一个定值。

27、上述数据预处理方法、装置、计算机设备、存储介质和计算机程序产品，首先，根据自动驾驶地图上地图点数量、交通参与者数量、地图点划分间距以及预先设置的最大注意力跨越距离，确定注意力机制的预处理算子的输出长度；然后，根据图形处理器所能支持的最大线程数和交通参与者数量，确定针对每个交通参与者参与预处理的线程数量；根据地图点数量和线程数量，在自动驾驶地图上确定每个线程负责处理的地图点范围；最后，对于每个线程，通过当前线程从所负责处理的地图点范围中，筛选出与对应交通参与者相关性满足预设条件的目标地图点，将每个目标地图点和对应交通参与者构成的组合作为待处理数据组，将待处理数据组写入注意力机制的输入存储区域，直至输入存储区域存储的待处理数据组的数量达到输出长度。使得注意力机制预处理算子的输出长度是固定的，避免了输出长度为动态时推理引擎需要在gpu与cpu间进行冗余的数据交互，提升了深度学习模型的推理性能。而且结合预先设置的最大注意力跨越距离来确定预处理算子的输出长度，使得得到的输出长度更加合理。每个线程的计算方式可自适应地调整对地图点的采样间隔，排除的不相关元素少时，采样间隔稀疏，排除的不相关的元素多时，采样间隔密集，在采样间隔稀疏的情况下仍能够保证采样的均匀性，进而保证了深度学习模型的推理精度。