用于神经网络的分位数数据池化方法与流程

本发明涉及一种用于神经网络的分位数(quantile)数据池化(pooling)方法，特别是(但不限于)一种用于在集合结构(set-structured)数据分析中增强特征表示的分位数数据池化方法。

背景技术：

1、在许多领域，包括计算机视觉、自然语言处理、生物信息学、自动驾驶等，数据自然地以特征集或特征袋(bags of features)的形式表示。例如，文档可以看作是一组单词或句子，分子结构可以表示为原子或键的集合，而点云可以看作是一组坐标。分析此类集合结构数据，需要采用对数据元素排列而言保持不变，而对集合内特征分布敏感的方法。

2、集合结构数据分析的一般模型通常包括以下几个部分：特征提取、特征聚合、特征转换、学习算法以及推理和预测。该过程首先从集合中的每个元素中提取特征。这一步骤将原始数据转换为便于分析的格式，例如高维空间中的向量。特征提取后，需要以尊重集合无序性质的方式进行聚合。此时，需要采用池化方法(如传统的最大值池化和平均池化)来汇总整个集合的信息。高维特征向量可以经过多个级别的转换，最终到达输出空间，并在此进行预测。然后，将处理后的特征输入学习算法。这可能是监督模型，如分类器或回归器，也可能是无监督模型，如集群(clustering)算法，具体取决于当前的任务。最后一步是根据模型的输出进行推理或预测。这可能意味着将文档分类到某个类别，预测分子的性质，或是识别点云中的对象。

3、一个问题在于，传统的池化方法(如最大值池化和平均池化)在捕捉数据集中特征重要性的全谱方面存在局限性。已知的数据池化方法可能会忽略关键的细微差别，或因数据中的异常而被误导。

4、因此，需要一种改进的数据池化方法。

5、发明目的

6、本发明的目的是在一定程度上缓解或消除与已知数据池化方法相关的一个或多个问题。

7、上述目的通过组合主权利要求的特征的组合而得以实现；子权利要求则公开了本发明的其他有益实施方式。

8、本发明的另一个目的是为集合结构数据分析提供一种改进的数据池化方法。

9、本发明的另一个目的是改进神经网络对集合结构数据的解释和总结。

10、本发明的另一个目的是提供一种更细致、更灵活的数据汇集方法，使神经网络能够捕捉数据的基本要素，同时不会忽略整体背景或被异常值扭曲。

11、本领域技术人员将从以下描述中得出本发明的其他目的。因此，上述目的陈述并非详尽无遗，而是仅用于说明本发明的部分目的。

技术实现思路

1、在第一个主要方面，本发明提供了一种在神经网络中实现数据池化的计算机实施方法，该方法包括：接收由从输入空间获得的数据点的集合组成的输入张量(tensor)，该输入张量具有多个输入空间维度；将输入张量在每个输入空间维度上分割为等长的分段，所述输入空间维度上的每个相应分段的集合包括分区；确定、选择或计算每个分区的相应分位数水平；根据其分区的分位数水平确定或计算每个分段的分位数值；通过连接(concatenating)每个分区的分段的分位数值创建池化输出向量，该输出向量包括每个分区的池化输出。

2、在第二个主要方面，本发明提供了一种神经网络，该网络包含用于置换不变集数据分析的分位数池化层，该网络包括：用于接收包括一组无序数据点的输入张量的装置；用于通过一个或多个置换不变变换(permutation-equivarianttransformations)和/或一个或多个非线性层处理输入张量的装置；以及通过分位数池化层处理输入张量，以通过执行上述的第一主要方面的分位数数据池化方法生成池化输出，从而提供池化输出向量。

3、在第三个主要方面，本发明提供了一种用于集合数据分析的计算机系统，该系统包括：用于收集一组数据点的装置；根据在第二个主要方面实施的方法对收集的数据点进行置换不变变换和分位数池化的装置；以及利用输出向量或张量执行涉及集合结构化数据的操作或任务的装置。

4、本发明可提供一种非临时性计算机可读介质，其中存储有机器可读的指令，当处理器执行这些机器可读的指令时，这些指令可配置处理器以实现本发明任何方面的方法。

5、本发明的摘要不一定公开了定义本发明所必需的所有特征；本发明可能存在于所公开特征的子组合中。

6、以上已相当宽泛地概述了本发明的特征，以便更好地理解以下对本发明的详细说明。本发明的其他特征和优点将在下文进行描述，这些特征和优点构成了本发明的权利要求主题。本领域技术人员将理解，所公开的构思和具体实施方案可以很容易地用作修改或设计其他结构的基础，以实现本发明的相同目的。

技术特征：

1.一种在神经网络中进行数据池化的计算机实施方法，包括：

2.根据权利要求1所述的方法，其中每个分段的所述分位数值由以下方式确定：

3.根据权利要求1所述的方法，其中该方法包括将所述输入空间中获取的数据点的集合准备或编译为所述输入张量。

4.根据权利要求1所述的方法，其中所述分区各自的所述分位数水平根据预先确定或学习到的规则来计算。

5.根据权利要求1所述的方法，其中所述分区的各自不同的分位数水平被确定、选择或计算。

6.根据权利要求1所述的方法，其中所述分区各自的所述分位数水平由密度函数导出。

7.根据权利要求1所述的方法，其中所述分区的分位数范围是可调的。

8.根据权利要求7所述的方法，其中，所述分位数范围是可调的从而为所述神经网络提供自定义数据池化功能。

9.根据权利要求7所述的方法，其中，各个所述分位数水平的分位数范围的概率密度函数fvq包括以q为中心的狄拉克δ函数δ(p-q)，具有q+/-∈[q-∈，q+∈]的分位数范围。

10.根据权利要求7所述的方法，其中所述分位数范围是：

11.根据权利要求1的方法，其中所述输入空间包括车辆到一切(v2x)交通系统中的多个传感器，该多个传感器向v2x交通系统的决策模块提供交通事件的点云数据，该决策模块被配置为实施根据权利要求1所述的分位数数据池化方法。

12.根据权利要求11所述的方法，其中所述决策模块在所述v2x交通系统的一个或多个边缘服务器中实现。

13.一种神经网络，包含用于置换不变集数据分析的分位数池化层，该神经网络包括：

14.根据权利要求13所述的神经网络，还包括用于将所述池化输出向量无论是否和所述输入张量)连接以提供连接后张量的装置。

15.根据权利要求14所述的神经网络，还包括用于通过一个或多个元素级变换来处理所述连接后张量或所述池化输出向量的装置。

16.根据权利要求13所述的神经网络，其中通过所述分位数池化层处理所述输入张量的装置，被配置为通过多个分位数池化层处理所述输入张量。

17.根据权利要求16所述的神经网络，其中每个所述分位数池化层使用不同的分位数水平或分位数范围。

18.根据权利要求16所述的神经网络，还包括学习算法。

19.一种用于集合数据分析的计算机实施系统，该计算机系统包括：

20.根据权利要求19所述的计算机实施系统，其中所述涉及集合结构化数据的操作或任务包括以下的一项或多项：自动驾驶车辆；智能交通设备或系统。

技术总结一种在神经网络中实现数据池化的计算机方法。该方法包括接收由输入空间中数据点的集合形成的输入张量，该输入张量具有多个输入空间维度。该方法包括：将输入张量在每个输入空间维度上分割为等长的分段，所述输入空间维度上的每个相应分段的集合包括分区；确定、选择或计算每个分区的相应分位数水平；根据其分区的分位数水平确定或计算每个分段的分位数值；通过连接每个分区的分段的分位数值来创建池化输出向量，该输出向量包含每个分区的池化输出。技术研发人员：陈卓均,朱星华,苏栋哲受保护的技术使用者：香港应用科技研究院有限公司技术研发日：技术公布日：2024/11/18