一种多模态桥梁数据上传方法、装置、设备及介质与流程

本技术涉及数据处理，特别涉及一种多模态桥梁数据上传方法、装置、设备及介质。

背景技术：

1、桥梁作为基础设施的重要组成部分，承受着日益增加的交通负荷和自然环境的影响，因此需要进行定期的监测和评估，以保证其长期可靠性和安全性。为了更全面地了解桥梁的健康状况，研究人员开始探索多模态数据的应用。多模态数据指的是从不同数据源中获取的不同类型的数据，如工程文件、巡检养护文件、三维文件、传感器（加速度传感器、声音传感器、摄像头等）等。通过综合利用这些多模态数据，可以更准确地评估桥梁的结构健康状况和预测潜在的故障。

2、与此同时，传统“端-云”数据处理模式在响应实时性、网络稳定性、流量成本控制等方面的弊端逐渐显现。当前遇到的主要问题有：

3、在数据采集和传输过程中，某些传感器无法正常工作或存在数据丢失的情况，可能导致分析结果的准确性和可靠性降低。另外不同传感器或传感器的不同测量模式可能会获取到相同或高度相关的信息。这种噪声数据可能会占用存储空间，增加数据处理和分析的复杂性，并对最终结果没有任何影响。

4、受自然环境因素、交通负荷、结构老化等复杂内外界因素影响，端侧设备等难免会产生异常数据。若在边缘侧不及时上传异常数据，不仅降低云侧的数据分析时效性，同时会对云侧数据分析结果产生负面影响。

5、面对海量的多模态数据，边缘侧实时上传全量数据不仅占用大量网络资源，更是对上行网络带宽质量产生了严苛的考验。一旦网络出现崩溃，不仅会造成数据包丢失，同时会影响整个系统的稳定性。

6、由此可见，现有的多模态桥梁数据上传方法存在多模态桥梁数据上传的合理性差的问题。

技术实现思路

1、本技术提供了一种多模态桥梁数据上传方法、装置、设备及介质，可以解决多模态桥梁数据上传的合理性差的问题。

2、第一方面，本技术提供了一种多模态桥梁数据上传方法，该多模态桥梁数据上传方法包括：

3、获取目标桥梁的多个数据序列；多个数据序列对应多个模态；

4、分别针对每个数据序列，计算数据序列与每个其他数据序列之间的碰撞概率，根据所有碰撞概率从所有其他数据序列中确定出数据序列的多个碰撞序列，当碰撞序列的数量大于零时，将数据序列与所有碰撞序列的均值作为一初始数据序列，当碰撞序列的数量等于零时，将数据序列作为一初始数据序列；碰撞概率用于描述数据序列与其他数据序列相似的概率，碰撞序列为碰撞概率大于概率阈值的其他数据序列；

5、计算每个初始数据序列的哈希值；

6、从所有初始数据序列中筛选出多个缺失序列，并根据所有哈希值对每个缺失序列进行补全，得到每个缺失序列的完整序列；缺失序列为存在数据缺失的初始数据序列；

7、分别针对每个完整序列，利用完整序列和对应的哈希值预测完整序列的异常等级，并分别针对除缺失序列以外的每个其他初始数据序列，利用其他初始数据序列对应的哈希值预测其他初始数据序列的异常等级；

8、根据所有模态、所有异常等级将所有完整序列和所有其他初始数据序列上传到目标设备。

9、可选的，计算数据序列与每个其他数据序列之间的碰撞概率，包括：

10、通过公式：

11、

12、计算第个数据序列与第个数据序列之间的碰撞概率；

13、其中，表示第个数据序列与第个数据序列之间的距离，表示哈希桶的大小，，，表示数据序列的总数，表示概率密度函数，表示距离的微分。

14、可选的，计算每个初始数据序列的哈希值，包括：

15、通过公式：

16、

17、计算第个初始数据序列的哈希值；

18、其中，表示第个初始数据序列对应的随机向量，，表示初始数据序列的总数，表示哈希函数的向量，表示随机数，，表示哈希桶的大小。

19、可选的，根据所有哈希值对每个缺失序列进行补全，得到每个缺失序列的完整序列，包括：

20、分别针对每个缺失序列，进行以下步骤：

21、根据所有哈希值从所有初始数据序列中确定出缺失序列对应的至少一个相似序列；

22、获取所有相似序列之间的隐式特征张量，并对隐式特征张量进行特征提取，得到张量特征，利用张量特征对缺失序列中的每个缺失数据进行预测，得到多个预测数据；

23、将所有预测数据整合到缺失序列中，得到缺失序列的完整序列。

24、可选的，利用完整序列对应的哈希值预测完整序列的异常等级，包括：

25、利用混合专家网络对完整序列进行异常预测，得到完整序列的推理专家分布；

26、根据完整序列对应的哈希值和专家模型，计算完整序列的异常值；

27、根据异常值与预设的多个异常等级的异常值取值范围，确定异常值对应的异常等级。

28、可选的，利用混合专家网络对完整序列进行异常预测，得到完整序列的推理专家分布，包括：

29、通过公式：

30、

31、计算第个完整序列的推理专家分布；

32、其中，表示混合专家网络中各个专家模型对第个完整序列的处理能力，表示保留中的前个元素，，表示完整序列的数量。

33、可选的，根据完整序列对应的哈希值和推理专家分布，计算完整序列的异常值，包括：

34、通过公式：

35、

36、计算第个完整序列的异常值；

37、其中，表示模型参数，表示转置运算，表示混合专家网络中各个专家模型对第个完整序列的推理结果，表示第个完整序列对应的哈希值。

38、第二方面，本技术提供了一种多模态桥梁数据上传装置，包括：

39、获取模块，获取目标桥梁的多个数据序列；多个数据序列对应多个模态；

40、确定模块，分别针对每个数据序列，计算数据序列与每个其他数据序列之间的碰撞概率，根据所有碰撞概率从所有其他数据序列中确定出数据序列的多个碰撞序列，当碰撞序列的数量大于零时，将数据序列与所有碰撞序列的均值作为一初始数据序列，当碰撞序列的数量等于零时，将数据序列作为一初始数据序列；碰撞概率用于描述数据序列与其他数据序列相似的概率，碰撞序列为碰撞概率大于概率阈值的其他数据序列；

41、计算模块，计算每个初始数据序列的哈希值；

42、补全模块，从所有初始数据序列中筛选出多个缺失序列，并根据所有哈希值对每个缺失序列进行补全，得到每个缺失序列的完整序列；缺失序列为存在数据缺失的初始数据序列；

43、预测模块，分别针对每个完整序列，利用完整序列和对应的哈希值预测完整序列的异常等级，并分别针对除缺失序列以外的每个其他初始数据序列，利用其他初始数据序列对应的哈希值预测其他初始数据序列的异常等级；

44、上传模块，根据所有模态、所有异常等级将所有完整序列和所有其他初始数据序列上传到目标设备。

45、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行上述计算机程序时实现上述的多模态桥梁数据上传方法。

46、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的多模态桥梁数据上传方法。

47、本技术的上述方案有如下的有益效果：

48、在本技术的实施例中，通过获取目标桥梁的多个数据序列，然后分别针对每个数据序列，计算数据序列与每个其他数据序列之间的碰撞概率，根据所有碰撞概率从所有其他数据序列中确定出数据序列的多个碰撞序列，当碰撞序列的数量大于零时，将数据序列与所有碰撞序列的均值作为一初始数据序列，当碰撞序列的数量等于零时，将数据序列作为一初始数据序列，再计算每个初始数据序列的哈希值，然后从所有初始数据序列中筛选出多个缺失序列，并根据所有哈希值对每个缺失序列进行补全，得到每个缺失序列的完整序列，再分别针对每个完整序列，利用完整序列对应的哈希值预测完整序列的异常等级，并分别针对除缺失序列以外的每个其他初始数据序列，利用其他初始数据序列对应的哈希值预测其他初始数据序列的异常等级，最后根据所有模态、所有异常等级将所有完整序列和所有其他初始数据序列上传到目标设备。其中，通过计算碰撞概率并求均值的方式获取初始数据序列，能够有效地减少相同或高度相关的数据序列的数量，降低数据冗余，利用哈希值对缺失序列进行补全，能够提高数据序列的完整性和可靠性，利用哈希值计算异常等级，能够提高异常等级的准确性，根据准确的异常等级对可靠的、完整的数据序列进行上传，能够减少多模态桥梁数据上传不及时、上传通道拥塞的状况，提高上传的稳定性，进而提高多模态桥梁数据上传的合理性。

49、本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。