一种基于流水线编码与多分支解码的环境智能感知方法、系统及装置与流程

本发明涉及一种基于流水线编码与多分支解码的环境智能感知方法、系统及装置，属于环境智能感知。

背景技术：

1、传统的环境智能感知方法受到了许多限制，其中包括依赖于单一数据源和缺乏实时性等问题。目前，许多环境智能感知系统主要依赖于人工巡检和传统传感器技术，这些方法通常只能提供有限的环境数据，并且往往无法实现及时的问题识别和响应。此外，传统方法还面临着数据处理和分析效率低下的挑战，无法有效地应对日益增长的数据量和复杂性。

2、在数据处理方面，尽管传统的编码解码技术在一定程度上可以提高数据传输效率，但它们的局限性在于未能充分利用多源数据进行综合分析和认知。传统的单一编码解码方法往往难以应对环境的复杂变化和日益增长的数据处理需求，这导致了环境智能感知性能的局限。传统技术通常只能处理特定类型的数据，并且在数据的获取、处理和分析过程中存在着较大的耗时和耗能，限制了其在实时环境智能感知中的应用。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于流水线编码与多分支解码的环境智能感知方法、系统及装置，通过流水线编码技术将数据分割成不同的阶段，以提高数据处理的效率和吞吐量。同时，利用多分支解码技术，实现对多源数据的并行处理和综合分析，从而使得环境智能感知系统能够更全面、更及时地感知和理解环境信息。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供一种基于流水线编码和多分支解码的环境智能感知方法，包括：获取多个传感器监测图像数据；

4、对各传感器监测图像数据进行处理，得到处理后的传感器监测图像数据；

5、根据处理后的传感器监测图像数据，基于风险认知模型进行识别得到电网工作环境中的多方面风险视觉识别结果。

6、进一步的，所述传感器包括温度传感器、湿度传感器、光敏传感器以及振动传感器中的至少一种，其中所述温度传感器用于监测电网工作环境的温度，所述湿度传感器用于监测电网工作环境的湿度，所述光敏传感器用于监测电网工作环境的光线强度，所述振动传感器用于监测电网设备的振动情况。

7、进一步的，对各传感器监测图像数据进行处理，得到处理后的传感器监测图像数据，包括：对各传感器监测图像数据进行整合、去噪和校正，得到处理后的传感器监测图像数据。

8、进一步的，所述风险认知模型采用编码器-解码器结构；

9、所述编码器用于对处理后对传感器监测图像数据进行下采样操作，其依次包括基本卷积模块以及多个特征编码模块；

10、所述解码器包括一主分支和多个次分支，所述主分支和次分支的输出端均经过融合模块与检测模块连接，所述主分支的输入端连接编码器输出端，其上设有多个特征解码模块，所述特征解码模块的输入端与对应基本卷积模块、特征编码模块连接，且输出端与对应次分支相连，所述次分支上均设有特征解码模块；

11、所述基本卷积模块和特征编码模块用于对处理后对传感器监测图像数据进行下采样操作，所述特征解码模块用于将编码器输出的高级语义信息以及基本卷积模块、特征编码模块输出的浅层细节信息进行上采样操作。

12、进一步的，所述特征编码模块依次包括p-block编码器、归一化层以及激活函数层；

13、其中，所述p-block编码器包括依次连接的第一卷积层、四个中间卷积层和第二卷积层，所述第一卷积层的卷积核为1×1，其用于扩展输入图像数据的特征通道数，四个所述中间卷积层分别为不同膨胀率的3×3膨胀卷积，其用于将输出图像数据特征减少为输入图像特征的四分之一，所述第二卷积层的卷积核为1×1，其用于对拼接后的第一卷积层和四个中间卷积层的输出图像数据进行特征融合，所述激活函数层为relu激活函数；

14、所述p-block编码器的操作表达式如下：

15、；

16、其中，与分别表示与大小的卷积操作，表示第一卷积层的输出图像数据，表示第个中间卷积层的输出图像数据，表示第二卷积层的输出图像数据，表示拼接操作。

17、进一步的，所述次分支、特征编码模块以及特征解码模块的数量均为4，所述特征解码模块的输入端分别对应与普通卷积模块、前三个所述特征编码模块连接；

18、所述特征解码模块依次包括全连接层、上采样模块、卷积层和批归一化层，所述上采样模块用于利用双线性插值方法对输入图像数据进行上采样，所述卷积层的卷积核为1×1，其用于将图像数据通道数变为2；

19、所述次分支的操作表达式如下：

20、；

21、其中，表示第个次分支上的特征解码模块的输出，表示主分支的输入，表示第个次分支的输入，表示对通过双线性插值方法进行上采样操作；

22、所述主分支的操作表达式如下：

23、；

24、其中，表示主分支的输出，表示大小的卷积操作，表示批归一化操作。

25、进一步的，所述主分支上的特征解码模块与对应基本卷积模块、特征编码模块之间均设有环境智能感知增强模块；

26、所述环境智能感知增强模块用于增强浅层细节信息中的环境检测部分，其分为第一部分和第二部分；

27、所述第一部分包括相并列的最大池化层和平均池化层，所述最大池化层和平均卷积层均连接有卷积层，所述输入图像特征数据分别经过最大池化层、平均池化层以及卷积层后融合，并与输入图像特征数据点乘得到第一部分输出图像特征数据；

28、所述第二部分利用平均池化在水平维度和竖直维度上收集第一部分输出图像特征数据中具有长依赖性的上下文信息，并经卷积层提取图像特征后通过全连接层聚合，再依次经过1×1卷积层、sigmoid函数层与第一部分输出图像特征数据点乘，得到输出图像特征数据。

29、进一步的，所述融合模块包括全连接层和1×1卷积层，其操作表达式如下：

30、；

31、其中，表示融合模块的输出，表示大小的卷积操作，表示拼接操作。

32、进一步的，还包括卷积注意力模块，所述卷积注意力模块设于编码器输出端与解码器输入端之间，其包括依次连接的通道注意力模块和空间注意力模块；

33、所述通道注意力模块用于对输入图像特征数据生成通道维度上的注意力特征图，再与输入图像特征数据点乘后输入至空间注意力模块，所述空间注意力模块用于生成空间维度上的注意力特征图，再与输入图像特征数据点乘后得到输出图像特征数据；

34、所述通道注意力模块的操作流程表达式如下：

35、；

36、其中，表示通道注意力模块的输入，表示对进行平均池化操作，表示对进行最大池化操作，表示sigmoid激活函数，表示非线性拟合运算，表示通道注意力权重，表示空间注意力权重，表示通道注意力模块的输出；

37、所述空间注意力模块的操作流程表达式如下：

38、；

39、其中，表示空间注意力模块的输入，表示空间注意力模块的输出，表示对进行平均池化操作，表示对进行最大池化操作，表示大小的卷积操作。

40、第二方面，本发明提供一种基于流水线编码和多分支解码的环境智能感知系统，所述系统用于实现上述任一项所述的基于流水线编码和多分支解码的环境智能感知方法，包括：

41、传感器数据获取模块，用于获取多个传感器监测图像数据；

42、数据处理模块，用于对各传感器监测图像数据进行处理，得到处理后的传感器监测图像数据；

43、风险识别模块，用于根据处理后的传感器监测图像数据，基于风险认知模型进行识别得到电网工作环境中的多方面风险视觉识别结果。

44、进一步的，所述数据处理模块，具体用于：对各传感器监测图像数据进行整合、去噪和校正，得到处理后的传感器监测图像数据。

45、进一步的，所述风险认知模型采用编码器-解码器结构；

46、所述编码器用于对处理后对传感器监测图像数据进行下采样操作，其依次包括基本卷积模块以及多个特征编码模块；

47、所述解码器包括一主分支和多个次分支，所述主分支和次分支的输出端均经过融合模块与检测模块连接，所述主分支的输入端连接编码器输出端，其上设有多个特征解码模块，所述特征解码模块的输入端与对应基本卷积模块、特征编码模块连接，且输出端与对应次分支相连，所述次分支上均设有特征解码模块；

48、所述基本卷积模块和特征编码模块用于对处理后对传感器监测图像数据进行下采样操作，所述特征解码模块用于将编码器输出的高级语义信息以及基本卷积模块、特征编码模块输出的浅层细节信息进行上采样操作。

49、进一步的，所述特征编码模块依次包括p-block编码器、归一化层以及激活函数层；

50、其中，所述p-block编码器包括依次连接的第一卷积层、四个中间卷积层和第二卷积层，所述第一卷积层的卷积核为1×1，其用于扩展输入图像数据的特征通道数，四个所述中间卷积层分别为不同膨胀率的3×3膨胀卷积，其用于将输出图像数据特征减少为输入图像特征的四分之一，所述第二卷积层的卷积核为1×1，其用于对拼接后的第一卷积层和四个中间卷积层的输出图像数据进行特征融合，所述激活函数层为relu激活函数；

51、所述p-block编码器的操作表达式如下：

52、；

53、其中，与分别表示与大小的卷积操作，表示第一卷积层的输出图像数据，表示第个中间卷积层的输出图像数据，表示第二卷积层的输出图像数据，表示拼接操作。

54、进一步的，所述次分支、特征编码模块以及特征解码模块的数量均为4，所述特征解码模块的输入端分别对应与普通卷积模块、前三个所述特征编码模块连接；

55、所述特征解码模块依次包括全连接层、上采样模块、卷积层和批归一化层，所述上采样模块用于利用双线性插值方法对输入图像数据进行上采样，所述卷积层的卷积核为1×1，，其用于将图像数据通道数变为2；

56、所述次分支的操作表达式如下：

57、；

58、其中，表示第个次分支上的特征解码模块的输出，表示主分支的输入，表示第个次分支的输入，表示对通过双线性插值方法进行上采样操作；

59、所述主分支的操作表达式如下：

60、；

61、其中，表示主分支的输出，表示大小的卷积操作，表示批归一化操作。

62、进一步的，所述主分支上的特征解码模块与对应基本卷积模块、特征编码模块之间均设有环境智能感知增强模块；

63、所述环境智能感知增强模块用于增强浅层细节信息中的环境检测部分，其分为第一部分和第二部分；

64、所述第一部分包括相并列的最大池化层和平均池化层，所述最大池化层和平均卷积层均连接有卷积层，所述输入图像特征数据分别经过最大池化层、平均池化层以及卷积层后融合，并与输入图像特征数据点乘得到第一部分输出图像特征数据；

65、所述第二部分利用平均池化在水平维度和竖直维度上收集第一部分输出图像特征数据中具有长依赖性的上下文信息，并经卷积层提取图像特征后通过全连接层聚合，再依次经过1×1卷积层、sigmoid函数层与第一部分输出图像特征数据点乘，得到输出图像特征数据。

66、进一步的，所述融合模块包括全连接层和1×1卷积层，其操作表达式如下：

67、；

68、其中，表示融合模块的输出，表示大小的卷积操作，表示拼接操作。

69、进一步的，还包括卷积注意力模块，所述卷积注意力模块设于编码器输出端与解码器输入端之间，其包括依次连接的通道注意力模块和空间注意力模块；

70、所述通道注意力模块用于对输入图像特征数据生成通道维度上的注意力特征图，再与输入图像特征数据点乘后输入至空间注意力模块，所述空间注意力模块用于生成空间维度上的注意力特征图，再与输入图像特征数据点乘后得到输出图像特征数据；

71、所述通道注意力模块的操作流程表达式如下：

72、；

73、其中，表示通道注意力模块的输入，表示对进行平均池化操作，表示对进行最大池化操作，表示sigmoid激活函数，表示非线性拟合运算，表示通道注意力权重，表示空间注意力权重，表示通道注意力模块的输出；

74、所述空间注意力模块的操作流程表达式如下：

75、；

76、其中，表示空间注意力模块的输入，表示空间注意力模块的输出，表示对进行平均池化操作，表示对进行最大池化操作，表示大小的卷积操作。

77、第三方面，本发明提供一种计算机装置，包括：

78、存储器，用于存储计算机程序/指令；

79、处理器，用于执行所述计算机程序/指令以实现上述任一项所述基于流水线编码和多分支解码的环境智能感知方法的步骤。

80、与现有技术相比，本发明所达到的有益效果：

81、本发明提供的环境智能感知方法用于检测电网作业过程中的多种风险因素，通过集成多种传感器和人工智能技术，能够实时监测电网作业人员的安全装备状态以及周围环境情况，以准确识别潜在的安全隐患，并提供预警和建议，从而降低电网作业风险，保障作业人员的安全；

82、本发明通过流水线编码技术将数据分割成不同的阶段，以提高数据处理的效率和吞吐量。同时，利用多分支解码技术，实现对多源数据的并行处理和综合分析，从而使得环境智能感知系统能够更全面、更及时地感知和理解环境信息，不仅能够更好地应对环境的动态变化，还能够更有效地处理大规模数据，为环境智能感知提供了全新的技术解决方案；

83、在实际应用中，本发明的环境智能感知系统可广泛应用于电力行业，提升电网作业的安全性和效率，降低事故风险，保障人员生命财产安全。