一种基于向量量化生成对抗网络的图像增强方法及系统与流程

本技术涉及图像处理，尤其是涉及一种基于向量量化生成对抗网络的图像增强方法及系统。

背景技术：

1、随着人工智能技术的发展，图像处理技术与人工智能技术的结合具有广阔的发展空间和应用前景，其中，将人工智能技术与图像处理技术结合应用于地震救援场景中，能够为地震救援工作带来更有效的辅助和支持，提升救援工作的科技水平和效率，减少灾害造成的损失。

2、但现有基于人工智能技术的图像处理系统在对地震救援图像进行采集和处理的过程中，容易受到地震灾害现场光照条件、尘土遮挡等因素的干扰，导致地震救援图像缺失关键细节，无法使救援人员快速了解受灾人员的具体受灾情况，导致救援人员无法快速采取有效的救援行动。

技术实现思路

1、本技术提供一种基于向量量化生成对抗网络的图像增强方法及系统，以解决上述技术问题。

2、第一方面，本技术提供一种基于向量量化生成对抗网络的图像增强方法，所述方法包括：

3、获取救援图像集，对所述救援图像集进行预处理，确定预处理结果；

4、分析所述预处理结果，提取若干受灾细节特征；

5、根据所述若干受灾细节特征，基于向量量化生成对抗网络，对所述救援图像集进行重构，确定救援增强图像；

6、输出所述救援增强图像，以供救援人员查看和分析。

7、本技术的方法，对采集得到的救援图像集，进行预处理，减少救援图像中的干扰因素，得出预处理结果，通过分析预处理结果，提取救援图像内受灾人员的若干受灾细节特征，并根据若干受灾细节特征，实现向量联合生成对抗网络内部的对抗训练，以基于向量量化生成对抗网络，对救援图像集进行重构，确定救援增强图像，进而输出救援增强图像，以供救援人员查看和分析，显著减少地震灾区对救援图像产生的干扰，使救援增强图像中显现当前受灾人员的具体受灾细节，进而使救援人员能够根据救援增强图像，快速了解受灾人员的具体受灾情况，以制定相应的救援计划，采取相应的救援行动，在保障救援效率的同时，防止救援过程对受灾人员造成二次伤害。

8、可选的，其特征在于，所述对所述救援图像集进行预处理，确定预处理结果，包括：

9、分析所述救援图像集，确定救援场景类型；

10、对所述救援图像集内的每一救援图像进行去噪归一化处理，确定归一化救援图像集；

11、根据所述救援场景类型，确定数据扩充参数集；

12、根据所述数据扩充参数集，构建图像变换矩阵；

13、基于所述图像变换矩阵，对所述归一化救援图像集内的每一救援图像进行图像变换，确定变换图像数据集，并将所述变换图像数据集作为所述预处理结果。

14、上述技术方案，对救援图像集内的每一救援图像进行去噪归一化处理，减少后续图像处理过程的数据偏差，在确定归一化救援图像集后，根据救援场景类型，确定数据扩充参数集，以根据数据扩充参数集构建图像变换矩阵，然后根据图像变换矩阵对归一化救援图像集内的每一救援图像进行变换，确定变换图像数据集，以实现数据扩充，避免单一化救援图像数据对鲁棒性造成负面影响，将变换图像数据集作为预处理结果，使后续对预处理结果的分析过程更加全面。

15、可选的，所述数据扩充参数集包括但不限于旋转角度、缩放比例、裁切系数和平移向量，所述根据所述数据扩充参数集，构建图像变换矩阵，包括：

16、根据预设翻转矩阵、所述旋转角度、所述缩放比例、所述裁切系数和所述平移向量，构建以下图像变换矩阵：

17、；

18、其中，为所述图像变换矩阵，为所述预设翻转矩阵，为旋转角度，为缩放比例，为裁切系数，为平移向量。

19、上述技术方案，设计图像变换矩阵用于表达对救援图像的各种变换操作，对救援图像进行多方位变换，以实现数据扩充的目的，使得出的变换图像数据集内的图像数据能够全方位表示受灾人员的受灾情况，提高后续根据预处理结果提取的受灾细节特征的全面性和准确性。

20、可选的，所述分析所述预处理结果，提取若干受灾细节特征，包括：

21、分析所述预处理结果，确定受灾人员的人体位置；

22、基于所述人体位置，分析所述预处理结果，确定人体姿态；

23、根据所述人体位置和所述人体姿态，分析所述预处理结果，确定表象伤势信息；

24、根据所述人体姿态，确定人体面部位置，并根据面部位置，分析所述预处理结果，提取人员表情信息；

25、分析所述人体位置和所述人体姿态，判断所述受灾人员的部分躯体是否被遮挡；

26、若所述受灾人员的部分躯体被遮挡，基于所述人体位置，分析所述预处理结果，确定受压信息；

27、将所述人体姿态、所述表象伤势信息、所述表情信息和所述受压信息作为所述若干受灾细节特征。

28、上述技术方案，分析预处理结果，得出受灾人员的人体位置，进而根据人体位置，确定人体姿态，在人体位置和人体姿态的基础上，分析受灾人员表象伤势和面部表情，确定表象伤势信息和人员表情信息，通过分析能够初步反映受灾细节的人体姿态、表象伤势和面部表情，使得出的若干受灾细节特征具有代表性，进一步，若存在受灾人员被倒塌建筑物压迫的情况，则通过分析预处理结果，得出能够反映受灾人员受压状况的受压信息，使受灾细节特征更加全面。

29、可选的，所述分析所述预处理结果，确定受压信息，包括：

30、分析所述预处理结果，确定压迫物体位置；

31、根据所述人体位置和所述压迫物体位置，确定接触区域信息；

32、分析所述接触区域信息，确定受灾人员的受压状态；

33、将所述压迫物体位置、所述接触区域信息和所述受压状态作为所述受压信息。

34、上述技术方案，当受灾人员处于被倒塌建筑物压迫的状态时，通过分析预处理结果，确定压迫物体位置，再根据压迫物体位置和人体位置，确定受灾人员与压迫物体之间的接触区域信息，进而通过分析接触区域信息，确定受灾人员的受压状态，将压迫物体位置、接触区域信息和受压状态作为受压信息，以使受压信息全面反映当前受灾人员的受压情况。

35、可选的，所述分析所述预处理结果，确定受灾人员的人体位置，包括：

36、分析所述预处理结果，提取人体检测边框信息；

37、根据所述人体检测边框信息，参考以下表达式表达所述人体位置：

38、；

39、其中，为表示所述人体位置，为人体检测边框数量，为第个人体检测边框左上角坐标，为第个人体检测边框的宽度，为第个人体检测边框的高度；

40、所述分析所述预处理结果，确定压迫物体位置，包括：

41、分析所述预处理结果，提取压迫物检测边框信息；

42、根据所述压迫物检测边框信息，参考以下表达式表达压迫物体位置：

43、；

44、其中，其中，表示所述压迫物体位置，为压迫物检测边框数量，为第个压迫物检测边框左上角坐标，为第个压迫物检测边框的宽度，为第个压迫物检测边框的高度。

45、上述技术方案，分别综合人体检测边框信息和压迫物检测边框信息，设计表达式分别作为人体位置和压迫物体位置的数学表达，准确描述人体位置和压迫物位置，为后续根据人体位置和压迫物体位置量化受灾人员的受压程度提供精准的数学描述。

46、可选的，所述接触区域信息包括但不限于接触区域和接触曲线，所述根据所述人体位置和所述压迫物体位置，确定接触区域信息，包括：

47、根据所述人体位置和所述压迫物体位置，确定人体像素区域和压迫物体像素区域；

48、根据所述人体像素区域和所述压迫物体像素区域，确定所述接触区域，参考以下公式：

49、；

50、其中，为所述接触区域，为所述人体像素区域，为所述压迫物体像素区域；

51、对所述接触区域进行边缘提取，确定接触区域边缘；

52、根据所述接触区域边缘，参考以下多项式拟合表达式表示所述接触曲线：

53、；

54、其中，表示所述接触曲线，为所述接触区域边缘的横坐标，为多项式系数，为多项式最高次幂。

55、上述技术方案，根据人体位置和压迫物体位置，确定人体像素区域和压迫物体像素区域，在人体像素区域和压迫物体像素区域的基础上，通过公式精准定位接触区域，进而根据接触区域，利用数学表达式对接触曲线进行数学表达，为后续根据接触区域信息量化受灾人员的受压程度提供精准的数据基础。

56、可选的，所述分析所述接触区域信息，确定受灾人员的受压状态，包括：

57、分析所述接触区域，确定接触像素面积；

58、根据所述接触像素面积，确定受压面积；

59、根据所述受压面积和所述接触曲线，确定受压程度；

60、将所述受压面积和所述受压程度作为所述受压状态；

61、所述根据所述接触像素面积，确定受压面积，参考以下公式：

62、；

63、其中，为所述受压面积，为所述接触像素面积。

64、上述技术方案，分析接触区域，确定接触像素面积，并根据接触像素面积，通过数学公式确定受压面积，准确表达受压面积与接触像素面积之间的关系，进一步根据受压面积和接触区域，得出受压程度，综合受压面积以及受压程度，描述受压状态，提高受压程度准确性，同时使受压状态更加全面。

65、可选的，所述根据所述受压面积和所述接触曲线，确定受压程度，包括：

66、；

67、其中，为所述受压程度，为调整系数，<msub><mi>[x</mi><mn>1</mn></msub><mi>,</mi><msub><mi>x</mi><mn>2</mn></msub><mi>]</mi>为所述接触曲线内接触点的横坐标区间，为所述接触曲线，为所述受压面积。

68、上述技术方案，设计公式全面反映接触曲线、受压面积与受压程度之间的关系，以准确计算得出受灾人员的受压程度，为后续救援人员根据受压程度快速采取正确的救援行动提供了直观的量化数据，进一步保障救援行动的准确性。

69、第二方面，本技术提供一种基于向量量化生成对抗网络的图像增强系统，所述系统包括：

70、预处理模块，用于获取救援图像集，对所述救援图像集进行预处理，确定预处理结果；

71、特征提取模块，用于分析所述预处理结果，提取若干受灾细节特征；

72、增强模块，用于根据所述若干受灾细节特征，基于生成对抗网络，对所述救援图像集进行重构，确定救援增强图像；

73、输出模块，用于输出所述救援增强图像，以供救援人员查看和分析。

74、可选的，所述预处理模块，具体用于：

75、分析所述救援图像集，确定救援场景类型；

76、对所述救援图像集内的每一救援图像进行去噪归一化处理，确定归一化救援图像集；

77、根据所述救援场景类型，确定数据扩充参数集；

78、根据所述数据扩充参数集，构建图像变换矩阵；

79、基于所述图像变换矩阵，对所述归一化救援图像集内的每一救援图像进行图像变换，确定变换图像数据集，并将所述变换图像数据集作为所述预处理结果。

80、可选的，所述预处理模块，具体用于：

81、根据预设翻转矩阵、所述旋转角度、所述缩放比例、所述裁切系数和所述平移向量，构建以下图像变换矩阵：

82、；

83、其中，为所述图像变换矩阵，为所述预设翻转矩阵，为旋转角度，为缩放比例，为裁切系数，为平移向量。

84、可选的，所述特征提取模块，具体用于：

85、分析所述预处理结果，确定受灾人员的人体位置；

86、基于所述人体位置，分析所述预处理结果，确定人体姿态；

87、根据所述人体位置和所述人体姿态，分析所述预处理结果，确定表象伤势信息；

88、根据所述人体姿态，确定人体面部位置，并根据面部位置，分析所述预处理结果，提取人员表情信息；

89、分析所述人体位置和所述人体姿态，判断所述受灾人员的部分躯体是否被遮挡；

90、若所述受灾人员的部分躯体被遮挡，基于所述人体位置，分析所述预处理结果，确定受压信息；

91、将所述人体姿态、所述表象伤势信息、所述表情信息和所述受压信息作为所述若干受灾细节特征。

92、可选的，所述特征提取模块，具体用于：

93、分析所述预处理结果，确定压迫物体位置；

94、根据所述人体位置和所述压迫物体位置，确定接触区域信息；

95、分析所述接触区域信息，确定受灾人员的受压状态；

96、将所述压迫物体位置、所述接触区域信息和所述受压状态作为所述受压信息。

97、可选的，所述特征提取模块，具体用于：

98、分析所述预处理结果，提取人体检测边框信息；

99、根据所述人体检测边框信息，参考以下表达式表达所述人体位置：

100、；

101、其中，为表示所述人体位置，为人体检测边框数量，为第个人体检测边框左上角坐标，为第个人体检测边框的宽度，为第个人体检测边框的高度；

102、所述分析所述预处理结果，确定压迫物体位置，包括：

103、分析所述预处理结果，提取压迫物检测边框信息；

104、根据所述压迫物检测边框信息，参考以下表达式表达压迫物体位置：

105、；

106、其中，其中，表示所述压迫物体位置，为压迫物检测边框数量，为第个压迫物检测边框左上角坐标，为第个压迫物检测边框的宽度，为第个压迫物检测边框的高度。

107、可选的，所述特征提取模块，具体用于：

108、根据所述人体位置和所述压迫物体位置，确定人体像素区域和压迫物体像素区域；

109、根据所述人体像素区域和所述压迫物体像素区域，确定所述接触区域，参考以下公式：

110、；

111、其中，为所述接触区域，为所述人体像素区域，为所述压迫物体像素区域；

112、对所述接触区域进行边缘提取，确定接触区域边缘；

113、根据所述接触区域边缘，参考以下多项式拟合表达式表示所述接触曲线：

114、；

115、其中，表示所述接触曲线，为所述接触区域边缘的横坐标，为多项式系数，为多项式最高次幂。

116、可选的，所述特征提取模块，具体用于：

117、分析所述接触区域，确定接触像素面积；

118、根据所述接触像素面积，确定受压面积；

119、根据所述受压面积和所述接触曲线，确定受压程度；

120、将所述受压面积和所述受压程度作为所述受压状态；

121、所述根据所述接触像素面积，确定受压面积，参考以下公式：

122、；

123、其中，为所述受压面积，为所述接触像素面积。

124、可选的，所述特征提取模块，具体用于：

125、；

126、其中，为所述受压程度，为调整系数，<msub><mi>[x</mi><mn>1</mn></msub><mi>,</mi><msub><mi>x</mi><mn>2</mn></msub><mi>]</mi>为所述接触曲线内接触点的横坐标区间，为所述接触曲线，为所述受压面积。