煤矿井下综采工作面视觉图像信息提取方法及系统与流程

本发明涉及煤矿监控，尤其涉及一种煤矿井下综采工作面视觉图像信息提取方法及系统。

背景技术：

1、煤矿井下综采工作面是煤炭开采的主要场所，其特点是空间狭小、环境恶劣、作业人员密集，安全风险极高。为了提高开采效率、降低安全事故发生率，近年来，煤矿行业大力推广应用综采工作面技术。综采工作面是指采用综合机械化采煤方法进行开采的区域，其主要设备包括采煤机、刮板输送机、液压支架等。综采工作面通常布置在煤层开采的水平巷道中，采煤机沿煤层走向方向移动，切削煤炭，刮板输送机将切削下来的煤炭运送到地面，其环境复杂多变，存在粉尘、水雾、光照不足等不利因素，给信息的获取和处理带来了极大挑战。然而，传统的煤矿井下综采工作面视觉图像信息提取方法受限于井下恶劣的光照条件，难以获取清晰的图像信息，导致图像信息提取的准确性不足。

技术实现思路

1、基于此，本发明提供一种煤矿井下综采工作面视觉图像信息提取方法及系统，以解决至少一个上述技术问题。

2、为实现上述目的，一种煤矿井下综采工作面视觉图像信息提取方法，包括以下步骤：

3、步骤s1：对目标煤矿井进行光谱反射率测量，得到工作面反射特性数据；根据工作面反射特性数据进行结构光图案制定，生成几何结构光图案数据；

4、步骤s2：根据几何结构光图案数据进行工作面结构光投影处理，生成工作面投影光数据；基于工作面投影光数据进行工作面多视角图像采集，生成多视角图像帧数据；根据多视角图像帧数据进行三维点云重建处理，生成工作面点云光场模型；

5、步骤s3：基于工作面点云光场模型对多视角图像帧数据进行多视角阴影消除处理，得到无阴影图像序列数据；根据无阴影图像序列数据进行体素单元栅格化处理，生成多视角体素栅格数据；

6、步骤s4：对多视角体素栅格数据进行自适应背景抑制处理，生成前景显著体素特征数据；

7、步骤s5：基于前景显著体素特征数据构建目标图像语义识别模型；利用目标图像语义识别模型对无阴影图像序列数据进行智能语义实例识别，并进行视觉图像语义标注处理，生成视觉图像标注数据。

8、本发明对目标煤矿井进行光谱反射率测量，能够获得工作面反射特性数据。这些反射特性数据提供了对工作面表面材料和光照条件的深入了解。根据工作面反射特性数据进行结构光图案制定，确保所设计的几何结构光图案能够与工作面的实际光照条件和表面材质特性完美匹配，从而提高了投影质量和图像采集的精准度。基于得到的结构光图案数据进行的工作面投影处理，不仅优化了光照条件，还通过多角度图像捕获，全面覆盖了工作面的各个细节。三维点云光场模型的构建，是对这些多视角图像数据进行深度整合与解析的结果，它转换了传统的二维图像信息至三维空间表达，极大地增强了对工作面复杂结构与物体布局的可视化理解及测量精度。基于工作面点云光场模型对多视角图像帧数据进行多视角阴影消除处理，能够有效消除阴影对图像质量的影响，得到的无阴影图像序列数据更具清晰度和细节。通过去除阴影，图像中的重要特征得以清晰呈现，增强了视觉信息的可用性和分析能力。根据无阴影图像序列数据进行体素单元栅格化处理，提供了规范化的三维数据结构。对多视角体素栅格数据进行自适应背景抑制处理，能够有效分离前景显著体素特征数据。通过抑制背景噪声，强调与目标相关的前景特征，提升了数据的有效性和可靠性，消除了干扰信息，不仅提升了数据处理的效率，更重要的是强化了对目标对象的关注，使得后续的目标识别和分类更加准确和高效。通过利用前沿的机器学习或深度学习算法，模型能够从经过预处理的无阴影图像序列数据中自动学习并识别出具有特定语义含义的实例，如设备、人员或特定地质构造等。视觉图像的语义标注不仅为后续的自动化监控、安全评估或资源管理提供了即时可用的信息，也极大地提升了整个矿井作业的智能化水平，有助于实现更高效的决策支持和风险预防。因此，本发明的一种煤矿井下综采工作面视觉图像信息提取方法通过光谱引导的结构光投影，实现多视角图像采集；利用点云光场模型进行阴影区域识别和修复，并结合时序信息进行动态背景抑制，消除环境干扰，通过深度学习技术训练图像语义识别模型，对无阴影图像进行像素级语义标注，有效解决了井下恶劣光照条件下图像信息提取不准确的问题。

9、优选地，步骤s1包括以下步骤：

10、步骤s11：对目标煤矿井进行工作面光谱反射率测量，得到工作面反射特性数据；

11、步骤s12：根据工作面反射特性数据进行傅里叶频谱分析，生成目标煤矿频谱特征数据；

12、步骤s13：根据目标煤矿频谱特征数据进行主要频率成分识别，并进行频率聚类组合处理，生成煤矿优选频率序列数据；

13、步骤s14：利用预设的正弦波叠加函数对煤矿优选频率序列数据进行多频率周期光栅处理，生成煤矿周期光栅数据；

14、步骤s15：基于煤矿周期光栅数据进行分形几何结构光图案制定，生成几何结构光图案数据。

15、本发明通过对煤矿井工作面实施光谱反射率测量，直接量化了工作面在不同波长下的反射特性。将反射特性数据转换至频率域，通过这种转换，可以揭示工作面反射光中隐含的周期性结构信息。能有效分离出不同频率成分。根据目标煤矿频谱特征数据进行主要频率成分识别，通过识别出最具代表性的频率成分，能够将具有相似特征的频率进行分组，形成优选频率序列。通过将优选频率信息转化为光栅图案，使得不同频率成分可以在工作面进行有效地投射，实现多频率光栅的叠加效果，这种光栅能够增强特定频率成分的对比度，使得在视觉图像中特定结构和特征更为突出，增强了光照的均匀性和特征表现力。基于煤矿周期光栅数据进行分形几何结构光图案制定，分形几何因其自相似特性，在复杂结构的表征上具有独特优势，能够更细致、更全面地覆盖煤矿工作面的复杂几何特征，生成的几何结构光图案因此具备了更高的信息编码能力和更强的环境适应性，极大地增强了视觉信息的提取能力。

16、优选地，步骤s2包括以下步骤：

17、步骤s21：对几何结构光图案数据进行结构光编码处理，生成编码光信号数据；

18、步骤s22：基于编码光信号数据利用投影仪设备进行工作面结构光投影处理，生成工作面投影光数据；

19、步骤s23：通过工作面投影光数据对综采设备进行多视角相机阵列部署，并通过网络时间协议进行多摄像同步触发处理，从而构建多视角同步摄像网络；

20、步骤s24：通过多视角同步摄像网络对工作面投影光数据进行工作面多视角图像采集，分别得到多视角图像帧数据以及多相机摄像参数；

21、步骤s25：对多视角图像帧数据进行像素级光信号解码处理，得到解码光信号矩阵数据；

22、步骤s26：利用多相机摄像参数对解码光信号矩阵数据进行三维点云重建处理，生成工作面点云光场模型。

23、本发明对几何结构光图案进行编码处理并生成编码光信号数据，实质上是将结构光图案转换为携带特定信息的光信号，编码技术的引入增强了信息的携带能力和抗干扰性。利用投影仪设备根据编码光信号数据进行工作面结构光投影，将含有丰富信息的光图案映射到复杂的煤矿工作面环境中，不仅为工作面提供了均匀且信息丰富的照明，还为后续的图像采集和分析奠定了关键的视觉基础。通过构建多视角同步摄像网络，实现了对工作面投影光数据的全方位、同步记录。多相机阵列的部署和网络时间协议的使用确保了各视角图像的时空一致性。通过多个同步摄像机同时捕捉工作面图像，能够生成丰富的多视角图像帧数据。这些图像帧数据包含了工作面在不同角度下的特征信息，还记录了每帧图像的拍摄条件。将编码光信号转化为可处理的矩阵数据。解码处理能够有效提取出投影光信号中的信息，并剔除噪声干扰，从而提高信息的可用性。通过将解码后的光信号数据与摄像机参数结合，生成三维点云模型，将二维图像信息转化为三维空间表达，极大地丰富了对工作面结构的理解和表现，能够真实地反映工作面的三维结构和特征。

24、优选地，步骤s26包括以下步骤：

25、步骤s261：根据解码光信号矩阵数据进行空间点云重建处理，生成高密度点云模型数据；对高密度点云模型数据进行点云坐标提取，生成点云坐标数据；

26、步骤s262：利用多相机摄像参数对点云坐标数据进行光线方向向量计算，生成点云光线方向向量数据；

27、步骤s263：根据点云光线方向向量数据进行光线投射追踪处理，得到光线方向矩阵数据；

28、步骤s264：利用解码光信号矩阵数据对光线方向矩阵数据进行点云光强计算，生成点云光照强度数据；

29、步骤s265：通过点云光照强度数据以及点云光线方向向量数据对高密度点云模型数据进行光照属性整合处理，生成工作面点云光场模型。

30、本发明将二维图像信息转换为三维空间中的密集点集，大幅提高了模型的细节表现力和空间分辨率，进一步的点云坐标提取，为每个点云点分配了精确的空间位置信息。通过结合多相机的视角和点云坐标，能够为每个点计算出相应的光线方向向量，反映光线的传播方向。通过对光线方向进行追踪，能够生成光线方向矩阵，描述光线在空间中的传播路径和特征。光线投射追踪处理的重要性在于，能够通过模拟光线的传播过程，深入理解光照在工作面上的分布情况。通过结合解码后的光信号和光线方向的信息，计算每个点在特定光线方向下的光照强度。光照强度数据为后续的光照属性整合提供了关键参数，能够实现更精确的光照模拟和分析，确保生成的光照强度数据能够真实反映工作面的光线分布情况。将光照强度与光线方向信息结合，形成完整的工作面点云光场模型，能够真实地反映工作面在不同光照条件下的表现。

31、优选地，步骤s3包括以下步骤：

32、步骤s31：根据工作面点云光场模型进行光场属性解耦处理，分别得到光场强度分布数据以及图像光场方向数据；

33、步骤s32：通过光场强度分布数据对多视角图像帧数据进行图像光强补偿处理，生成光强补偿图像序列数据；

34、步骤s33：根据图像光场方向数据以及光强补偿图像序列数据构建多视角阴影修复策略；

35、步骤s34：利用多视角阴影修复策略对光强补偿图像序列数据进行多视角阴影消除处理，得到无阴影图像序列数据；

36、步骤s35：根据无阴影图像序列数据进行图像金字塔特征提取，生成多尺度图像特征数据；

37、步骤s36：基于多尺度图像特征数据对工作面点云光场模型进行空间反投影处理，生成图像特征点云投影模型；

38、步骤s37：根据图像特征点云投影模型进行多视角特征点张量融合，并进行体素单元栅格化处理，生成多视角体素栅格数据。

39、本发明通过将光场中的强度和方向进行分离，能够明确地识别出光在工作面上的强度分布特征以及光线传播的方向信息，有助于独立分析和控制光场的不同属性。通过分析光场强度信息，对多视角图像进行补偿，能够消除由于光照不均匀造成的图像亮度差异，光强补偿图像序列数据的生成使得后续分析能够基于更一致的光照条件进行，从而提高图像的可比性和分析精度。通过结合光场方向信息和补偿后的图像数据，能够识别出图像中的阴影区域并制定相应的修复策略，使得系统能够更有效地处理复杂的光照环境。利用构建的多视角阴影修复策略对光强补偿图像序列进行处理，有效消除了图像中的阴影，恢复了被遮挡部分的细节，增强了图像的完整性和信息量。通过图像金字塔特征提取技术，从无阴影图像序列数据中提取出多尺度图像特征数据，这种多层次的特征表达方式能够兼顾局部细节与全局结构，提高了特征描述的全面性和鲁棒性。通过将图像特征信息反投影到点云光场模型中，能够形成一个包含特征信息的三维模型，图像特征点云投影模型的生成使得系统可以将二维图像特征与三维空间结构相结合。通过将来自不同视角的特征点进行融合，能够综合不同视角下的特征信息，从而提高点云数据的完整性和准确性。特征点张量的融合过程确保了在不同视角下捕捉到的关键特征能够得到有效整合，形成一个更具代表性的三维模型。

40、优选地，步骤s32包括以下步骤：

41、步骤s321：对多视角图像帧数据进行像素灰度值亮度提取，生成图像初始亮度分布数据；

42、步骤s322：利用光场强度分布数据对多视角图像帧数据进行像素点光场强度映射，得到图像光强映射数据；

43、步骤s323：根据图像光强映射数据进行工作面平均亮度值计算，得到平均亮度参考值；

44、步骤s324：通过图像初始亮度分布数据对平均亮度参考值进行光强差异系数计算，生成亮度补偿因子数据；

45、步骤s325：基于光强补偿因子数据对多视角图像帧数据进行图像亮度补偿调整，生成光强亮度补偿图像数据；

46、步骤s326：根据光强亮度补偿图像数据进行对比度增强处理，生成光强补偿图像序列数据。

47、本发明通过提取每个像素的灰度值，能够形成图像的亮度分布特征，有助于明确图像中各区域的明暗分布状况。通过将光场的强度信息映射到图像的每个像素，能够反映工作面在不同光照条件下的实际光强分布。通过准确的光强映射，确保了图像处理过程中能够针对不同光照条件进行有效调整。通过对整个图像的光强映射数据进行分析，计算出工作面的平均亮度，提供了一个重要的参考标准。有助于统一不同视角图像间的亮度水平，避免因视角变化引起的亮度突变，保证了视觉信息的一致性。通过比较图像初始亮度分布与平均亮度参考值，确保了对每个像素点的亮度调整都是基于其与平均亮度的差异，达到了精确补偿的目的。通过应用计算得到的补偿因子，对每个像素进行亮度调整，消除光照不均匀所带来的影响。光强亮度补偿图像数据的生成确保了图像在亮度上的一致性。对光强亮度补偿图像数据进行对比度增强处理，对比度增强不仅提升了图像的细节表现力，还使得图像中的目标和背景之间的界限更加分明，使得工作面的重要信息更加突出。

48、优选地，步骤s33包括以下步骤：

49、步骤s331：通过图像光场方向数据对光强补偿图像序列数据进行光照方向一致性计算，生成图像光照方向数据；对光强补偿图像序列数据进行邻域像素光强差异计算，生成图像光强差异数据；

50、步骤s332：利用预设的图像阴影判断阈值对图像光照方向数据以及图像光强差异数据进行图像阴影区域识别，生成图像阴影区域候选数据；

51、步骤s333：基于图像阴影区域候选数据对光强补偿图像序列数据进行多视角图像配准处理，得到多视角阴影配准数据；

52、步骤s334：对多视角阴影配准数据以及图像阴影区域候选数据进行阴影纹理特征分析，分别生成多视角配准纹理数据以及阴影候选纹理数据；

53、步骤s335：基于多视角配准纹理数据进行纹理丰富程度评估，并进行纹理权重分配，生成配准纹理权重数据；

54、步骤s336：利用多视角配准纹理数据对阴影候选纹理数据进行纹理比对评估处理，生成纹理比对评估数据；

55、步骤s337：通过配准纹理权重数据对多视角纹理比对评估数据进行阴影置信度加权计算，生成候选阴影置信度数据；当候选阴影置信度数据低于预设的阴影置信阈值时，将图像阴影区域候选数据标记为低置信阴影数据；当候选阴影置信度数据高于或者等于预设的阴影置信阈值时，将图像阴影区域候选数据标记为高置信阴影候选数据；

56、步骤s338：对高置信阴影候选数据进行阴影区域边界精细化处理，并进行阴影修复区域掩膜生成，生成阴影区域掩膜数据；

57、步骤s339：基于配准纹理权重数据进行最高权重纹理特征提取，得到阴影填充纹理数据；利用阴影填充纹理数据对阴影区域掩膜数据进行精细化阴影修复处理，生成精细化阴影修复数据；

58、步骤s3310：基于低置信阴影数据以及精细化阴影修复数据构建多视角阴影修复策略。

59、本发明通过计算图像中不同像素的光照方向，能够确保不同视角下的光照信息具有一致性。对光照补偿图像数据进行邻域像素光强差异计算，能够识别出图像中光照变化较大的区域。通过结合光照方向和光强差异的信息进行定量分析，有效地将潜在的阴影区域从整个图像中区分出来。通过对多个视角的图像进行配准，能够确保阴影区域在不同视角下的一致性和准确性，通过图像配准，减少了因视角变化带来的误差。通过分析阴影区域的纹理特征，能够深入理解阴影区域的视觉特性和结构，还特别关注了阴影候选区域的纹理特征，为阴影修复提供了必要的细节信息。通过评估纹理的丰富程度，能够为不同的纹理区域分配合适的权重，确保在阴影修复过程中，能够优先使用那些纹理丰富且相关性强的区域，提高修复效果的准确性和视觉质量。对比不同视角下的纹理特征实现阴影区域验证，通过加权计算得到候选阴影置信度数据，实现了对阴影识别结果的置信度评估，有效区分了高置信度和低置信度的阴影区域。针对高置信度阴影候选数据进行的边界精细化处理和阴影修复区域掩膜生成，进一步细化了阴影区域的边界，确保了修复的精确性。而精细化阴影修复数据的生成，则是基于准确的掩膜和合适的纹理填充，提高了修复质量，能够有效填补阴影区域，消除阴影对图像整体视觉效果的干扰，确保在处理复杂光照条件下的阴影时，能够灵活应对并优化修复效果。

60、优选地，步骤s4包括以下步骤：

61、步骤s41：通过预设的时序周期采样窗口对多视角体素栅格数据进行时序采样处理，得到时序体素栅格序列数据；

62、步骤s42：基于时序体素栅格序列数据构建三维时空特征图；

63、步骤s43：对三维时空特征图进行体素级时空变化分析，得到体素动态特征矩阵数据；

64、步骤s44：根据体素动态特征矩阵数据进行轨迹稳定性评估，生成体素时空变化评估数据；

65、步骤s45：通过体素时空变化评估数据对多视角体素栅格数据进行动态特征区域识别，并进行动态体素特征模糊处理，从而得到静态背景体素数据；

66、步骤s46：利用静态背景体素数据对多视角体素栅格数据进行自适应背景抑制处理，生成前景显著体素特征数据。

67、本发明通过对体素栅格数据进行定期采样，能够提取出在特定时间间隔内的体素信息，形成一个时序数据序列，提供了时间维度上的连续样本。通过将时序体素数据映射到三维空间中，形成一个具有时间维度的特征图，能够直观地展示体素在空间和时间上的变化情况。通过对体素动态特征进行系统分析，能够评估出各个体素在时空变化过程中的稳定性，确保能够准确识别出变化显著的区域。通过分析时空变化评估结果，能够识别出属于动态目标（例如移动设备）的特征，并对这些区域进行模糊处理，以便将动态特征与静态背景区分开来，剔除了背景中的动态干扰。通过将静态背景信息应用于体素栅格数据，能够有效抑制背景干扰，增强前景目标的显著性，使得重要的作业面活动、设备状态等信息更加易于识别和分析。

68、优选地，步骤s5包括以下步骤：

69、步骤s51：获取煤矿工作面标注样本数据；对煤矿工作面标注样本数据进行随机数据划分，分别得到训练集以及验证集；

70、步骤s52：利用训练集对预设的卷积神经网络模型进行模型训练处理，并进行注意力机制嵌入处理，得到初始图像语义识别模型；

71、步骤s53：通过初始图像语义识别模型中注意力机制对前景显著体素特征数据进行特征注意力聚焦处理，得到聚焦图像语义识别模型；

72、步骤s54：通过验证集对聚焦图像语义识别模型进行模型验证，并进行超参数调优处理，得到目标图像语义识别模型；

73、步骤s55：利用前景显著体素特征数据对无阴影图像序列数据进行图像特征重采样处理，生成工作面特征重采样数据；

74、步骤s56：将工作面特征重采样数据传输至目标图像语义识别模型进行智能语义实例识别，生成语义图像实例识别数据；

75、步骤s57：通过语义图像实例识别数据对多视角图像帧数据进行视觉图像语义标注处理，生成视觉图像标注数据。

76、本发明通过收集和标注样本数据，为后续模型的训练和验证提供了基础数据。随机数据划分确保了训练集和验证集的代表性，使得模型能够在不同的数据上进行学习和验证。确保模型训练能够覆盖不同的情况，从而提高模型的泛化能力和准确性。通过使用标注的训练数据对模型进行训练，使得卷积神经网络能够学习到图像中的特征和模式。利用模型中的注意力机制，使得处理过程中能够优先关注对任务最重要的特征，增强了模型对关键区域的敏感性，通过特征聚焦，显著提升了图像语义识别的精确度。通过对聚焦模型在验证集上的表现进行评估，能够识别出模型的优缺点，并根据验证结果进行超参数的调整，确保最终模型能够适应实际工作环境的需求。通过对图像数据进行重采样，能够在不同分辨率下提取出更为精确的特征信息，增强图像特征的表达能力。通过将重采样数据输入到经过训练和验证的模型，能够自动识别图像中的语义实例，提取出关键信息，能够实现自动化的图像分析，为煤矿井下各种目标和场景提供了准确的语义标签，实现了对煤矿井下综采工作面的高精度视觉信息提取与智能分析。

77、本发明还提供一种煤矿井下综采工作面视觉图像信息提取系统，执行如上所述的煤矿井下综采工作面视觉图像信息提取方法，该煤矿井下综采工作面视觉图像信息提取系统包括：

78、光谱引导图案生成模块，用于对目标煤矿井进行光谱反射率测量，得到工作面反射特性数据；根据工作面反射特性数据进行结构光图案制定，生成几何结构光图案数据；

79、多视角图像采集模块，用于根据几何结构光图案数据进行工作面结构光投影处理，生成工作面投影光数据；基于工作面投影光数据进行工作面多视角图像采集，生成多视角图像帧数据；根据多视角图像帧数据进行三维点云重建处理，生成工作面点云光场模型；

80、多视角图像处理模块，用于基于工作面点云光场模型对多视角图像帧数据进行多视角阴影消除处理，得到无阴影图像序列数据；根据无阴影图像序列数据进行体素单元栅格化处理，生成多视角体素栅格数据；

81、图像前景特征提取模块，用于对多视角体素栅格数据进行自适应背景抑制处理，生成前景显著体素特征数据；

82、智能图像标注模块，用于基于前景显著体素特征数据构建目标图像语义识别模型；利用目标图像语义识别模型对无阴影图像序列数据进行智能语义实例识别，并进行视觉图像语义标注处理，生成视觉图像标注数据。