一种AGV运行监测方法及系统与流程

本发明涉及数字数据处理，尤其涉及一种agv运行监测方法及系统。

背景技术：

1、自动引导车(automated guided vehicles，agvs)是一种用于在工业、仓储和物流等领域进行自动化运输的机器人设备。它们通常被用来在工厂、仓库和分销中心等环境中执行各种任务，如物料搬运、零部件运输、库存管理等。agvs通常配备有多种传感器，如激光雷达、摄像头、超声波传感器等，用于感知周围环境并导航到目标位置。

2、传统的agv系统通常是预先编程的，它们按照预先定义的路线和任务执行工作。然而，随着人工智能和自主导航技术的发展，越来越多的agv系统具备了自主决策和智能路径规划的能力。这种新一代的agv系统能够实时感知环境、分析场景、规划路径，并根据变化的环境条件做出实时调整，以更高效地完成任务。传统的预先编程方法、逻辑指令或者技术方案无法应对环境变化和突发情况，如何确保agv在复杂环境中安全、高效地运行便成为了一个问题。

技术实现思路

1、本发明为解决上述技术问题，提出了一种agv运行监测方法及系统，以解决至少一个上述技术问题。

2、本技术提供了一种agv运行监测方法，所述方法包括：

3、s1、通过多源传感器进行环境图像采集，得到agv环境图像数据；

4、s2、对所述agv环境图像数据进行关键特征提取，得到agv环境关键特征数据；

5、s3、根据所述agv环境关键特征数据进行语义地图生成，得到agv环境语义地图数据；

6、s4、获取目的地数据，并根据所述目的地数据以及所述agv环境语义地图数据进行路径规划与决策处理，得到agv路径规划决策数据，以进行agv运行监测作业。

7、本发明中通过采集环境图像数据，并提取关键特征，结合目的地数据和语义地图生成的数据，实现了对环境的感知和理解，并能够将这些信息用于路径规划和决策处理，提高agv运行的智能化水平，使其能够更加准确地适应复杂的环境和任务需求。通过对环境图像数据的实时采集和处理，以及对路径规划决策数据的实时生成，实现了对agv运行过程的实时监测和反馈，及时发现环境变化、路径阻塞或其他异常情况，并采取相应的措施进行调整和应对，从而保证agv的安全性和高效性。通过基于环境特征数据和语义地图数据进行路径规划与决策处理，可以使得路径更加合理和优化，例如，避开环境中的障碍物、优化路径长度，减少行驶时间和能量消耗，提高agv的运行效率和性能。考虑了环境因素、目的地数据和路径规划决策数据，可以使得agv在运行过程中更加稳定、安全和高效。通过路径规划和决策处理的优化，可以最大程度地减少潜在的危险因素和意外情况，提高agv的运行效率和安全性。

8、可选地，所述通过多源传感器进行环境图像采集，得到agv环境图像数据，包括：

9、通过激光雷达进行环境图像采集，得到第一agv环境图像数据，并通过摄像头进行环境图像采集，得到第二agv环境图像数据；

10、对所述第一agv环境图像数据以及所述第二agv环境图像数据进行图像预处理，分别得到第一agv环境图像预处理数据以及第二agv环境图像预处理数据；

11、对所述第一agv环境图像预处理数据以及所述第二agv环境图像预处理数据进行图像分割，分别得到第一agv环境图像分割数据以及第二agv环境图像分割数据；

12、对所述第一agv环境图像分割数据以及所述第二agv环境图像分割数据进行特征提取，得到第一agv环境图像特征数据以及第二agv环境图像特征数据；

13、对所述第一agv环境图像特征数据以及所述第二agv环境图像特征数据进行特征匹配，得到agv环境图像特征匹配数据；

14、对所述agv环境图像特征匹配数据进行特征融合，得到agv环境图像数据。

15、本发明中通过同时利用激光雷达和摄像头获取的环境图像数据，考虑不同传感器的特点和数据信息，从而获取更加全面和准确的环境信息。激光雷达可以提供高精度的距离信息，而摄像头则可以提供丰富的视觉信息，两者结合可以更好地理解环境。由于采集了多源环境图像数据，并经过预处理和分割等步骤进行处理，有效地减少数据的噪声和不确定性，提高数据的可靠性和准确性，特别是在复杂环境或恶劣条件下，多源数据的综合利用可以降低数据误差，增强数据的可信度。经过特征提取和匹配，从多个维度上获取环境图像的特征信息，包括形状、纹理、颜色等方面的特征，提供丰富的环境描述信息，有助于更好地理解和分析环境。通过特征融合，将来自不同传感器的特征信息进行整合和融合，提高环境感知的能力，更准确地识别环境中的障碍物、道路标志等物体。多源数据的利用和特征融合可以增强系统的鲁棒性和适应性，使其能够更好地适应不同环境和场景下的运行需求，有助于提高agv系统的稳定性和可靠性，减少意外事件的发生。

16、可选地，所述对所述第一agv环境图像数据以及所述第二agv环境图像数据进行图像预处理，分别得到第一agv环境图像预处理数据以及第二agv环境图像预处理数据，包括：

17、对所述第一agv环境图像数据进行中值滤波，得到第一agv环境图像中值滤波数据；

18、对所述第一agv环境图像中值滤波数据进行数据配准，得到第一agv环境图像配准数据；

19、对所述第一agv环境图像配准数据进行数据转换，得到第一agv环境图像转换数据；

20、对第一agv环境图像转换数据进行异常点处理，得到第一agv环境图像预处理数据；

21、对所述第二agv环境图像数据进行非局部均值去噪，得到第二agv环境图像去噪数据；

22、对所述第二agv环境图像去噪数据进行图像增强，得到第二agv环境图像增强数据；

23、对所述第二agv环境图像增强数据进行图像校正，得到第二agv环境图像校正数据；

24、对所述第二agv环境图像校正数据进行背景去除，得到第二agv环境图像预处理数据。

25、本发明中通过中值滤波和非局部均值去噪等预处理步骤，可以有效地去除图像中的噪声，提高图像的清晰度和质量，减少后续处理步骤对噪声的敏感度，提高处理结果的准确性和可靠性。对图像进行去噪和增强处理，可以增强图像的对比度、色彩和细节，使得图像更加清晰和易于理解，有助于后续处理步骤对图像的分析和识别，提高处理效率和准确度。通过数据配准和图像校正，可以将不同图像之间的空间位置和角度进行调整，使它们在同一坐标系下对齐，有助于后续处理步骤对图像的比较和分析，提高数据的可比性和一致性。对图像进行异常点处理和背景去除，可以去除图像中的干扰因素和不相关信息，保留主要的目标和特征，有助于提高后续处理步骤对目标的检测和识别准确度，降低误判率和漏检率。通过预处理步骤，减少图像中的噪声和不必要的信息，提高处理效率和节省计算资源。

26、可选地，所述对所述第一agv环境图像预处理数据以及所述第二agv环境图像预处理数据进行图像分割，分别得到第一agv环境图像分割数据以及第二agv环境图像分割数据，包括：

27、对所述第一agv环境图像预处理数据进行点密度估计，得到点密度数据；

28、对所述点密度数据进行核心点选择，得到核心点数据；

29、根据所述核心点数据进行边界点确定，得到边界点数据；

30、根据所述边界点数据对所述第一agv环境图像预处理数据进行噪声点排除，得到噪声点排除数据；

31、根据所述核心点数据以及所述边界点数据对噪声点排除数据进行聚类形成，得到空间聚类数据；

32、根据所述空间聚类数据对所述第一agv环境图像预处理数据进行图像分割，得到第一agv环境图像分割数据；

33、对所述第二agv环境图像预处理数据进行深度语义分割，得到第二agv环境图像分割数据；

34、其中所述核心点选择的步骤，具体为：

35、对所述第一agv环境图像预处理数据进行边缘处理，得到agv环境图像边缘处理数据；

36、对agv环境图像边缘处理数据进行纹理特征提取，得到图像纹理特征数据；

37、根据所述图像纹理特征数据进行分布情况提取，得到纹理特征分布情况数据；

38、根据所述纹理特征分布情况数据进行密度邻域计算，得到密度邻域数据；

39、根据所述密度邻域数据对所述第一agv环境图像预处理数据进行点密度估计，得到点密度数据。

40、本发明中通过对环境图像预处理数据进行点密度估计和核心点选择，有效地识别出图像中的主要目标或区域，聚焦于对主要目标的处理，提高处理的准确度和效率。通过确定核心点和边界点，并根据这些信息对图像预处理数据进行噪声点排除，去除图像中的不必要的背景和噪声，保留主要的目标或区域，提高图像分割的精度和清晰度。对第一agv环境图像采用空间聚类方法进行分割，根据点的空间分布特征将图像中的目标进行分离和区分，提高分割的准确度和效率。对第二agv环境图像采用深度语义分割方法进行分割，则可以根据像素的深度信息和语义信息将图像中的目标进行精确分割和分类，获得更加准确和清晰的分割结果。通过对图像进行精细的分割处理，可以使得目标的边界更加清晰，从而提高后续目标识别和分析的精度，准确地识别出目标的位置、形状和大小，为后续的路径规划和决策提供更准确的信息。

41、本发明边缘处理可以突出图像中目标的边界，使得目标的边缘更加清晰和明显，提取图像的纹理特征时更加准确地捕获目标的边缘信息。纹理特征提取可以帮助识别图像中不同区域的纹理特性，例如光滑、粗糙、均匀等，区分图像中的不同目标或区域。通过计算密度邻域，可以确定图像中各个区域的密度分布情况，识别出图像中的核心点，即密度较高的区域，从而聚焦于图像中的主要目标或区域。根据密度邻域数据进行点密度估计，更准确地确定图像中每个点周围的数据点数量，从而识别出图像中的核心点，将图像分割为不同的区域。传统方法仅仅基于局部信息或者局部特征来选择核心点，而忽略了图像的全局结构和语义信息，导致选择到的核心点不够代表性，而本发明基于图像的纹理特征和密度邻域数据，动态地选择核心点，能够更好地适应不同场景和环境的变化，提高了特征选择的灵活性和适应性。

42、可选地，所述对所述第一agv环境图像特征数据以及所述第二agv环境图像特征数据进行特征匹配，得到agv环境图像特征匹配数据，包括：

43、利用预设的深度特征描述子提取模型对所述第一agv环境图像特征数据以及所述第二agv环境图像特征数据进行特征表示提取，得到第一agv环境图像特征表示数据以及第二agv环境图像特征表示数据；

44、对所述第一agv环境图像特征表示数据以及所述第二agv环境图像特征表示数据进行距离计算，得到特征距离数据；

45、根据所述特征距离数据进行最近邻搜索，得到最近邻搜索数据；

46、根据所述最近邻搜索数据进行匹配对建立，得到agv环境图像特征匹配数据。

47、本发明中通过利用预设的深度特征描述子提取模型对agv环境图像数据进行特征表示提取，将图像数据转换为高维特征表示，更好地捕捉到图像中的丰富信息和特征。对特征表示数据进行距离计算，可以度量不同图像之间的相似度或差异度。然后利用最近邻搜索方法，寻找每个图像在特征空间中的最近邻，即最相似的图像，将图像数据进行匹配对建立，找出相似的图像对。通过利用深度特征描述子和距离计算进行特征匹配，更准确地确定图像之间的相似性，提高图像匹配的准确性和鲁棒性，减少匹配错误的可能性。

48、可选地，所述对所述agv环境图像数据进行关键特征提取，得到agv环境关键特征数据，包括：

49、对所述agv环境图像数据进行初级特征提取，得到agv环境图像初级特征数据，其中所述agv环境图像初级特征数据包括agv环境图像边缘特征数、agv环境图像纹理特征数据以及agv环境图像颜色特征数据；

50、根据所述agv环境图像初级特征数据进行特征描述生成，得到特征描述数据；

51、根据所述特征描述数据对agv环境图像初级特征数据进行特征选择，得到agv环境关键特征数据。

52、本发明中通过对agv环境图像数据进行初级特征提取，包括边缘特征、纹理特征和颜色特征的提取，从多个维度捕捉图像的重要特征信息。在获得初级特征数据后，根据这些数据生成特征描述，能够更好地表征图像的特征信息，将图像中复杂的特征转化为更加简洁和可理解的描述形式。通过对特征描述数据进行特征选择，筛选出对于目标识别和分析最具有代表性和重要性的特征，有助于降低数据维度，减少冗余信息，提高后续任务的效率和准确性。通过提取关键特征并进行特征选择，减少对于大量原始图像数据的处理和计算量，从而节省计算资源和时间成本。同时，通过选取关键特征，可以提高系统对于重要信息的关注度，提高系统的整体性能。

53、可选地，其中所述agv环境关键特征数据包括第一agv环境关键特征数据以及第二agv环境关键特征数据，所述根据所述特征描述数据对agv环境图像初级特征数据进行特征选择，得到agv环境关键特征数据，包括：

54、根据所述特征描述数据对agv环境图像初级特征数据进行标记，得到agv环境图像初级特征标记数据；

55、对所述agv环境图像初级特征标记数据进行聚类计算，得到初级特征标记聚类数据；

56、对所述初级特征标记聚类数据进行相似性计算，得到初级特征标记相似性数据；

57、根据所述初级特征标记相似性数据以及所述初级特征标记聚类数据对所述agv环境图像初级特征数据进行筛选，得到所述第一agv环境关键特征数据；

58、对所述初级特征标记聚类数据进行方差计算，得到特征标记方差数据；

59、根据所述特征标记方差数据以及所述agv环境图像初级特征数据通过预设的方差阈值数据进行特征筛选，得到所述第二agv环境关键特征数据。

60、本发明中通过对agv环境图像初级特征数据进行标记并进行聚类计算，能够将相似特征进行分组，从而更好地理解和描述图像中的特征模式，识别出具有相似性的特征集合，为后续的特征选择提供更有效的基础。在得到初级特征标记聚类数据后，通过相似性计算，度量不同特征之间的相似程度，进一步优化特征选择过程，有助于识别出相似但又不完全相同的特征，使得特征筛选更具有针对性和灵活性。通过计算特征标记的方差，评估特征的变化程度，从而确定其对于图像特征的重要性。根据方差数据和预设的方差阈值，更精确地筛选出对于目标识别和分析最具有代表性的特征，提高特征筛选的准确性和效率。通过优化特征选择过程，可以选取出对于区分不同图像和目标最具有区分性和稳定性的特征集合，有助于提高后续任务的准确性和可靠性，减少误判和误识的可能性。

61、可选地，所述根据所述agv环境关键特征数据进行语义地图生成，得到agv环境语义地图数据，包括：

62、根据所述agv环境关键特征数据对所述agv环境图像数据进行语义分割，得到agv环境图像语义分割数据；

63、对所述agv环境图像语义分割数据进行物体识别，得到agv环境图像物体识别数据；

64、对所述agv环境图像物体识别数据进行场景关系处理，得到agv环境场景关系数据；

65、根据agv环境场景关系数据进行地图构建，得到初级agv环境语义地图数据；

66、获取agv位置数据，并根据所述agv位置数据对初级agv环境语义地图数据进行地图优化，得到agv环境语义地图数据。

67、本发明中通过对agv环境图像进行语义分割，可以将图像中的不同区域或物体进行标记和分类，从而提取出关键的语义信息，有助于识别出图像中的重要目标和场景，为后续的地图构建提供有意义的数据基础。在语义分割的基础上，对图像中的物体进行识别，能够更准确地确定各个区域或物体的类型和属性，丰富地图的语义信息，使得地图更具有可理解性和实用性。通过对物体识别数据进行场景关系处理，可以分析物体之间的关系和连接方式，从而构建出更加连贯和完整的场景描述，提高地图的连贯性和完整性，使得地图更符合实际场景的特征。结合agv的位置数据，对初级语义地图进行优化，能够根据实际情况对地图进行调整和修正，提高地图的精确性和准确性，确保地图与实际环境的一致性，为agv的导航和运行提供可靠的参考依据。

68、可选地，所述获取目的地数据，并根据所述目的地数据以及所述agv环境语义地图数据进行路径规划与决策处理，得到agv路径规划决策数据，包括：

69、获取目的地数据；

70、根据所述目的地数据以及所述agv环境语义地图数据进行路径搜索，得到路径搜索数据；

71、对所述路径搜索数据进行路径优化，得到路径优化数据；

72、根据所述路径优化数据进行路径规划，得到路径规划数据；

73、根据所述路径规划数据进行决策执行，得到agv路径规划决策数据。

74、本发明中通过获取准确的目的地数据，可以确保路径规划的目标明确和具体，为agv提供清晰的导航目标，提高路径规划的效率和准确性。根据目的地数据和agv环境语义地图数据进行路径搜索，能够找到适合agv导航的路径，避免agv在复杂环境中迷失或选择不合适的路径，提高了路径搜索的精确性和可靠性。对路径搜索数据进行路径优化，能够通过调整路径的顺序或采用更优的路线，提高路径规划的效率和节约能源，减少agv的行驶时间和成本，提高物流运输效率。根据路径规划数据进行决策执行，能够确保agv按照规划路径进行行驶，并在遇到障碍或变化时及时调整行动，提高agv的运行安全性和可靠性，减少意外事件的发生。

75、可选地，本技术还提供了一种agv运行监测系统，用于执行如上所述的agv运行监测方法，所述agv运行监测系统包括：

76、环境图像采集模块，用于通过多源传感器进行环境图像采集，得到agv环境图像数据；

77、agv环境关键特征提取模块，用于对所述agv环境图像数据进行关键特征提取，得到agv环境关键特征数据；

78、agv环境语义地图生成模块，用于根据所述agv环境关键特征数据进行语义地图生成，得到agv环境语义地图数据；

79、agv路径规划决策模块，用于获取目的地数据，并根据所述目的地数据以及所述agv环境语义地图数据进行路径规划与决策处理，得到agv路径规划决策数据，以进行agv运行监测作业。

80、本发明的目的在于通过结合多源传感器进行环境图像采集，可以获得更全面、多角度的环境信息，有助于提高环境感知的准确性和可靠性。不同传感器提供的数据可以相互补充，弥补单一传感器存在的局限性，例如光照条件的变化或遮挡物等，从而更全面地理解环境情况。通过对环境图像数据进行关键特征提取，提取出对于环境特征具有代表性和重要性的数据。这些关键特征数据能够更准确地描述环境的关键特性，从而优化语义地图的生成过程。例如，提取出环境中的重要目标、障碍物和地标等信息，有助于更准确地构建语义地图，为路径规划和决策提供更有用的参考。结合目的地数据和语义地图数据进行路径规划与决策处理，可以确保agv选择最优路径并做出正确的决策。语义地图提供了环境的语义信息，可以帮助agv更好地理解环境，避开障碍物，规避危险区域，并选择最优路径达到目的地，提高agv运行的效率、安全性和可靠性，减少因错误决策而导致的运输延误或事故发生。本发明使得agv能够根据实时环境信息和目标要求进行智能化的路径规划和决策，实现自主、高效、安全的运行。同时，监测作业能够对agv的运行状态进行实时监测和反馈，及时发现和处理异常情况，保障运输任务的顺利完成。