铁路移动装备防撞预警装置的制作方法

本发明涉及智能交通，尤其涉及一种铁路移动装备防撞预警装置。

背景技术：

1、随着铁路运输的不断发展，线路障碍物入侵等问题愈发凸显。线路盲区辅助瞭望显示、线路异物入侵检测提醒已成为铁路机务运用安全生产管理重点工作。列车运行中，自然环境中掉落石块、树枝，人为投放废弃物以及人与牲畜闯入线路等，若处于视野盲区乘务员无法及时瞭望，存在行车安全事故风险隐患。

2、公开号为cn116279673a的专利公开了一种列车运行线路及驾驶状态在线监测系统及装置，涉及列车监测领域，该系统中图像获取模块获取铁路线路图像以及接触网图像；监视模块获取驾驶行为图像；地面监测模块设置在有视线遮挡的小半径曲线铁路线路旁，监测曲线线路上的侵限异物；处理模块设置在列车的车载主机箱内，处理模块根据铁路线路图像、接触网图像及驾驶行为图像实时判断是否存在铁路线路异物、接触网异物以及司乘人员操作异常，且直接获取地面监测模块的异物监测结果；当发现存在铁路线路异物、接触网异物或司乘人员操作异常时，将相应的信息传送给列控主机并进行报警。

3、由此可见，所述列车运行线路及驾驶状态在线监测系统及装置存在以下问题：

4、系统在检测多种异物时由于采用的模型和算法提取特征单一导致不能正确识别复杂的异物入侵情况。

技术实现思路

1、为此，本发明提供一种铁路移动装备防撞预警装置，用以克服现有技术中装置在检测多种异物时由于采用的模型和算法提取特征单一导致不能正确识别复杂的异物入侵情况的问题。

2、为实现上述目的，本发明提供一种铁路移动装备防撞预警装置，包括：

3、长辅助瞭望采集器，设置在机车实时运行线路上，用以采集机车前方线路图像；

4、路况图像采集器，设置在所述机车实时运行线路上，用以对所述机车前方的路况进行实时采集，以形成图像阵列；

5、线路瞭望预警辅助装置主机，分别与所述路况图像采集器和所述长辅助瞭望采集器连接，用以通过内设的若干神经网络模型根据图像确认道路前方异物入侵情况以及根据所述图像阵列确定路况异常情况；

6、辅助瞭望显示屏，与所述线路瞭望预警辅助装置主机连接，用于根据所述异物入侵情况和所述路况异常情况进行预警策略的选择及调整。

7、进一步地，线路瞭望预警辅助装置主机包括轨道提取模块、异物提取模块和确定模块；

8、所述轨道提取模块用以根据segnet语义分割网络模型从所述前方线路图像中确定轨道信息；

9、所述异物提取模块，用以根据yolov8目标检测模型从所述前方线路图像中确定异物信息；

10、所述确定模块用以整合所述yolov8目标检测模型的检测结果和所述segnet语义分割网络模型的检测结果，以得到整合结果，并根据所述整合结果和预设的第一像素阈值和第二像素阈值确定所述异物的实际位置是否在所述轨道上。

11、进一步地，所述轨道提取模块包括：

12、数据准备单元，用于对所述长辅助瞭望采集器采集的包含轨道的图像数据集进行标注，对于各图像，将轨道标注为白色，背景标注为黑色，以及，用于对标注后的图像进行大小调整、裁剪、增强、归一化、数据扩充以及标签转换，以形成预处理图像；

13、数据集划分单元，与所述数据准备单元连接，用于划分所述预处理图像为训练集和验证集；

14、语义分割训练单元，与所述数据集划分单元连接，用于根据所述训练集和验证集训练所述预设的segnet语义分割网络模型；

15、轨道分割单元，与所述语义分割训练单元连接，用于使用训练完成的segnet语义分割网络模型将再次采集的若干图像的轨道从背景中分割出来，以得到标注轨道的图像，所述标注轨道的图像中的白色像素点表示轨道，黑色像素点表示背景。

16、进一步地，所述数据集划分单元包括：

17、确定划分比例子单元，用于将所述预处理图像的前80%划分为训练集、将所述预处理图像的后20%划分为验证集作为划分比例；

18、随机排序子单元，用于随机化排序所述预处理图像；

19、划分子单元，分别与所述确定划分比例子单元和所述随机排序子单元连接，用于将随机化排序后的预处理图像的前80%的图像作为训练集，后20%的图像作为验证集；

20、存储子单元，与所述划分子单元连接，用于将训练集和验证集的图像分别放入两个不同的文件夹区分。

21、进一步地，所述数据准备单元包括：

22、尺寸调整子单元，用于将收集到的铁路轨道图像统一调整为固定的大小，选择满足模型的输入要求图像尺寸；

23、裁剪子单元，用于裁剪去除图像中包含黑边、剪裁下方的纯背景区域；

24、增强子单元，用于通过旋转、翻转、平移、缩放操作在不改变图像语义信息的情况下生成新的训练样本；

25、归一化子单元，用于对图像进行归一化，将像素值范围缩放到-1到1之间，以将像素值使用均值和标准差进行标准化；

26、数据扩充子单元，用于对图像的样本数量少于预设阈值的样本采用旋转、平移以及仿射变换生成训练样本；

27、标签转换子单元，用于通过像素级的标注工具，将轨道标注为白色像素点，背景标注为黑色像素点，将标注的区域转换为每个像素点的标签。

28、进一步地，所述语义分割训练单元包括：

29、语义分割网络模型选择子单元，用于选择已有的预训练segnet语义分割网络模型，所述已有的预训练segnet语义分割网络模型包括：

30、前端编码器部分，由多个卷积层和池化层组成，卷积层结构使用3x3的卷积核进行卷积操作，使用relu激活函数进行非线性变换，池化层使用最大池化降低特征图的空间维度；

31、后端解码器部分，由上采样和卷积操作组成，用于重建高分辨率的语义分割结果，上采样操作使用反卷积实现；

32、skip连接，将前端编码器中的特征图跳过到达对应的后端解码器层，用于融合不同分辨率尺度的特征信息；

33、输出层，最后一个卷积层的输出经过softmax激活函数进行归一化，生成预测的语义分割图像，每个像素点的预测结果代表其所属的语义类别。

34、进一步地，所述异物提取模块包括：

35、标注数据处理单元，用于将所述标注轨道的图像转换为所述yolov8目标检测模型对应的格式，各所述标注轨道的图像对应一个文本文件，其中各文本文件表示各目标实例，所述目标实例包括目标的类别、边界框左上角坐标、边界框宽度和高度信息；

36、数据分割单元，与所述标注数据处理单元连接，用于将包含若干转换格式后的标注轨道的图像的数据集划分为训练集和验证集，80%的数据用于训练，20%的数据用于验证；

37、模型初始化单元，用于通过随机初始化对所述yolov8目标检测模型进行初始化；

38、损失函数定义单元，用于使用交叉熵损失函数和均方误差损失函数定义损失；

39、yolov8目标检测模型训练单元，分别与所述数据分割单元、模型初始化单元以及损失函数定义单元连接，用于使用训练数据集迭代训练模型，并在每次迭代中，输入图像模型，计算损失函数，以及，用于使用反向传播算法更新模型的权重，并使用adam优化器控制梯度更新的方式和速度。

40、进一步地，所述根据完成训练的yolov8目标检测模型对分割得到的轨道的区域内的异物目标进行检测，识别并定位轨道内的异物目标，输出所述异物目标的边界框和类别信息，根据模型的输出，在图像的轨道上绘制检测到的异物目标的边界框，并通过使用不同的标签将其类别信息标注在图像上，以形成视觉检测图像。

41、进一步地，所述确定模块将yolov8目标检测模型输出的结果与segnet语义分割网络模型输出的结果进行像素级的区域匹配，以确定各目标所处的轨道，以及，用于获取yolov8目标检测模型的目标的边界框的位置信息，包括左上角点的坐标和边界框的宽度和高度，并通过将边界框的左上角坐标与边界框宽度和高度的一半进行计算，得到每个目标边界框的中心点的像素坐标，并通过使用中心点的像素坐标，获取segnet语义分割网络模型的轨道分割掩模中对应位置的像素值，并根据segnet语义分割网络模型输出的标注轨道的图像中轨道的像素值的值，将每个目标划分到轨道或轨道以外的区域，

42、若segnet语义分割网络模型输出的标注轨道的图像中轨道对应位置的像素值的值为预设的第一像素阈值，则将该目标划分为位于轨道以外的区域；

43、若segnet语义分割网络模型输出的标注轨道的图像中轨道对应位置的像素值的值为预设的第二像素阈值，则将该目标划分为位于轨道上的区域。

44、进一步地，所述线路瞭望预警辅助装置主机还包括：

45、人脸人眼识别摄像头，设置在所述线路瞭望预警辅助装置主机一端，用于实时监测并语音报警提示，警示司机及时调整驾驶状态并自动上传报警数据；

46、全景摄像头，设置在所述人脸人眼识别摄像头下方，用于在机车运行中对司机手握制动装置状态实时监测并语音报警提示并警示司机及时纠正，同时自动形成报警数据上传地面软件。

47、与现有技术相比，本发明的有益效果在于，

48、通过收集车辆前方线路图像，并利用内设的神经网络模型进行分析和预警能够准确预警道路前方的异物入侵和路况异常情况，提供及时的预警信息，通过监测和预警，装置帮助机车司机避免与异物碰撞或在危险路段行驶，从而减少事故的发生，通过及时的线路信息和预警信息，能够帮助机车司机做出合适的调整和控制，通过实时监测机车司机的驾驶状态，提醒司机保持警觉。

49、进一步地，通过对轨道提取模块和异物提取模块进行训练和优化，能够实现对轨道和异物目标的准确分割和检测，通过实时处理图像数据，并在短时间内完成分割和检测，提供及时的预警和目标检测结果，能够准确分割图像中的轨道和检测轨道区域内的异物目标，提供准确的预警和目标检测信息。

50、进一步地，通过数据准备单元对图像进行标注和预处理，确保了图像数据的质量和合理性，并为训练提供了准确的标注和预处理图像，通过语义分割训练单元使用训练集和验证集对segnet语义分割网络模型进行训练，提高了模型的准确性和鲁棒性，通过使用训练完成的模型，在实际应用中能够成功将图像中的轨道从背景中进行准确分割，实现了可视化的标注轨道图像，为后续的轨道分析和处理提供了可靠的基础。

51、进一步地，通过确定划分比例子单元，以80%和20%的比例，将预处理图像划分为训练集和验证集。这样的划分比例可以在保证训练样本数量充足的同时，提供充分的验证数据，确保模型的准确性和泛化能力，通过随机排序子单元对预处理图像进行随机化排序，避免了图像的有序性对模型训练和验证的结果产生偏差，提高了数据样本的多样性和覆盖性，通过存储子单元将训练集和验证集的图像分别存储在不同的文件夹中，使得训练集和验证集能够进行有效的区分和管理。

52、进一步地，通过尺寸调整和裁剪子单元，对图像进行统一调整和裁剪，去除不必要的黑边和纯背景区域，保留有用的轨道区域，提高了数据的准确性和有效性，通过增强和归一化子单元，采用旋转、翻转、平移、缩放等操作增加了数据的多样性，将像素值进行标准化，提高了数据的多样性和一致性，增强了模型对不同场景的适应性，通过数据扩充子单元，对样本数量较少的图像采用旋转、平移和仿射变换生成新的训练样本，提高了数据的多样性和数量。同时，通过标签转换子单元将轨道和背景标注为特定的像素点，提供准确的标签信息，便于模型学习和识别。

53、进一步地，通过选择已有的预训练segnet语义分割网络模型，可以利用预训练模型的优势，减少模型的训练时间和计算资源消耗，同时提高模型的准确性和鲁棒性，通过前端编码器和后端解码器的配置，将输入图像进行特征提取和重建，保留了图像的语义特征和细节信息，提高了模型对轨道分割的准确性和精度，通过skip连接将前端编码器的特征图传递给对应的后端解码器层，融合了不同分辨率尺度的特征信息，提高了模型的语义理解和分割能力。输出层将最后一个卷积层的输出进行归一化和分类，生成预测的语义分割图像，为图像中每个像素点分配语义类别，实现了精确的轨道分割。

54、进一步地，通过标注数据处理单元，将标注的轨道图像转换为yolov8目标检测模型所需的格式，确保了标注数据的准确性和适用性，提供了模型训练所需的标签信息，通过数据分割单元将数据集划分为训练集和验证集，以80%的数据用于训练和20%的数据用于验证，保证了模型训练和验证数据的充分性和可靠性，提高了模型的泛化能力和准确性，通过模型初始化单元对yolov8目标检测模型进行初始化，并通过训练单元使用训练数据集对模型进行迭代训练，使用交叉熵损失和均方误差损失函数进行损失计算，使用反向传播算法更新模型权重，以及采用adam优化器控制梯度更新的方式和速度，提高了模型的准确性和泛化能力。

55、进一步地，训练完成的yolov8目标检测模型在实际图像中能够对异物目标进行准确的检测和识别，通过输出它们的边界框和类别信息进行定位和分类，具备较高的检测精度和泛化能力，通过在图像的轨道上绘制检测到的异物目标的边界框，并使用不同的标签将它们的类别信息标注在图像上，提供了直观的视觉表示。

56、进一步地，通过对两个模型输出结果的像素级区域匹配，确定每个目标所处的轨道区域。根据segnet语义分割网络模型输出的轨道分割掩模中对应位置的像素值，判断目标是位于轨道上还是轨道以外，实现对目标所在区域的精确定位和划分，通过设置预设的第一和第二像素阈值，根据segnet语义分割网络模型输出的标注轨道图像中轨道对应位置的像素值的值，将目标划分为位于轨道以外的区域或位于轨道上的区域。通过这样的判定和划分，实现了对目标所在轨道的确定性和准确性。

57、进一步地，通过实时监测司机的人脸图像和使用全卷积神经网络模型分析头部姿态和眼睛、嘴巴的状态，结合不同权重的分类结果得到评估值，判断司机的精神状态并进行预警，通过实时检测司机手握大闸的位置，并使用卷积神经网络模型提取特征并计算与手部形状的重合程度，根据指标对大闸状态进行评估和预警。