一种多模态平调作业记录存储分析系统及实现方法与流程

本发明涉及铁路平调系统，属于平面调车作业，特别是涉及一种多模态平调分析系统及实现方法。

背景技术：

1、铁路平面调车在生产作业中会产生大量业务记录，包含语音、图片、视频等，需要专门人员导出设备作业记录进行回放收听，人工判别作业安全和违规情况。该操作数据量大，繁琐度高。现有技术中，大多只能从各个设备导出记录分别查看，对于整个调车组各个设备操作的综合分析只能人工进行时间对比，效率低下且容易错漏。虽然也有系统能够对作业内容进行混合显示查看，但是也仅仅局限于语音、信令、调车单的内容，不能多模态完整展现和分析调车组景中的所有作业数据，尤其是视频、图片、距离、速度等关键作业内容，仍然是不能进行有效的作业信息回溯。因此，设计一种多模态平调存储分析系统十分重要，可以多模态集中综合呈现和分析作业过程，及时有效发现作业过程中的问题，保证调车作业安全高效进行。

技术实现思路

1、鉴于现有技术状况和存在的缺陷，本发明提供一种多模态平调作业记录存储分析系统，实现了平调作业记录中各个类型作业数据的多模态存储、分析和呈现。

2、本发明采取的技术方案是：一种多模态平调作业记录存储分析系统，包括ai多模态分析处理平台、多模态存储平台和呈现平台；

3、所述多模态存储平台分别与ai多模态分析处理平台和呈现平台连接；所述ai多模态分析处理平台用于平调作业数据实时采集和作业数据和ai多模态分析处理，并向多模态存储平台输出数据；所述多模态存储平台位于ai多模态分析处理平台之后，呈现平台之前，用于对数据进行多模态混合存储，存储的数据用于呈现平台的数据回溯；所述呈现平台为用户提供操作和展现界面，用于用户内容输入和作业内容呈现。

4、一种多模态平调作业记录存储分析系统的实现方法，步骤如下：

5、所述ai多模态分析模块用于平调作业数据的特征提取和多模态分析，流程如下：

6、步骤一，接收系统接口传输的数据并按调车组和作业数据类型进行分类和分组，同一调车组调车数据为同组处理；

7、步骤二，每条作业数据，根据数据类型进行对应方式的内容识别和关键信息提取，提取的关键信息均转换为文字信息，将文字内容与本模块内置的铁路平调作业的业务术语进行比对，生成关键字列表；

8、步骤三，将上述关键字列表信息与同组前后作业信息中的关键字列表进行关联和比对，根据内置的平调作业流程规范进行操作合法性判别，并将判别结果、关键字列表、发送时间相组合，生成词向量；

9、步骤四，将上述词向量、作业时间、调车组和原始作业数据信息传输给多模态存储平台，多模态存储平台将原始数据按调车组，以词向量和作业时间为标记，进行语音、信令、调车单、视频、图片、距离、速度、行进状态多模态数据混合存储；呈现平台，根据检索条件，进行对应作业内容的多模态综合呈现，呈现内容包括作业时间、调车组、作业类型、作业内容、规范情况；呈现方式分为实时呈现和回放呈现；所述实时呈现，实时将当前产生的作业数据和作业情况依次呈现；所述回放呈现，工作人员根据所需回放的起止时间、调车组、作业情况向存储平台发起申请，呈现平台接收数据并进行多模态顺序显示。

10、本发明所产生的有益效果是：本方法通过多模态存储和分析，对铁路平面调车生产作业过程中产生的各个模态类型的数据，尤其是视频、图片、语音等大数据量数据进行快速处理，可以综合完整地对平调过程各个场景和设备的作业内容进行综合呈现和规范分析，使回放收听工作人员能够完整收听各场景作业内容，及时、高效、准确地发现作业过程中的操作问题。

技术特征：

1.一种多模态平调作业记录存储分析系统，其特征在于，包括ai多模态分析处理平台、多模态存储平台和呈现平台；

2.一种采用权利要求1所述的多模态平调作业记录存储分析系统的实现方法，其特征在于，步骤如下：ai多模态分析模块用于平调作业数据的特征提取和多模态分析，流程如下：

技术总结一种多模态平调作业记录存储分析系统及实现方法，属于平面调车作业技术领域，多模态存储平台分别与AI多模态分析处理平台和呈现平台连接；AI多模态分析处理平台用于平调作业数据实时采集和作业数据和AI多模态分析处理，并向多模态存储平台输出数据；多模态存储平台位于AI多模态分析处理平台之后，呈现平台之前，用于对数据进行多模态混合存储，存储的数据用于呈现平台的数据回溯；呈现平台为用户提供操作和展现界面，用于用户内容输入和作业内容呈现。实现了远端各个调车组内多个无线调车设备调车作业的统一多模态分析处理，并且通过对各个类型作业记录的AI多模态分析，从多角度完整复现作业场景所有内容，以及作业内容的规范情况。技术研发人员：尚梦瑶,秦嗣波,王裕伟,吴希,赵顺超,张财元,王轩受保护的技术使用者：天津七一二移动通信有限公司技术研发日：技术公布日：2024/7/29