一种基于大模型的事故检测方法及设备与流程

本申请涉及人工智能，尤其涉及一种基于大模型的事故检测方法及设备。

背景技术：

1、近年来，随着城市化进程的不断推进和智慧城市的建设要求，单纯使用人力已经无法处理城市海量的监控视频数据，使用计算机视觉技术来分析视频数据逐渐成为主流。及时准确的检测出事故并告警能够有效减少人员的生命财产损失，并缓解因交通事故导致的交通拥堵现象。然而，面对交通事故类问题，传统算法只能在检测和追踪的基础上结合复杂的逻辑判断来实现事故检测，事故的检测准确率不是很高。相关技术中，也基于多模态大模型进行事故检测，由于其优越的视频/图像理解能力与语义理解能力，能够根据输入的提示文本(prompt)准确检测视频或图像中是否发生交通事故。然而，多模态大模型高参数量和高计算量的特点导致无法满足实时处理的要求。

2、因此，如何提高事故检测的准确率和效率成为亟待解决的问题。

技术实现思路

1、本申请实施例提供了一种基于大模型的事故检测方法及设备，用以解决现有技术中事故检测效率和准确率较低的问题。

2、本申请提供了一种基于大模型的事故检测方法，所述方法包括：

3、基于目标检测算法，获取待检测视频中每个图像帧中包括的每个目标的位置信息，并确定所述每个目标对应的标识；

4、若根据每个目标的位置信息，确定任一图像帧中存在不同目标之间的第一距离小于预设距离，则在所述待检测视频中，获取包含该图像帧在内的预设数量的连续图像帧；

5、将所述连续图像帧、所述第一距离小于预设距离时对应的疑似目标的疑似标识、以及提示文本输入到多模态大模型中，得到检测结果，所述检测结果是所述多模态大模型根据所述提示文本的要求，分析所述连续图像帧中包括的疑似目标是否发生事故后确定的结果。

6、本申请还提供了一种基于大模型的事故检测装置，所述装置包括：

7、确定模块，用于基于目标检测算法，获取待检测视频中每个图像帧中包括的每个目标的位置信息，并确定所述每个目标对应的标识；

8、获取模块，用于若根据每个目标的位置信息，确定任一图像帧中存在不同目标之间的第一距离小于预设距离，则在所述待检测视频中，获取包含该图像帧在内的预设数量的连续图像帧；

9、检测模块，用于将所述连续图像帧、所述第一距离小于预设距离时对应的疑似目标的疑似标识、以及提示文本输入到多模态大模型中，得到检测结果，所述检测结果是所述多模态大模型根据所述提示文本的要求，分析所述连续图像帧中包括的疑似目标是否发生事故后确定的结果。

10、本申请还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述基于大模型的事故检测方法的步骤。

11、本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述基于大模型的事故检测方法的步骤。

12、由于在本申请实施例中，基于目标检测算法，获取待检测视频中每个图像帧中包括的每个目标的位置信息，并确定每个目标对应的标识，如果根据位置信息，确定任一图像帧中存在不同目标之间的第一距离小于预设距离，则确定该图像帧中可能发生了事故，实现了事故的初筛，并在待检测视频中，获取包含该图像帧在内的预设数量的连续图像帧，将连续图像帧、第一距离小于预设距离时对应的疑似目标的疑似标识、以及提示文本输入到多模态大模型中，以使多模态大模型根据提示文本对该连续图像帧中包括的疑似目标是否发生事故进行分析，得到检测结果。利用目标检测算法筛选疑似事故，再利用多模态大模型对疑似事故进行精准检测，提高了事故检测的效率和准确率。

技术特征：

1.一种基于大模型的事故检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待检测视频中每个图像帧中包括的每个目标的位置信息之后，所述确定所述每个目标对应的标识之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，确定每个目标之间的第一距离的过程包括：

4.根据权利要求1所述的方法，其特征在于，在确定行人与车辆之间的第一距离时，所述预设距离的确定过程包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述第一比例系数的确定过程包括：

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述第二比例系数的确定过程包括：

9.根据权利要求1所述的方法，其特征在于，所述确定任一图像帧中存在不同目标之间的第一距离小于预设距离之后，所述在所述待检测视频中，获取包含该图像帧在内的预设数量的连续图像帧之前，所述方法还包括：

10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-9任一项所述基于大模型的事故检测方法的步骤。

技术总结本申请涉及人工智能技术领域，尤其涉及一种基于大模型的事故检测方法及设备。基于目标检测算法，获取待检测视频中每个图像帧中包括的每个目标的位置信息，并确定每个目标对应的标识，如果根据位置信息，确定任一图像帧中存在不同目标之间的第一距离小于预设距离，则确定该图像帧中可能发生了事故，在待检测视频中获取包含该图像帧在内的预设数量的连续图像帧，将连续图像帧、第一距离小于预设距离时对应的疑似目标的疑似标识、以及提示文本输入到多模态大模型中，得到检测结果。利用目标检测算法筛选疑似事故，再利用多模态大模型对疑似事故进行精准检测，提高了事故检测的效率和准确率。技术研发人员：王晓斌,刘微,郑维学,赵越,孙菁受保护的技术使用者：海信集团控股股份有限公司技术研发日：技术公布日：2024/10/17