基于ChatGPT的全域感知预警方法、系统、介质及电子设备与流程

本技术涉及机器学习，特别涉及一种基于chatgpt的全域感知预警方法、系统、介质及电子设备。

背景技术：

1、随着经济社会的快速发展和城市化进程的不断推进，城市中人群聚集的场合和举办的大型活动越来越多，包括大型游园、体育赛事、展览中心、音乐节等，这些区域内的人员相对密集，存在复杂的场地布局以及多样化的安全隐患，因此在第一时间获知危险事件信息，对减轻危险事件后果，避免或减少人员伤亡具有重要意义。

2、相关技术中，在对复杂的大型区域进行安全预警时，通过大型区域中布设的视频监视系统，依靠人工监看、视频分析方法进行监测，当有紧急事件发生时，可以发出预警。现有技术存在以下缺陷：1、依靠人工监看需要耗费大量的人力物力，从而降低了预警效率；2、单一维度的视频数据包含的信息量少，当存在无色无味的危害性气体或者呼救音频时，无法进行危险事件判断，从而降低了危险事件预测的准确度；3、当前的视频分析方法往往依赖于传统的数据处理算法，现有视频分析方法在自然语言处理方面的能力有限，限制了理解和分析来自监控设备采集的信息的能力，导致对于关键的情报无法及时做出反应。

技术实现思路

1、本技术实施例提供了一种基于chatgpt的全域感知预警方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

2、第一方面，本技术实施例提供了一种基于chatgpt的全域感知预警方法，方法包括：

3、收集并预处理预设时间段内预先布设在目标区域的各监控设备发送的环境感知数据，得到待分析异构数据；

4、将待分析异构数据输入预设全域感知预警组件中，输出待分析异构数据对应的分析结果；其中，预设全域感知预警组件包括预先训练的全域感知模型、预设chatgpt模型；预先训练的全域感知模型用于基于待分析异构数据生成多维度的识别结果；预设chatgpt模型用于解析多维度的识别结果，生成各维度的事件关键词序列；待分析异构数据对应的分析结果是基于各维度的事件关键词序列生成的；

5、在分析结果指示目标区域存在危险事件的情况下，生成目标区域的危险事件信息上报至预警终端进行预警。

6、可选的，将待分析异构数据输入预设全域感知预警组件中，输出待分析异构数据对应的分析结果，包括：

7、将待分析异构数据输入预先训练的全域感知模型中，输出待分析异构数据对应的多维度的识别结果；

8、根据多维度的识别结果和预设chatgpt模型，生成多维度的识别结果对应的各维度的事件关键词序列；

9、根据各维度的事件关键词序列，生成待分析异构数据对应的分析结果。

10、可选的，各监控设备包括摄像头、监听设备以及各传感器，多维度的识别结果包括摄像头的视频描述信息、监听设备的音频描述信息以及传感器的传感器描述信息；

11、根据多维度的识别结果和预设chatgpt模型，生成多维度的识别结果对应的各维度的事件关键词序列，包括：

12、根据预先设置的用于引导chatgpt模型提取危险事件的提示文本集合，通过预设chatgpt模型依次对视频描述信息、音频描述信息、传感器描述信息进行处理，得到各维度的事件关键词序列。

13、可选的，按照以下步骤生成预先设置的用于引导chatgpt模型提取危险事件的提示文本集合，包括：

14、从预设动态危险事件描述文本库中，获取预设周期内针对预设不同危险事件所提交的历史危险事件描述文本；

15、针对每个历史危险事件描述文本标注该文本存在的危险事件的关键信息，得到每个标注的历史危险事件描述文本；

16、获取每个标注的历史危险事件描述文本对应的维度类别；

17、将每个标注的历史危险事件描述文本输入预设chatgpt模型；

18、输出每个标注的历史危险事件描述文本对应的用于引导chatgpt模型提取危险事件的提示文本；

19、获取同一个维度类别下所有的提示文本；

20、存储同一个维度类别与同一个维度类别下所有的提示文本之间的映射关系；

21、将映射关系作为预先设置的用于引导chatgpt模型提取危险事件的提示文本集合。

22、可选的，维度类别包括摄像头的维度类别、监听设备的维度类别以及传感器的维度类别；

23、根据预先设置的用于引导chatgpt模型提取危险事件的提示文本集合，通过预设chatgpt模型依次对视频描述信息、音频描述信息、传感器描述信息进行处理，得到各维度的事件关键词序列，包括：

24、分别确定视频描述信息对应的第一维度类别、音频描述信息对应的第二维度类别以及传感器描述信息对应的第三维度类别；

25、从映射关系中，分别获取第一维度类别对应的用于引导chatgpt模型提取危险事件的多个第一提示文本、第二维度类别对应的用于引导chatgpt模型提取危险事件的多个第二提示文本以及第三维度类别对应的用于引导chatgpt模型提取危险事件的多个第三提示文本；

26、将视频描述信息与多个第一提示文本输入预设chatgpt模型中，输出摄像头的维度类别对应的关键词序列；

27、将音频描述信息与多个第二提示文本输入预设chatgpt模型中，输出监听设备的维度类别对应的关键词序列；

28、将传感器描述信息与多个第二提示文本输入预设chatgpt模型中，输出传感器的维度类别对应的关键词序列；

29、将摄像头的维度类别对应的关键词序列、监听设备的维度类别对应的关键词序列以及传感器的维度类别对应的关键词序列作为各维度的事件关键词序列。

30、可选的，按照以下步骤生成预先训练的全域感知模型，包括：

31、收集预设时间段内来自摄像头的历史视频数据、来自监听设备的历史音频数据以及来自各传感器的历史传感器数据；

32、分别对历史视频数据中的事件帧、历史音频数据以及历史传感器数据标注正常和异常行为、事件类型、环境条件的文本描述信息，得到标注数据；其中，事件帧为表示镜头事件的帧，包括首帧、尾帧、和多个关键帧，关键帧通过对一个镜头的除首尾两帧之外的所有子帧按顺序与其前一帧进行相似度计算，当相似度大于预设阈值时得到；

33、对标注数据进行清洗、标准化和增强，得到模型训练样本；

34、采用神经网络创建全域感知模型；

35、将模型训练样本输入全域感知模型中，以使得全域感知模型进行自学习，得到模型损失值；

36、在模型损失值到达最小时，生成预先训练的全域感知模型。

37、可选的，根据各维度的事件关键词序列，生成待分析异构数据对应的分析结果，包括：

38、将各维度的事件关键词序列进行格式标准化，得到各维度的第一事件关键词序列；

39、针对各维度的目标事件关键词序列分配包含时间戳、地点标记以及事件类型的上下文信息，得到各维度的第二事件关键词序列；

40、对各维度的第二事件关键词序列进行归一化，以消除不同数据源之间的术语差异，得到各维度的第三事件关键词序列；

41、统计各维度的第三事件关键词序列中各第三事件关键词出现的频率与已知事件类型的关联度；

42、基于统计的各第三事件关键词出现的频率与已知事件类型的关联度，确定各第三事件关键词的重要程度；

43、根据各第三事件关键词的重要程度，筛选重要程度大于预设阈值的关键词，得到各维度的第四事件关键词序列；

44、采用主题建模技术识别并提取各维度的第四事件关键词序列中跨维度的共同主题或逻辑联系的各维度目标关键词；其中，主题建模技术为狄利克雷分配算法；

45、将跨维度的共同主题或逻辑联系的各维度目标关键词进行聚合，得到连贯的信息块；

46、采用预设chatgpt模型的推理组件对连贯的信息块进行危险事件推断，得到待分析异构数据对应的分析结果。

47、第二方面，本技术实施例提供了一种基于chatgpt的全域感知预警系统，系统包括：

48、数据收集模块，用于收集并预处理预设时间段内预先布设在目标区域的各监控设备发送的环境感知数据，得到待分析异构数据；

49、数据分析模块，用于将待分析异构数据输入预设全域感知预警组件中，输出待分析异构数据对应的分析结果；其中，预设全域感知预警组件包括预先训练的全域感知模型、预设chatgpt模型；预先训练的全域感知模型用于基于待分析异构数据生成多维度的识别结果；预设chatgpt模型用于解析多维度的识别结果，生成各维度的事件关键词序列；待分析异构数据对应的分析结果是基于各维度的事件关键词序列生成的；

50、预警模块，用于在分析结果指示目标区域存在危险事件的情况下，生成目标区域的危险事件信息上报至预警终端进行预警。

51、第三方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

52、第四方面，本技术实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。

53、本技术实施例提供的技术方案可以包括以下有益效果：

54、在本技术实施例中，一方面，预设全域感知预警组件包括预设chatgpt模型，预设chatgpt模型在自然语言理解和上下文感知以及信息融合方面具备突出的能力，因此将预设chatgpt模型融入本技术提供的预设全域感知预警组件中，结合预先设置的用于引导chatgpt模型提取危险事件的提示文本集合，该提示文本集合能够引导chatgpt模型准确提取关键信息，能够提升理解和分析来自监控设备采集的信息的能力，能够对关键的情报及时做出反应；另一方面，通过预设全域感知预警组件可对待分析异构数据进行实时的自动分析，得到分析结果，避免了依赖人工监测，从而提升了预警效率；另一方面，待分析异构数据是基于预先布设在目标区域的各监控设备发送的环境感知数据得到的，该环境感知数据包含了视频维度、音频维度以及传感器维度的多源数据，该多源数据信息量大，当存在无色无味的危害性气体或者呼救音频时，能够进行危险事件判断，从而提升了危险事件预测的准确度，同时多源数据可以使得预设全域感知组件具备全域感知能量，全域感知能对整个情境或局势进行全面、准确、及时和可用的信息获取与分析，能提前识别危险事件进行预警。

55、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。