一种基于音视频智能判断呼救的方法及装置与流程

技术特征：
1.一种基于音视频智能判断呼救的方法，其特征在于，包括：采集环境中的实景视频信息和实景音频信息；获取所述实景音频信息中的实景语音信息，判断所述实景语音信息与预存的呼救指令集是否匹配；当结果匹配时，将所述实景视频信息和实景音频信息输入音视频联合判断网络进行判断，生成判断结果，所述判断结果包括真呼救和伪呼救；当所述判断结果为真呼救时，向救援系统发送呼救信息。2.如权利要求1所述的基于音视频智能判断呼救的方法，其特征在于，所述采集环境中的视频信息和音频信息的步骤之前，还包括：建立剧本环境场景；采集剧本环境场景中的剧本视频信息和剧本音频信息，所述视频信息包括人物表情、人物动作和环境变化，所述音频信息包括呼救语音、瞬时噪声和连续噪声；获取剧本视频信息中的剧本视频特征，获取剧本音频信息中的剧本音频特征；根据剧本视频特征和剧本音频特征，生成剧本特征；对所述剧本特征进行归类，生成真呼救数据库和伪呼救数据库，通过真呼救数据库和伪呼救数据库对音视频联合判断网络进行训练；所述将所述实景视频信息和实景音频信息输入音视频联合判断网络进行判断，生成判断结果，所述判断结果包括真呼救和伪呼救的判断步骤，具体包括：获取实景视频信息中的实景视频特征；获取实景音频信息中的实景音频特征；根据实景视频特征和实景音频特征，生成实景特征；当所述实景特征和真呼救数据库中的剧本特征匹配时，生成真呼救的判断结果。3.如权利要求2所述的基于音视频智能判断呼救的方法，其特征在于，所述视频特征的获取方法基于c3d或densenet视频特征提取方法，所述音频特征的获取方法为mfcc和resnet18声音特征提取方法，所述当所述实景特征和真呼救数据库中的剧本特征匹配时，生成真呼救的判断结果的步骤，包括：将实景视频特征和剧本视频特征进行比对，生成第一比对结果；将实景音频特征和剧本音频特征进行比对，生成第二比对结果；根据第一比对结果和第二比对结果，确定实景特征和真呼救数据库中的剧本特征是否匹配。4.如权利要求3所述的基于音视频智能判断呼救的方法，其特征在于，所述向救援系统发送呼救信息的步骤，包括：确定与所述实景特征匹配度最高的剧本特征，获取对应剧本特征的类别标签；获取关键设备的运行状态信息；根据所述类别标签和运行状态信息，播放对应的救援引导语音，并向对应的救援系统发送呼救信息，所述呼救信息至少包括地址信息、时间信息、实景视频信息或所述运行状态信息之一。5.如权利要求4所述的基于音视频智能判断呼救的方法，其特征在于，所述获取所述实
景音频信息中的实景语音信息，判断所述实景语音信息与预存的呼救指令集是否匹配的步骤之后，还包括：确定所述呼救指令集中，与所述实景语音信息匹配度最高的呼救指令，获取所述呼救指令的优先级；获取环境中所述呼救指令的总持续时间和所述实景音频信息的最高分贝值；根据所述呼救指令的优先级、所述总持续时间和最高分贝值，判断实景语音信息是否匹配。6.一种基于音视频智能判断呼救的装置，其特征在于，包括：第一采集模块，用于采集环境中的实景视频信息和实景音频信息；第一判断模块，用于获取所述实景音频信息中的实景语音信息，判断所述实景语音信息与预存的呼救指令集是否匹配；第一生成模块，用于当结果匹配时，将所述实景视频信息和实景音频信息输入音视频联合判断网络进行判断，生成判断结果，所述判断结果包括真呼救和伪呼救；发送模块，用于当所述判断结果为真呼救时，向救援系统发送呼救信息。7.根据权利要求6所述的基于音视频智能判断呼救的装置，其特征在于，还包括：第二采集模块，用于采集剧本环境场景中的剧本视频信息和剧本音频信息，所述视频信息包括人物表情、人物动作和环境变化，所述音频信息包括呼救语音、瞬时噪声和连续噪声；第一获取模块，用于获取剧本视频信息中的剧本视频特征，第二获取模块，用于获取剧本音频信息中的剧本音频特征；第二生成模块，用于根据剧本视频特征和剧本音频特征，生成剧本特征；第三生成模块，用于对所述剧本特征进行归类，生成真呼救数据库和伪呼救数据库，通过真呼救数据库和伪呼救数据库对音视频联合判断网络进行训练；所述第一生成模块，包括：第一获取单元，用于获取实景视频信息中的实景视频特征；第二获取单元，用于获取实景音频信息中的实景音频特征；第一生成单元，用于根据实景视频特征和实景音频特征，生成实景特征；第二生成单元，用于当所述实景特征和真呼救数据库中的剧本特征匹配时，生成真呼救的判断结果。8.根据权利要求7所述的基于音视频智能判断呼救的装置，其特征在于，所述视频特征的获取方法基于c3d或densenet视频特征提取方法，所述音频特征的获取方法为mfcc和resnet18声音特征提取方法，所述第二生成单元，包括：第一比较子单元，用于将实景视频特征和剧本视频特征进行比对，生成第一比对结果；第二比较子单元，用于将实景音频特征和剧本音频特征进行比对，生成第二比对结果；第一确定子单元，用于根据第一比对结果和第二比对结果，确定实景特征和真呼救数据库中的剧本特征是否匹配。9.根据权利要求8所述的基于音视频智能判断呼救的装置，其特征在于，所述发送模块，包括：第三获取单元，用于确定与所述实景特征匹配度最高的剧本特征，获取对应剧本特征
的类别标签；第四获取单元，用于获取关键设备的运行状态信息；发送单元，用于根据所述类别标签和运行状态信息，播放对应的救援引导语音，并向对应的救援系统发送呼救信息，所述呼救信息至少包括地址信息、时间信息、实景视频信息或所述运行状态信息之一。10.根据权利要求9所述的基于音视频智能判断呼救的装置，其特征在于，还包括：第三获取模块，用于确定所述呼救指令集中，与所述实景语音信息匹配度最高的呼救指令，获取所述呼救指令的优先级；第四获取模块，用于获取环境中所述呼救指令的总持续时间和所述实景音频信息的最高分贝值；第二判断模块，用于根据所述呼救指令、所述总持续时间和最高分贝值的加权，判断实景语音信息是否匹配。

技术总结
本发明公开了一种基于音视频智能判断呼救的方法及装置，所述方法包括：采集环境中的实景视频信息和实景音频信息；获取所述实景音频信息中的实景语音信息，判断所述实景语音信息与预存的呼救指令集是否匹配；当结果匹配时，将所述实景视频信息和实景音频信息输入音视频联合判断网络进行判断，生成判断结果，所述判断结果包括真呼救和伪呼救；当所述判断结果为真呼救时，向救援系统发送呼救信息。所述装置使用了所述方法。本发明一方面避免了因实体按键损坏而导致的延误救援的情况发生；另一方面增加了二次呼救确认的步骤，提高了可靠性。性。性。


技术研发人员：李明 居然 储黄瑞 程铭 潘悦然 邓奇
受保护的技术使用者：通力电梯有限公司
技术研发日：2021.06.03
技术公布日：2021/9/3