基于情景识别的家用监控系统智能场景适应方法及设备与流程

本申请涉及深度学习，尤其涉及一种基于情景识别的家用监控系统智能场景适应方法及设备。

背景技术：

1、随着智能家居概念的兴起,家用监控系统逐渐从单一的安防功能,演化为集成多种智能服务的综合系统。传统的监控系统工作模式单一,缺乏针对不同家庭场景的适配性,无法满足用户的个性化需求。

2、近年来,计算机视觉和深度学习技术的迅猛发展,使得对视频图像内容进行高层次理解和情景识别成为可能。通过分析视频画面中人物的行为活动、家居环境等语义信息,可以判断出当前的家庭生活场景,从而针对性地调整监控系统的工作策略,提供更加智能化和人性化的服务。

3、然而,实现情景识别驱动的智能监控服务仍然面临诸多技术挑战。首先,家庭环境的复杂性和多变性导致视频数据的质量参差不齐,存在光照不足、遮挡、运动模糊等各种干扰因素,给视频内容理解带来很大困难。其次,不同家庭场景的语义信息差异很大,缺乏大规模的场景标注数据用于深度学习模型的训练。此外,用户对监控系统的隐私保护和数据安全也提出了更高的要求。

4、目前,已有一些学者针对智能视频监控的各个环节开展了研究，尽管已经取得了一定进展,但如何将这些技术整合到一个完整的智能监控系统中,实现从数据采集、场景理解、策略优化到设备控制的端到端闭环,并在真实家庭环境中稳定运行,仍然是一个亟待解决的问题。

技术实现思路

1、本申请实施例提供了一种基于情景识别的家用监控系统智能场景适应方法及设备，可以实现从数据采集、场景理解、策略优化到设备控制的端到端闭环,并在真实家庭环境中稳定运行。

2、第一方面，本申请实施例提供了一种基于情景识别的家用监控系统智能场景适应方法，方法包括：

3、获取待监控场景的原始视频数据和环境传感器数据，对原始视频数据和环境传感器数据进行预处理；

4、根据预设区域提取算法对预处理后的原始视频数据进行提取，获取多个候选区域，获取每个候选区域对应的局部特征，将预处理后的环境传感器数据输入至预设的特征编码器，输出环境传感器数据对应的时序特征；

5、根据局部特征和时序特征进行融合训练，获取预测模型和预测模型输出的场景类型信息和环境状态信息，并获取预测模型对应的可信度信息；

6、获取原始视频数据对应的监控设备的实时位置信号，根据实时位置信号和待监控场景的家庭环境地图数据确定监控设备对应的环境场景信息；

7、根据场景类型信息、环境状态信息、可信度信息和环境场景信息，确定监控控制策略,获取监控控制策略对应的调控参数信息；

8、获取调控参数信息对应的频率控制电压信号，将频率控制电压信号输入至监控设备，以调整监控设备的工作模式。

9、第二方面，本申请还提供一种家用监控系统智能场景适应装置，包括：

10、数据获取模块，用于获取待监控场景的原始视频数据和环境传感器数据，对原始视频数据和环境传感器数据进行预处理；

11、区域获取模块，用于根据预设区域提取算法对预处理后的原始视频数据进行提取，获取多个候选区域，获取每个候选区域对应的局部特征，将预处理后的环境传感器数据输入至预设的特征编码器，输出环境传感器数据对应的时序特征；

12、融合训练模块，用于根据局部特征和时序特征进行融合训练，获取预测模型和预测模型输出的场景类型信息和环境状态信息，并获取预测模型对应的可信度信息；

13、位置获取模块，用于获取原始视频数据对应的监控设备的实时位置信号，根据实时位置信号和待监控场景的家庭环境地图数据确定监控设备对应的环境场景信息；

14、策略确定模块，用于根据场景类型信息、环境状态信息、可信度信息和环境场景信息，确定监控控制策略,获取监控控制策略对应的调控参数信息；

15、模式调整模块，用于获取调控参数信息对应的频率控制电压信号，将频率控制电压信号输入至监控设备，以调整监控设备的工作模式。

16、第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于情景识别的家用监控系统智能场景适应方法。

17、第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于情景识别的家用监控系统智能场景适应方法。

18、与现有技术相比，本申请至少具备以下有益效果：

19、1.提高视频编辑和摘要生成的效率和准确性。本发明通过多层次的语义分割和关键帧提取技术,自动识别视频中的关键对象、人物和场景,并提取最具代表性的视频片段,生成简洁明了的视频摘要。同时,通过计算视频迭代信号组分的信息量和视频特征失真度,本发明能够在保证视频语义完整性的同时,控制摘要的信息冗余和失真程度,进一步提高摘要生成的质量和准确性。

20、2.实现多维度视频语义表示和灵活的视频检索。本发明引入视频语义嵌入模型,通过语义主题标签和关键帧信息的学习,将视频内容映射到低维语义空间,形成紧凑、高鉴别力的向量化表示。基于视频语义嵌入向量,本发明构建多层次的视频语义索引结构,支持用户以文本描述、示例片段等灵活的方式检索视频,快速定位相关镜头和片段,极大地提高了视频数据的可访问性和检索效率。

21、3.支持全局最优的视频摘要生成和在线调优。本发明通过构建候选摘要片段关系图,引入迭代边裁剪算法,在满足摘要时长、语义连贯性和主题多样性约束的前提下,实现候选摘要片段的全局最优选择和组合,生成内容丰富、结构合理、主题鲜明的视频摘要。

22、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于情景识别的家用监控系统智能场景适应方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述原始视频数据和所述环境传感器数据进行预处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述获取每个所述候选区域对应的局部特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述将预处理后的所述环境传感器数据输入至预设的特征编码器，输出所述环境传感器数据对应的时序特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述预测模型包括场景预测器；所述根据所述局部特征和所述时序特征进行融合训练，获取预测模型和所述预测模型输出的场景类型信息和环境状态信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取所述预测模型对应的可信度信息，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述实时位置信号和所述待监控场景的家庭环境地图数据确定所述监控设备对应的环境场景信息，包括:

8.根据权利要求1所述的方法，其特征在于，所述根据所述场景类型信息、环境状态信息、可信度信息和所述环境场景信息，确定监控控制策略，包括：

9.根据权利要求1所述的方法，其特征在于，所述将所述频率控制电压信号输入至所述监控设备，以调整所述监控设备的工作模式，包括：

10.一种计算机设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的基于情景识别的家用监控系统智能场景适应方法的步骤。

技术总结本申请公开一种基于情景识别的家用监控系统智能场景适应方法及设备，方法通过根据预设区域提取算法对预处理后的原始视频数据进行提取，获取多个候选区域和每个候选区域对应的局部特征，获取预处理后的环境传感数据对应的时序特征；根据局部特征和时序特征进行融合训练，获取预测模型和场景类型信息和环境状态信息、预测模型对应的可信度信息；根据原始视频数据对应的监控设备的实时位置信号和家庭环境地图数据确定监控设备对应的环境场景信息；根据场景类型信息、环境状态信息、可信度信息和环境场景信息，确定监控控制策略和对应的调控参数信息；获取调控参数信息对应的频率控制电压信号，根据频率控制电压信号调整监控设备的工作模式。技术研发人员：周斌,张阳,李进,黄伟军受保护的技术使用者：珠海安士佳电子有限公司技术研发日：技术公布日：2024/7/23