基于视觉的宠物撕咬行为识别方法、装置、设备及介质与流程

本发明涉及宠物看护，尤其涉及一种基于视觉的宠物撕咬行为识别方法、装置、设备及介质。

背景技术：

1、宠物在家中的行为有时会导致物品损坏，常见的破坏行为包括撕咬家具、电线、鞋子等物品。这不仅会带来经济损失，还可能对宠物自身安全构成威胁，为了预防和及时干预这些行为，识别和监控宠物破坏行为的技术应运而生。然而，现有技术在识别宠物撕咬动作方面存在一些缺陷，包括误报和漏报的可能性、不同种类和大小的宠物行为模式难以全面覆盖、传感器的精度和反应速度有限，以及系统在复杂家庭环境中可能受到干扰或信号阻塞，导致识别准确度和实时性不足，此外，这些技术的成本和维护也可能对用户造成负担，因此，如何帮助宠物主人实时监控宠物狗的行为，及时发现并阻止可能的撕咬破坏行为，从而保护家居安全并减少不必要的经济损失。

2、现有中国专利cn117894078a公开了一种基于ai视觉的宠物行为分析系统，包括：视频采集模块，通过摄像头采集实时监控画面，形成待检测的图像帧序列，为后续的宠物行为分析提供必要的数据集；目标检测与跟踪模块，根据所获得的图像帧序列，选出宠物存在于画面中的图像进行预处理，并使用检测框标识出目标宠物，识别其种类和所处位置，生成将目标宠物用检测框标识、并附注有其种类和位置信息的经处理的图像帧；关键点检测模块，用于处理目标检测与跟踪模块输出的经处理的图像帧，获取每帧图像中宠物身体各部位的骨骼关键点信息，生成宠物的关键点序列并进行位置跟踪，并基于此判断目标宠物的整体姿态以及身体朝向，再进一步分析目标宠物的基础行为；行为分析模块，用于根据目标宠物基础行为的分析结果和目标宠物所处的区域，对宠物的具体行为进行分析，形成对宠物具体行为的判定结果；虽然上述方案公开了通过骨骼关键点来识别宠物的撕咬行为，但由于撕咬和进食行为在身体姿态和运动模式上具有高度相似性，因此容易混淆。这两种行为都涉及宠物头部的频繁运动和嘴部的咬合动作，且在骨骼关键点的轨迹上可能表现出相似的特征，如头部和颈部的反复移动。

3、为此，如何区分宠物撕咬行为和进食行为，从而准确发现并阻止可能的撕咬破坏行为，保护家居安全是亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于视觉的宠物撕咬行为识别方法、装置、设备及介质，用以解决现有技术中无法区分宠物撕咬行为和进食行为，撕咬行为识别不准确的问题。

2、本发明采用的技术方案是：

3、第一方面，本发明提供了一种基于视觉的宠物撕咬行为识别方法，所述方法包括：

4、获取宠物看护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；

5、对各帧实时图像进行目标检测和跟踪，输出宠物目标图像序列；

6、对所述宠物目标图像序列进行预处理，剔除非关键帧图像和宠物进食图像，输出预处理后的图像；

7、对预处理后的图像进行宠物撕咬动作识别，当识别存在宠物撕咬动作时，发出看护提醒。

8、优选地，所述对各帧实时图像进行目标检测和跟踪，输出宠物目标图像序列包括：

9、将各帧实时图像输入预训练的宠物检测模型中，对各帧实时图像中的宠物目标进行检测；

10、利用预设的目标跟踪算法，对各帧实时图像中的宠物目标进行跟踪，输出所述宠物目标图像序列和宠物目标框位置序列。

11、优选地，所述对所述宠物目标图像序列进行预处理，剔除非关键帧图像和宠物进食图像，输出预处理后的图像包括：

12、对所述宠物目标图像序列进行滤波处理，输出滤波图像序列；

13、依据所述宠物目标框位置序列，对所述滤波图像序列进行图像去重处理，剔除连续重复的非关键帧图像，输出关键帧图像；

14、对关键帧图像进行宠物进食行为识别，剔除存在宠物进食行为的图像，输出预处理后的图像。

15、优选地，所述依据所述宠物目标框位置序列，对所述滤波图像序列进行图像去重处理，剔除连续重复的非关键帧图像，输出关键帧图像包括：

16、对所述宠物目标框位置序列进行分组，确定多个宠物目标框位置集合；

17、依据各宠物目标框位置集合中的各宠物目标框位置，分别对各宠物目标框的面积进行计算，输出各宠物目标框的面积；

18、依据各宠物目标框的面积，选取各宠物目标框位置集合中面积最大的宠物目标框对应的滤波图像作为所述关键帧图像。

19、优选地，所述对关键帧图像进行宠物进食行为识别，剔除存在宠物进食行为的图像，输出预处理后的图像包括：

20、将所述实时图像输入预训练的与宠物进食相关的目标物品检测模型中，获取目标物品检测框；

21、对所述目标物品检测框进行放大处理，确定宠物进食区域；

22、计算宠物进食区域与关键帧图像之间的交叉比，若交叉比大于预设的比例阈值，则认为关键帧图像中宠物停留在进食区域；

23、获取宠物在进食区域的停留时长，当停留时长大于预设的时长阈值时，认为关键帧图像中存在宠物进食行为，剔除存在宠物进食行为的图像。

24、优选地，所述对预处理后的图像进行宠物撕咬动作识别，当识别存在宠物撕咬动作时，发出看护提醒包括：

25、将预处理后的各帧图像输入预训练的宠物头部检测模型中，输出宠物头部图像序列；

26、对宠物头部图像序列进行计算，获取宠物运动信息；

27、将所述宠物运动信息输入预训练的撕咬动作识别模型中，输出宠物撕咬动作识别结果。

28、优选地，在所述将宠物运动信息输入预训练的撕咬动作识别模型中，输出宠物撕咬动作识别结果之前还包括：

29、获取宠物撕咬动作相关的训练图像；

30、对所述训练图像进行图像去重处理，输出样本关键帧图像；

31、依据所述样本关键帧图像，获取样本运动信息；

32、利用所述样本运动信息，对预设的神经网络模型进行训练，得出所述撕咬动作识别模型。

33、第二方面，本发明提供了一种基于视觉的宠物撕咬行为识别装置，所述装置包括：

34、实时图像获取模块，用于获取宠物看护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；

35、目标检测与跟踪模块，用于对各帧实时图像进行目标检测和跟踪，输出宠物目标图像序列；

36、预处理模块，用于对所述宠物目标图像序列进行预处理，剔除非关键帧图像和宠物进食图像，输出预处理后的图像；

37、撕咬动作识别模块，用于对预处理后的图像进行宠物撕咬动作识别，当识别存在宠物撕咬动作时，发出看护提醒。

38、第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

39、第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

40、综上所述，本发明的有益效果如下：

41、本发明提供的基于视觉的宠物撕咬行为识别方法、装置、设备及介质，包括：获取宠物看护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；对各帧实时图像进行目标检测和跟踪，输出宠物目标图像序列；对所述宠物目标图像序列进行预处理，剔除非关键帧图像和宠物进食图像，输出预处理后的图像；对预处理后的图像进行宠物撕咬动作识别，当识别存在宠物撕咬动作时，发出看护提醒。本发明通过实时视频数据采集和图像分解，将视频分解为多帧图像，并利用目标检测和跟踪技术提取宠物的目标图像序列，预处理步骤剔除非关键帧和进食图像，能够准确区分进食行为和拆家行为，避免将进食行为误判为拆家行为，减少了误报，提高了识别准确性和可靠性。同时，能够在检测到撕咬行为时立即发出看护提醒，使宠物主人能够及时采取措施，防止潜在的危险或不良行为的发生，这种方法通过自动化和智能化处理，减轻了主人对宠物行为的监控负担，提高了宠物看护的效率和安全性。