一种基于图像识别的交互智能喂鸟方法及装置与流程

本技术属于数据处理，特别涉及一种基于图像识别的交互智能喂鸟的方法及装置。

背景技术：

1、随着人民生活水平的提高，通过喂鸟器进行喂鸟吸引了人们极大的兴趣，已成为一种非常流行的业余活动。人们可以通过喂鸟器欣赏多样的鸟类，提供各式食物投喂野鸟，充实娱乐生活。此外，对于鸟类研究爱好者来说，喂鸟器可以帮助他们收集各种鸟类的信息，开展野鸟观察等科研活动。因此开发智能化、专业化的喂鸟装置，将进一步丰富喂鸟活动的乐趣，促进鸟类研究事业的发展。

2、现有的喂鸟装置通常由喂食槽、可供鸟类站立的托盘、摄像头等部件组成。这种简单的喂鸟装置存在无法识别动物种类的问题，往往导致松鼠等啮齿动物也可以取食喂鸟器中的食物，给鸟类带来食物竞争。为解决这个问题，一些喂鸟器设置了重力传感器，通过检测站台上的重量变化来判断是鸟类还松鼠，从而关闭食槽，但是这种基于硬件传感器的设计检测不够准确且结构复杂、成本更高。另一些喂鸟器可以通过摄像头识别鸟类，但通常只能区分类别，无法实现驱赶松鼠和对同类不同个体鸟的识别，也就不能提供个性化的定向喂食。

技术实现思路

1、为了解决上述技术问题，本技术提供一种基于图像识别的交互智能喂鸟方法及装置，以提供更加智能化、方便交互的喂鸟方案。

2、本技术的第一个方面，一种基于图像识别的交互智能喂鸟方法，主要包括：

3、步骤s1、通过摄像头持续获取鸟类喂食区域的图像；

4、步骤s2、通过预训练的鸟类识别模型的主干网络提取图像特征，形成原始特征向量；

5、步骤s3、将所述原始特征向量经由预训练的鸟类识别模型的检测分支进行种类识别，并将识别的种类数据通过嵌入矩阵映射为指定维度的连续向量，所述连续向量的维度与所述原始特征向量的维度相同；

6、步骤s4、将所述连续向量与所述原始特征向量叠加形成新的特征向量，输入至预训练的鸟类识别模型的重识别分支，获得鸟类的个体身份；

7、步骤s5、当识别的动物种类为鸟类时，记录鸟类的个体身份及其投喂数据，当识别的动物种类为非鸟类时，发出驱赶信号。

8、优选的是，步骤s2之前，进一步包括通过以下步骤训练所述鸟类识别模型：

9、步骤s21、获取包含不同动物类型、不同背景、不同姿势和不同光照条件下的图像作为训练数据，并对所述训练数据进行鸟类目标框、类别及鸟类个体身份的标注；

10、步骤s22、基于待训练的鸟类识别模型处理所述训练数据，获得包含动物的检测框坐标、置信度、鸟类分类及鸟类个体识别结果；

11、步骤s23、基于以下公式确定鸟类识别模型的总损失lbird：

12、lbird＝λcoord*lcoord+λconf*lconf+λcls*lcls+λtriplet*ltriplet；

13、其中，lcoord、lconf、lcls分别为检测分支计算的检测框坐标回归损失、置信度损失和分类损失，ltriplet为重识别分支计算的三元组损失，λcoord、λconf、λcls、λtriplet分别为检测框坐标回归损失、置信度损失、分类损失和三元组损失的权重；

14、步骤s314、基于总损失lbird更新鸟类识别模型的待优化权重参数以及所述嵌入矩阵，获得最终训练完成的鸟类识别模型。

15、优选的是，步骤s4进一步包括：

16、步骤s41、基于鸟类识别模型获取鸟类的个体身份特征向量；

17、步骤s42、分别计算所述个体身份特征向量与数据库中用于表征不同鸟类个体的各样本特征向量之间的距离，确定距离最小的样本特征向量，从而确定鸟类的个体身份。

18、优选的是，步骤s5中，发出驱赶信号包括：

19、驱动安装在喂鸟器上的音响设备或灯光设备产生声音驱赶信息及光线驱赶信号，同时驱动关闭喂食槽挡板。

20、优选的是，步骤s5进一步包括：

21、当识别的动物种类为鸟类时，根据识别的鸟类个体身份，选择相匹配的、由用户设定的参数进行定向投喂，所述参数包括投喂的食物种类、投喂量及投喂时间。

22、优选的是，步骤s5之后进一步包括：

23、步骤s6、根据设定的交互参数或者响应于用户的交互请求，将鸟类个体身份、对应鸟类个体的投喂数据，以及监控视频远程发送给用户，同时对不同鸟类个体的出现或进食频率进行统计。

24、本技术第二方面，一种基于图像识别的交互智能喂鸟装置，主要包括：

25、图像获取模块，用于通过摄像头持续获取鸟类喂食区域的图像；

26、原始特征向量提取模块，用于通过预训练的鸟类识别模型的主干网络提取图像特征，形成原始特征向量；

27、种类识别模块，用于将所述原始特征向量经由预训练的鸟类识别模型的检测分支进行种类识别，并将识别的种类数据通过嵌入矩阵映射为指定维度的连续向量，所述连续向量的维度与所述原始特征向量的维度相同；

28、鸟类个体身份识别模块，用于将所述连续向量与所述原始特征向量叠加形成新的特征向量，输入至预训练的鸟类识别模型的重识别分支，获得鸟类的个体身份；

29、投喂控制模块，用于当识别的动物种类为鸟类时，记录鸟类的个体身份及其投喂数据，当识别的动物种类为非鸟类时，发出驱赶信号。

30、优选的是，进一步包括通过以下单元训练所述动物检测模型：

31、训练数据标注单元，用于获取包含不同动物类型、不同背景、不同姿势和不同光照条件下的图像作为训练数据，并对所述训练数据进行鸟类目标框、类别及鸟类个体身份的标注；

32、模型实际输出获取单元，用于基于待训练的鸟类识别模型处理所述训练数据，获得包含动物的检测框坐标、置信度、鸟类分类及鸟类个体识别结果；

33、损失确定单元，用于基于以下公式确定鸟类识别模型的总损失lbird：

34、lbird＝λcoord*lcoord+λconf*lconf+λcls*lcls+λtriplet*ltriplet；

35、其中，lcoord、lconf、lcls分别为检测分支计算的检测框坐标回归损失、置信度损失和分类损失，ltriplet为重识别分支计算的三元组损失，λcoord、λconf、λcls、λtriplet分别为检测框坐标回归损失、置信度损失、分类损失和三元组损失的权重；

36、循环优化单元，用于基于总损失lbird更新鸟类识别模型的待优化权重参数以及所述嵌入矩阵，获得最终训练完成的鸟类识别模型。

37、优选的是，所述鸟类个体身份识别模块包括：

38、身份特征向量输出单元，用于基于鸟类识别模型获取鸟类的个体身份特征向量；

39、个体身份确定单元，用于分别计算所述个体身份特征向量与数据库中用于表征不同鸟类个体的各样本特征向量之间的距离，确定距离最小的样本特征向量，从而确定鸟类的个体身份。

40、优选的是，所述投喂控制模块被配置成连接并驱动安装在喂鸟器上的音响设备或灯光设备产生声音驱赶信息及光线驱赶信号，同时驱动关闭喂食槽挡板。

41、优选的是，所述投喂控制模块还包括：

42、定向投喂控制单元，用于当识别的动物种类为鸟类时，根据识别的鸟类个体身份，选择相匹配的、由用户设定的参数进行定向投喂，所述参数包括投喂的食物种类、投喂量及投喂时间。

43、优选的是，所述基于图像识别的交互智能喂鸟装置还包括：

44、鸟类活动规律统计模块，用于根据设定的交互参数或者响应于用户的交互请求，将鸟类个体身份、对应鸟类个体的投喂数据，以及监控视频远程发送给用户，同时对不同鸟类个体的出现或进食频率进行统计。

45、本技术的第三方面，一种计算机设备，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序用于实现如上任一项所述的基于图像识别的交互智能喂鸟方法。

46、本技术的第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于图像识别的交互智能喂鸟方法。

47、本技术能够实现不同鸟类个体的定时、定量投喂，更加智能化且方便交互，提高了用户体验。