基于单目多视图的一种鮡科鱼类3D表型获取方法及系统

本发明属于农业信息化，尤其涉及融合2d/3d计算机视觉技术，实现鮡科鱼类表型特征测量获取方法，具体为基于单目多视图的一种鮡科鱼类3d表型获取方法及系统。

背景技术：

1、在高原低氧和低温的环境特征下，鮡科鱼类能物种进化出能够适应各种环境的一些特征。通过分析不同生物地理、环境分布的鮡科鱼类，对其环境互助、繁殖育种、鱼类群落结构变化的研究均有重大意义。

2、目前研究来看，针对三维立体空间自动进行表型测量的研究技术相对稀缺，而在二维图形上又很难保证每一个所拍摄角度都能够获取其表型性状值。二维图像上的信息是平面化的，对于获取鮡科鱼类的各类鱼鳍的长度或是宽度都仅在单一的测量上表现其误差小的功能。在获取鱼的俯视、正视、侧视图像时，也很难保证鱼鳍在三张图像中完整展现，存在卷曲的可能。在获取数据难以保证后面测量性状的准确性、且难以避免人为干预，并且所获取到的图像数据集用于人工智能算法中，导致后续的预测鱼的各性状位置存在数据误差，得出的测量结果与真实情况相差较大。并且，根据获取到的鱼的二维图像数据，很难得到一些表型信息，如鱼的胸围长度信息、鱼的表面积信息、鱼的体积信息等表型数据，而这些表型数据对于鱼的体况检测十分重要。

技术实现思路

1、为克服上述现有技术的不足，本发明提供一种基于单目多视图的一种鮡科鱼类3d表型获取方法及系统，通过三维重建获得鮡科鱼类的三维模型，通过过滤算法除去背景噪声，最后通过基于深度学习算法的分割模型获得鮡科鱼类的表型性状。

2、根据本发明说明书的一方面，提供一种基于单目多视图的一种鮡科鱼类3d表型获取方法，包括：

3、获取鮡科鱼类视频数据；

4、根据获取的鮡科鱼类视频数据，结合多目立体视觉算法，进行鮡科鱼类三维模型的重建和去噪；

5、将去噪后的鮡科鱼类三维点云数据输入训练后的分割模型，输出鮡科鱼类不同部位的表型性状；其中，所述分割模型的训练，包括：

6、构建鮡科鱼类的三维点云数据样本的训练集与测试集；

7、基于pointnet++算法构建分割模型，所述分割模型包括点集特征学习模块和点的特征传播模块；

8、利用训练集对构建的分割模型进行训练，并利用测试集对训练后的分割模型进行测试，输出训练好的分割模型。

9、作为进一步的技术方案，所述方法还包括：

10、分别获取真实参照物及三维模型中参照物的长度，得到真实参照物与三维模型中参照物的比例关系；

11、根据所述比例关系，结合鮡科鱼类不同部位的表型形状，得到鮡科鱼类不同部位的表型数据。

12、作为进一步的技术方案，进行鮡科鱼类三维模型的重建，包括：

13、根据获取的鮡科鱼类视频数据，得到每条鮡科鱼类的不同旋转角度的图片，形成鮡科鱼类的图像数据集；

14、根据所述鮡科鱼类的图像数据集，进行稀疏重建；

15、根据稀疏重建结果，结合多目立体视觉算法，进行稠密重建，得到重建的鮡科鱼类三维模型。

16、作为进一步的技术方案，对重建的鮡科鱼类三维模型进行去噪，包括：

17、利用纹理映射，将重建得到的网格数据与纹理图片映射为含有rgb信息的网格数据；

18、根据随机采样一致性算法进行分割，得到分割前后景；

19、根据含有rgb信息的网格数据，结合hsv空间颜色分割算法，去除背景点云；

20、采用统计滤波和欧几里得聚类进一步去除背景噪声。

21、作为进一步的技术方案，在获取去除的背景点云后，还包括：基于颜色分割方法，提取出三维模型中参照物；测量出三维模型中参照物的长度、高度或半径。

22、作为进一步的技术方案，所述基于pointnet++算法构建的分割模型中，点集特征学习模块包括两个集合抽象层，每一集合抽象层均包括采样、分组及pointnet层；所述点的特征传播模块的输入为通道数和多个多层感知机结构，采用基于距离的插值和跨级跳跃链接的分层传播策略，输出为每个点所在类别的分数。

23、根据本发明说明书的一方面，提供一种基于单目多视图的一种鮡科鱼类3d表型获取系统，包括：

24、输入模块，用于获取鮡科鱼类视频数据；

25、重建和去噪模块，用于根据获取的鮡科鱼类视频数据，结合多目立体视觉算法，进行鮡科鱼类三维模型的重建和去噪；

26、部位分割模块，用于将去噪后的鮡科鱼类三维点云数据输入训练后的分割模型，输出鮡科鱼类不同部位的表型性状；其中，所述分割模型的训练，包括：

27、构建鮡科鱼类的三维点云数据样本的训练集与测试集；

28、基于pointnet++算法构建分割模型，所述分割模型包括点集特征学习模块和点的特征传播模块；

29、利用训练集对构建的分割模型进行训练，并利用测试集对训练后的分割模型进行测试，输出训练好的分割模型。

30、作为进一步的技术方案，所述系统还包括表型测量模块，用于执行如下指令：

31、分别获取真实参照物及三维模型中参照物的长度，得到真实参照物与三维模型中参照物的比例关系；

32、根据所述比例关系，结合鮡科鱼类不同部位的表型形状，得到鮡科鱼类不同部位的表型数据。

33、根据本发明说明书的一方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行所述的方法。

34、根据本发明说明书的一方面，提供一种非暂态计算机读存储介质，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的方法。

35、与现有技术相比，本发明的有益效果在于：

36、1）本发明采用三维重建方法得到鮡科鱼类的三维模型，利用点云过滤去除噪声，得到用于分割的数据，通过采用pointnet++模型中的分割任务对鮡科鱼类进行部件分割，得到鮡科鱼类不同部位的表型性状。进一步地，本发明还可对部件分割后的表型性状进行测量，并在三维模型中得到鱼的体积、表面积等数据。

37、2）本发明通过视频获取鮡科鱼类不同角度的图像并基于此图像数据进行三维重建，相对于现有利用激光扫描获取点云数据而言，本发明能够保证人与鱼的接触时间较短，保证了鱼的体况仅受到微弱影响，使得鱼回归到它的生长环境时，仍然可以健康生长。

38、3）本发明通过稀疏重建、稠密重建的相互配合，能够重建得到清晰的三维模型。

39、4）本发明通过纹理映射后再进行逐层级去噪的方法，能够高效且快速准确的实现点云去噪。

40、5）本发明对于同一前臀鮡的表型分割高效且具有一定泛化能力。

41、6）本发明通过真实参照物与三维模型中参照物的比例关系，能够实现快速准确的表型测量。

技术特征：

1.基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，包括：

2.根据权利要求1所述基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，所述方法还包括：

3.根据权利要求1所述基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，进行鮡科鱼类三维模型的重建，包括：

4.根据权利要求3所述基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，对重建的鮡科鱼类三维模型进行去噪，包括：

5.根据权利要求4所述基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，在获取去除的背景点云后，还包括：基于颜色分割方法，提取出三维模型中参照物；测量出三维模型中参照物的长度、高度或半径。

6.根据权利要求1所述基于单目多视图的一种鮡科鱼类3d表型获取方法，其特征在于，所述基于pointnet++算法构建的分割模型中，点集特征学习模块包括两个集合抽象层，每一集合抽象层均包括采样、分组及pointnet层；所述点的特征传播模块的输入为通道数和多个多层感知机结构，采用基于距离的插值和跨级跳跃链接的分层传播策略，输出为每个点所在类别的分数。

7.基于单目多视图的一种鮡科鱼类3d表型获取系统，其特征在于，包括：

8.根据权利要求7所述基于单目多视图的一种鮡科鱼类3d表型获取系统，其特征在于，所述系统还包括表型测量模块，用于执行如下指令：

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至6任一项权利要求所述的方法。

10.一种非暂态计算机读存储介质，其特征在于，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至6中任一项权利要求所述的方法。

技术总结本发明公开一种基于单目多视图的一种鮡科鱼类3D表型获取方法及系统，方法包括：获取鮡科鱼类视频数据；根据获取的鮡科鱼类视频数据，结合多目立体视觉算法，进行鮡科鱼类三维模型的重建和去噪；将去噪后的鮡科鱼类三维点云数据输入训练后的分割模型，输出鮡科鱼类不同部位的表型性状；分割模型的训练，包括：构建鮡科鱼类的训练集与测试集；基于PointNet++算法构建分割模型，包括点集特征学习和点的特征传播；利用训练集对构建的分割模型进行训练，并利用测试集对训练后的分割模型进行测试，输出训练好的分割模型。本发明通过三维重建获得鮡科鱼类的三维模型，通过过滤算法除去背景噪声，最后通过基于深度学习算法的分割模型获得鮡科鱼类的表型性状。技术研发人员：郑芳,王继孝,戴志文,刘季松,杨庆勇,王海州,杨瑞斌,翟瑞芳,苏晓静,陈彦祥受保护的技术使用者：华中农业大学技术研发日：技术公布日：2024/11/21