传送带上不同产品的自动化计数系统及方法

本发明涉及一种传送带上产品的计数系统，特别是一种传送带上不同产品的自动化计数系统，以及一种传送带上不同产品的自动化计数方法。

背景技术：

1、在现代工业生产中，传送带被广泛应用于流水线作业，特别是在大批量生产的环境中，用于输送各种产品。随着生产效率的不断提高，如何准确、快速地计数传送带上的产品数量，已成为企业提升生产管理水平的关键需求之一。传统的人工计数方法不仅耗时费力，而且容易出现误差，无法满足高效生产的需要。因此，开发一种传送带上产品的自动化计数方法，以提高计数的准确性和生产效率，具有重要的实际意义和应用价值。

2、近年来，随着图像处理技术和传感器技术的发展，基于这些技术的自动计数系统/方法逐渐成为研究热点。例如，已有的自动计数系统/方法相关专利文件：申请号cn202211143455.x的已公布中国发明专利申请文件中所记载一种用于传送带输送物品的计数方法及系统；以及，申请号cn202310946274.9的已公布中国发明专利申请文件中所记载一种智能化的传送带上鸡蛋计数和分类方法。

3、但是，现有系统及方法仍存在以下的技术缺陷，具体而言即现有系统及方法通常采用单一的视觉传感器或者光电传感器来进行计数，容易出现产品计数错误，或者只能用于单一产品（比如蛋类）进行计数，更换产品或者多个产品就会出现无法计数，也无法判断产品是否具有明显的体积缺陷的问题。

4、故此，申请人提出本发明。

技术实现思路

1、本发明的目的是为了解决上述现有技术的不足而提供一种传送带上不同产品的自动化计数系统及方法。

2、为了实现上述目的，本发明所提供的一种传送带上不同产品的自动化计数系统，包括：

3、采集2d图像数据的视觉传感器；

4、采集3d点云数据的结构光传感器；

5、以及，使用2d的深度神经网络算法对采集到的2d图像数据进行目标检测与分类，使用3d的深度神经网络算法对采集到的3d点云数据进行目标检测，并采用2d图像与3d点云多模态配准算法将2d图像数据与3d点云数据进行准确配准，进一步将2d与3d检测框通过两者重叠度去除无效检测框，再对3d点云数据进行点云表面重建，点云分割，计算出相应产品的点云体积，对不同的产品体积进行匹配并计数的计算模块。

6、上述一种传送带上不同产品的自动化计数系统，其中所述计算模块还优选择通过体积阈值设定判断各个类别产品中具有体积缺陷的合格品与不合格品，并计数。

7、上述计算模块，更进一步的优选择为包括：用于检测2d图像目标及其分类的人工智能2d检测分类神经网络；用于检测3d点云目标的人工智能3d检测神经网络；用于2d图像与3d点云进行多模态配准的配准算法；以及，匹配后数据预处理，点云表面重建，点云分割，分割体积计算，通过分类标签信息对其各个类别产品进行计数，通过每个产品的体积设定阈值，阈值内的设置为合格产品，阈值外的设置为不合格产品的后处理算法。

8、进一步的，上述一种传送带上不同产品的自动化计数系统，其还包括：

9、实现数据可视化的显示模块。

10、另外，本发明所提供的一种传送带上不同产品的自动化计数方法，其包括以下的步骤：

11、采用视觉传感器采集2d图像数据，同时采用结构光传感器采集3d点云数据的步骤一；

12、使用2d的深度神经网络算法对采集到的2d图像数据进行目标检测与分类，使用3d的深度神经网络算法对采集到的3d点云数据进行目标检测，并采用2d图像与3d点云多模态配准算法将2d图像数据与3d点云数据进行准确配准，进一步将2d与3d检测框通过两者重叠度去除无效检测框，再对3d点云数据进行点云表面重建，点云分割，计算出相应产品的点云体积，对不同的产品体积进行匹配并计数的步骤二。

13、上述步骤二中还优选择通过体积阈值设定判断判断各个类别产品中具有体积缺陷的合格品与不合格品，并计数。

14、与现有技术相比较，本发明得到的一种传送带上不同产品的自动化计数系统及方法，其具备以下的技术效果：

15、本发明能够对不同时段中传送带上的不同产品进行准确计数，也能够对同一时段中传送带上的多种产品进行同步且准确的计数，而且还均能够计算出产品体积有明显缺陷的合格产品与非合格产品的个数。

16、也就是说，传送带上假如有a，b，c等多种产品在进行传输，而且由于工艺或管理问题，这些产品很有可能会出现不合格现象。通过本发明专利，我们可以对a，b，c等多种产品分别进行计数，并且还能计算出合格产品与非合格产品的个数。

技术特征：

1.一种传送带上不同产品的自动化计数系统，其特征是包括：

2.根据权利要求1所述的一种传送带上不同产品的自动化计数系统，其特征在于：

3.根据权利要求2所述的一种传送带上不同产品的自动化计数系统，其特征在于所述计算模块，主要包括：用于检测2d图像目标及其分类的人工智能2d检测分类神经网络；用于检测3d点云目标的人工智能3d检测神经网络；用于2d图像与3d点云进行多模态配准的配准算法；以及，匹配后数据预处理，点云表面重建，点云分割，分割体积计算，通过分类标签信息对其各个类别产品进行计数，通过每个产品的体积设定阈值，阈值内的设置为合格产品，阈值外的设置为不合格产品的后处理算法。

4.根据权利要求1-3中任一项所述的一种传送带上不同产品的自动化计数系统，其特征在于还包括：

5.一种传送带上不同产品的自动化计数方法，其特征是包括以下的步骤：

6.根据权利要求5所述的一种传送带上不同产品的自动化计数方法，其特征在于：

技术总结本发明公开了一种传送带上产品的计数系统，特别是一种传送带上不同产品的自动化计数系统及方法。所述系统包括：采集2D图像数据的视觉传感器；采集3D点云数据的结构光传感器；分别采用深度学习神经网络算法对采集到的2D图像数据和3D点云数据进行目标检测和分类，并采用2D图像与3D点云多模态配准算法将2D图像数据与3D点云数据进行准确配准，再对3D点云数据进行点云表面重建，点云分割，计算出相应产品的点云体积，对不同的产品体积进行匹配并计数的计算模块。本发明解决了“实现传送带上的不同产品进行准确计数”的技术问题。本发明能够对传送带上的不用产品进行计数，并且能够对产品是否有明显体积缺陷进行区分并且对合格品和非合格品分开计数。技术研发人员：王贤成,方文恺,何宏炜,苗炳义受保护的技术使用者：宁波大学科学技术学院技术研发日：技术公布日：2025/1/6