一种基于多目标视觉检测的竹筷色选机控制方法与流程

本发明涉及视觉检测，具体是一种基于多目标视觉检测的竹筷色选机控制方法。

背景技术：

1、竹筷色选机主要用于自动检测和分类不同颜色的竹筷，其主要目的是进行竹筷的色彩分选和挑选合格质量的竹筷，以便用于生产、销售以及需要特定颜色竹筷的场景，这些场景可能包括餐饮行业、酒店用品供应商以及家居用品制造商等。

2、传统的竹筷色选机在同一时刻往往只能对单独的一个竹筷进行目标检测，这就导致了对竹筷色选的效率过低，且经过竹筷色选后竹筷的质量一般很难满足期望的质量要求，如何提升竹筷色选的效率以及增强竹筷色选后竹筷的整体质量，这是目前竹筷色选机进行竹筷色选时所需要面临的问题。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种基于多目标视觉检测的竹筷色选机控制方法。

2、本发明的目的可以通过以下技术方案实现：一种基于多目标视觉检测的竹筷色选机控制方法，包括以下步骤：

3、步骤s1：通过图像采集设备获取竹筷色选机对应竹筷放置区域的竹筷批量图片，并对竹筷批量图片进行成像拼接校正，进而获取相应的竹筷图片集；

4、步骤s2：对竹筷图片集进行多目标视觉检测，进而检测出若干个单体竹筷目标，针对检测到的若干个单体竹筷目标，通过预构建的目标分类神经网络进行目标分类，进而标注分类出若干个单体竹筷目标各自对应的颜色类别；

5、步骤s3：启动竹筷色选机，并对每个单体竹筷目标进行目标跟踪，进而生成各自相应的跟踪轨迹，根据单体竹筷目标的颜色类别和跟踪轨迹控制竹筷色选机进行色选操作；

6、步骤s4：对色选操作的结果进行评估，进而根据评估结果决定是否构建色选干预模型。

7、进一步的，通过图像采集设备获取竹筷色选机对应竹筷放置区域的竹筷批量图片的过程包括：

8、选择图像采集设备并配置设备参数，将图像采集设备安装至竹筷色选机对应的支架轨道处，并启动图像采集设备，设置图像采集设备的设备变更参数，设备变更参数包括设备移动距离和设备转动角度，进而当图像采集设备启动后，以秒为单位改变设备变更参数并采集竹筷放置区域不同角度下对应的竹筷图片，获取图像采集设备在支架轨道从轨道起点至轨道终点所用时间，进而根据所用时间确定采集到竹筷图片的数目，汇总若干数目的竹筷图片生成竹筷批量图片。

9、进一步的，对竹筷批量图片进行成像拼接校正，进而获取相应的竹筷图片集的过程包括：

10、对竹筷批量图片所包括的若干个竹筷图片编号，并记编号为i，i＝1，2，3，……，n，设置单位区域，从编号i＝1的竹筷图片开始，按照单位区域将竹筷图片分割为若干数目的子区域图片，记该若干数目为j，则有j＝1，2，3，……，m，n和m为大于0的自然数，直至完成对编号为i＝n的竹筷图片的分割；

11、将编号为i的竹筷图片的第j个子区域图片记为p<i，j>，设置子区域图片的像素畸变阈值，并记为τ畸变，获取p<i，j>对应的区域畸变值，并记为τ<i，j>；

12、将τ<i，j>≥τ畸变的全部子区域图片标注为畸变区域图片；

13、将τ<i，j>＜τ畸变的全部子区域图片标注为正常区域图片；

14、对畸变区域图片进行畸变类型分析，进而获取畸变区域图片的畸变类型，畸变类型包括透视畸变和径向畸变，对于透视畸变，则重新设置图像采集设备的设备变更参数，对于径向畸变，则进行图像采集设备对应镜头的更换，并在各项处理操作完成后重新进行竹筷批量图片的采集以及分割，直至最终全部的子区域图片都被标注为正常区域图片；

15、从j＝1开始，依次以编号i等于1至n的竹筷图片为遍历对象，拼接每个遍历对象中的第j个正常区域图片，进而生成一个相应的竹筷区域拼接图层，后续每次对j的取值进行加一，并进行i等于1至n的遍历对象相同编号j的正常区域图片的拼接，直至完成j＝m的竹筷区域拼接图层的生成，进而生成m个竹筷区域拼接图层，汇总m个竹筷区域拼接图层生成当前全部竹筷各自对应的竹筷图片集。

16、进一步的，对竹筷图片集进行多目标视觉检测，进而检测出若干个单体竹筷目标的过程包括：

17、编辑数据分析脚本，将多目标视觉检测算法代码化为脚本注入数据注入至数据分析脚本内，将竹筷图片集输入至数据分析脚本，设置脚本运行时段进行数据分析脚本的运行，由数据分析脚本对竹筷图片集所对应的每个竹筷区域拼接图层依次进行目标检测，选择竹筷色选机所期望获取到的标准形式竹筷以及标准形式竹筷对应的标准像素集，标准像素集包括x数目的主体特征像素以及y数目的边缘特征像素，x和y为大于0的自然数；

18、获取每个竹筷区域拼接图层对应包括的若干个正常区域图片，获取每个正常区域图片处于标准像素集下对应的图片区域，当正常区域图片存在0.7x及以上的主体特征像素，以及存在0.5y及以上的边缘特征像素，则对若干个图片区域进行像素级融合生成疑似竹筷目标，否则，则不进行任何操作；

19、获取疑似竹筷目标对应的像素集，并判断是否完全符合标准像素集；

20、若是，则将当前检测到的疑似竹筷目标作为单体竹筷目标，若否，则获取与当前竹筷区域拼接图层相邻的竹筷区域拼接图层的疑似竹筷目标，并判断相邻疑似竹筷目标中是否存在当前疑似竹筷目标对应的竹筷残缺图像，若是，则像素级融合该竹筷残缺图像与当前疑似竹筷目标，进而将疑似竹筷目标转换为单体竹筷目标，否则，则不进行任何操作，通过对若干个竹筷区域拼接图层进行目标检测，进而检测出若干个单体竹筷目标。

21、进一步的，针对检测到的若干个单体竹筷目标，通过预构建的目标分类神经网络进行目标分类，进而标注分类出若干个单体竹筷目标各自对应的颜色类别的过程包括：

22、预构建目标分类神经网络，通过对标准形式竹筷和若干个单体竹筷目标分别进行色谱分析，进而生成标准形式竹筷对应的标准参照色谱，以及若干个单体竹筷目标各自对应的验证色谱，将标准参照色谱和若干个单体竹筷目标各自的验证色谱输入至目标分类神经网络中，进而由目标分类神经网络获取色谱偏差度，设置偏差区间，偏差区间包括第一区间和第二区间，分别记为ω1和ω2，将色谱偏差度记为η偏差，其中，η偏差的取值范围为[0，1]，ω1＝[0，0.6]，ω2＝(0.6，1]；

23、当时，标注相对应的单体竹筷目标的颜色类别为期望色系类；

24、当时，标注相对应的单体竹筷目标的颜色类别为异常色系类。

25、进一步的，启动竹筷色选机，并对每个单体竹筷目标进行目标跟踪，进而生成各自相应的跟踪轨迹的过程包括：

26、在设置的机器工作时段内启动竹筷色选机，由竹筷色选机内设置的传动装置进行若干个单体竹筷目标在竹筷色选机对应传动装置的传动区域的运送，将单体竹筷目标在传动区域的运送时间划分为若干个时间节点，在每个时间节点生成一个定位请求并发送至传动区域设置的gps定位仪，由gps定位仪获取每个时间节点下单体竹筷目标对应的位置坐标进行目标跟踪，进而以时间节点为自变量，以每个时间节点对应的位置坐标作为因变量，生成每个单体竹筷目标相应的跟踪轨迹折线图，跟踪轨迹折线图用于表示每个单体竹筷目标各自对应的跟踪轨迹。

27、进一步的，根据单体竹筷目标的颜色类别和跟踪轨迹控制竹筷色选机进行色选操作的过程包括：

28、将标准形式竹筷按照预设的标准运送轨迹进行运送，进而按照标准运送轨迹对应的运送时间划分出若干个时间节点，并绘制标准形式竹筷对应的标准跟踪轨迹折线图，将全部跟踪轨迹折线图与标准跟踪轨迹折线图相符合的单体竹筷目标作为待色选目标，将其他不符合标准跟踪轨迹折线图的单体竹筷目标作为待回收目标；

29、由竹筷色选机进行色选操作，竹筷色选机设置有进料口、回收口以及出料口，其中，进料口与出料口以及回收口分别相互通道连接，出料口和回收口不相互通道连接，进料口由不同类别的色选通道组成，每个色选通道都配备有相应的光学传感器、气动装置以及捆扎装置；

30、若干个待色选目标和待回收目标按照各自的跟踪轨迹运送至进料口，由进料口内若干个类别的色选通道的光学传感器进行对应待色选目标的颜色识别，若待色选目标被光学传感器进行颜色识别的结果符合色选通道的色选条件，则由当前色选通道对应的气动装置将待色选目标送入至相应色选通道，并在色选通道内的待色选目标的数目达到设置的捆扎数目后，由色选通道对应的捆扎装置进行捆扎，进而生成相应的竹筷组移送至出料口；若待色选目标被光学传感器进行颜色识别的结果不符合色选通道的色选条件，则移送至回收口进行回收操作；

31、待回收目标运送至进料口后，直接由回收口进行回收操作。

32、进一步的，进行颜色识别的过程包括：

33、设置期望色系类和异常色系类各自对应的识别光谱，并将各自对应的识别光谱录入至每个光学传感器中，当待色选目标经过光学传感器时，由光学传感器发射一束特定波长的识别光，并接收经由待色选目标反射后的反射光束，通过光谱分析技术获取每个反射光束的待判别光谱；

34、当待判别光谱与期望色系类对应的识别光谱完全吻合时，则表示符合当前色选通道的色选条件；

35、当待判别光谱与异常色系类对应的识别光谱完全吻合时，则表示不符合当前色选通道的色选条件。

36、进一步的，对色选操作的结果进行评估，根据评估结果决定是否构建色选干预模型的过程包括：

37、获取色选操作执行后竹筷组的色选成功率，并记为sc，，其中，e表示通过质检操作的竹筷组的数目，表示竹筷组的总数目，设置优化阈值，记为μ，优化阈值为满足色选操作在理想状态下进行的最小数值；

38、当sc≥μ时，对应色选操作的评估结果为：“当前色选操作处于理想状态下”，不构建色选干预模型；

39、当sc＜μ时，对应色选操作的评估结果为：“当前色选操作未处于理想状态下”，构建当前竹筷色选机对应的色选干预模型。

40、进一步的，构建色选干预模型的过程包括：

41、记录启动竹筷色选机后生成的全部操作数据，通过机器学习技术构建一个初始的数据模型，操作数据包括竹筷色选机运行数据、光学传感器运行数据和气动装置运行数据，对竹筷色选机运行数据、光学传感器运行数据以及气动装置运行数据进行数据分析，进而提取出各自的薄弱数据，以及获取各自薄弱数据产生的时间节点；

42、将竹筷色选机、光学传感器以及气动装置各自生成薄弱数据的时间节点标记为干预节点，将每个干预节点的薄弱数据封装为建模数据输入至初始的数据模型中，进而将初始的数据模型转换为初始的色选干预模型；

43、获取竹筷色选机、光学传感器以及气动装置完成一次在理想状态下色选操作的操作数据作为训练数据输入至初始的色选干预模型中，进而进行模型训练，直至竹筷色选机、光学传感器以及气动装置各自的薄弱数据符合各自预设的允许条件，则停止模型训练，进而构建出最终的色选干预模型。

44、与现有技术相比，本发明的有益效果是：

45、1、通过图像采集设备获取竹筷批量图片，并对竹筷批量图片进行成像拼接校正后获取竹筷图片集，对竹筷图片集进行多目标视觉检测，进而检测出若干个单体竹筷目标，针对检测到的若干个单体竹筷目标，通过预构建的目标分类神经网络进行目标分类，进而标注分类出若干个单体竹筷目标各自对应的颜色类别，启动竹筷色选机对若干个单体竹筷目标进行色选操作，实现了对多个竹筷同时进行目标检测和色选操作，一定程度上提升了竹筷色选的工作效率。

46、2、评估色选操作的结果，当色选操作的结果未处于理想状态下时，则构建当前竹筷色选机对应的色选干预模型，并对色选干预模型进行模型训练，以获取最终的色选干预模型对竹筷色选机的色选操作进行干预，以便提升竹筷经过色选操作后的整体质量。