一种基于机器视觉的霉变瓜子标定方法和系统与流程

本发明涉及霉变瓜子识别，尤其涉及一种基于机器视觉的霉变瓜子标定方法和系统。

背景技术：

1、瓜子极易因存放不当，而导致氧化和霉变。霉变瓜子口味较差，食用这样的瓜子对身体健康危害很大。目前对于霉变瓜子的检测主要是通过人工完成，这种方法效率低，不能应用于大规模瓜子生产线中。同时，霉变瓜子形状、颜色、纹理复杂多样，特征不统一，无法依据单一特征进行筛选。产线获得的瓜子图像存在不清晰、不完整、被污染的情况，已有的针对形状、颜色、纹理特征的霉变瓜子筛选技术鲁棒性较差，无法满足生产过程中实时性的要求。

技术实现思路

1、有鉴于此，本发明提供一种基于机器视觉的霉变瓜子标定方法和系统，目的在与提供一种基于机器视觉和图像处理的霉变瓜子识别方法和系统，通过融合多源图像、图像污点处理，得到完整的瓜子图像。由于合格瓜子图像特征较为明显，霉变瓜子外观复杂，特征不统一。因此，进一步，利用预训练的原型网络模型，从完整瓜子图像中识别合格瓜子图像并进行剔除，得到高准确率的霉变瓜子识别结果。同时，结合摄像机标定得到霉变瓜子真实位置，并在考虑霉变瓜子拣选顺序的基础上，按顺序输出霉变瓜子位置数据，提高霉变瓜子标定效率。

2、实现上述目的，本发明提供的一种基于机器视觉的霉变瓜子标定方法，包括以下步骤：

3、s1：在瓜子传送过程中，采用双机位采集瓜子图像，并对双机位采集的瓜子图像进行融合，得到融合后的瓜子图像；

4、s2：对融合后的瓜子图像进行预处理，以去除图像中的污点，获得预处理后的图像；对预处理后的图像采用二维恒虚警检测，并结合膨胀处理，获得每个瓜子的完整图像；

5、s3：构建原型网络，并进行预训练，得到预训练的原型网络模型；采用预训练的原型网络模型从瓜子的完整图像中识别出合格瓜子图像并进行剔除，得到霉变瓜子图像；

6、s4：选定步骤s1得到的融合后的瓜子图像边框为参考线，进行摄像机标定，获得摄像机参数；

7、s5：确定霉变瓜子拣选顺序，对实际霉变瓜子进行标定。

8、作为本发明的进一步改进方法：

9、可选地，所述步骤s1包括：

10、s101：安置两台摄像机在瓜子分拣通道的正面和侧面，对摄像机进行时间校准，确保摄像机同步启动，图像采集间隔一致，分别采集瓜子的正面图像sxzm和侧面图像sxcm；

11、s102：对图像sxzm和sxcm分别进行尺度空间变换：

12、czm＝sxzm*xszm

13、ccm＝sxcm*xscm

14、其中，czm表示图像sxzm在新的尺度空间域的信息，ccm表示图像sxcm在新的尺度空间域的信息，xszm表示图像sxzm的尺度系数，xscm表示图像sxcm的尺度系数；

15、s103：确定图像sxzm在新的尺度空间域被遮挡的区域ω，计算图像sxzm和sxcm在区域ω的梯度场ru：

16、ru＝rzm+rcm

17、其中，rzm表示图像sxzm在区域ω内的梯度场，rcm表示图像sxcm在区域ω内的梯度场；

18、s104：建立泊松方程，求解像素值，得到融合后的瓜子图像：

19、xs·x＝sd

20、其中，xs表示根据构建的系数矩阵，x表示待求解的融合后图像的像素值，sd表示梯度场ru的散度值。

21、可选地，所述步骤s2中，对融合后的瓜子图像进行预处理，以去除图像中的污点，包括：

22、s201：对融合后的瓜子图像采用直方图均衡化方法，调整图像灰度分布，增强融合后的瓜子图像的对比度；

23、s202：选取融合后的瓜子图像中被污染区域中的任一点wd，选定参考标准点bd，计算点wd的像素一阶导数：

24、▽i(wd)＝(i(bd)-i(wd))/(wd-bd)

25、其中，▽i(wd)表示点wd的像素一阶导数，i(bd)表示参考点bd的像素值，参考点bd位于wd的邻域内，i(wd)表示点wd的像素值，(wd-bd)表示点wd与参考点bd的距离；

26、s203：计算点wd的新像素值：

27、

28、其中，i′(wd)表示点wd的新像素值，ω(wd,bd)表示权重函数；

29、s204：重复步骤s202，s203，直到完成污染区域的全部点修复，获得预处理后的图像。

30、可选地，所述步骤s2中，对预处理后的图像采用二维恒虚警检测，并结合膨胀处理，获得每个瓜子的完整图像，包括：

31、s211：对预处理后的图像采用二维恒虚警检测，进行目标定位，找到目标点mb；

32、s212：选定膨胀参考图像pz，对目标点进行膨胀处理获得每个瓜子的完整图像。

33、可选地，所述步骤s3中，构建原型网络，并进行预训练，得到预训练的原型网络模型，包括：

34、s301：利用合格瓜子图像集和霉变瓜子图像集构建支持集和查询集；

35、s302：采用resnet网络对支持集中的每张图像提取特征信息，采用注意力机制对特征信息进行加强特征提取，然后采用原型网络对特征进行均值处理，生成合格瓜子原型表示和霉变瓜子原型表示；

36、s303：采用resnet网络对查询集中的每张图像提取特征信息，采用注意力机制对特征信息进行加强特征提取，然后采用原型网络对特征进行均值处理，得到查询集图像原型表示；

37、s304：计算查询集图像原型表示与合格瓜子原型表示、霉变瓜子原型表示之间的曼哈顿距离，实现查询集图像的判断；

38、s305：重复步骤s302、步骤s303和步骤s304，进行训练，得到预训练的原型网络模型。

39、可选地，所述步骤s3中，采用预训练的原型网络模型从瓜子的完整图像中识别出合格瓜子图像并进行剔除，得到霉变瓜子图像，包括：

40、s311：利用瓜子的完整图像构建测试数据集，采用预训练的原型网络模型，对测试数据集进行识别，得到合格瓜子图像；

41、s312：从瓜子的完整图像中剔除合格瓜子图像，得到霉变瓜子图像。

42、可选地，所述步骤s4包括：

43、s401：选定步骤s1得到的融合后的瓜子图像边框为参考线，确定参考线与摄像机边框的对应关系：

44、sfd·sbk＝snc·sfx·ck

45、其中，sfd表示摄像机边框上每个点的缩放系数，sbk表示摄像机边框上每个点的坐标，snc表示待求解的摄像机参数矩阵，sfx表示旋转矩阵，ck表示参考线上每个点的坐标；

46、s402：利用二次曲面建立kruppa方程，通过自标定对摄像机参数矩阵snc进行微调；

47、s403：矩阵snc中的元素即为摄像机参数。

48、可选地，所述步骤s5中，确定霉变瓜子拣选顺序包括：

49、s501：根据霉变瓜子图像，在融合后的瓜子图像中标记霉变瓜子；

50、s502：在标记霉变瓜子的融合后的瓜子图像中，划定每一行的霉变瓜子：

51、mx1-mx2≤hj

52、其中，mx1,mx2表示两个霉变瓜子的横坐标，hj表示行间距；

53、在融合后图像中，划定每一列的霉变瓜子：

54、my1-my2≤lj

55、其中，my1,my2表示两个霉变瓜子的纵坐标，lj表示列间距；

56、s503：从第一行第一列开始，依次对霉变瓜子进行编号，确定霉变瓜子拣选顺序。

57、可选地，所述步骤s5中，对实际霉变瓜子进行标定包括：

58、s511：确定霉变瓜子在摄像机坐标系中的位置：

59、sxw·snc＝txw

60、其中，sxw表示霉变瓜子在摄像机坐标系中的位置，snc表示微调后的摄像机参数矩阵，txw表示霉变瓜子在融合后的瓜子图像中的位置；

61、确定霉变瓜子在大地坐标系中的位置：

62、sxw＝xz·sjw+py

63、其中，xz表示摄像机坐标系与大地坐标系之间的旋转关系矩阵，sjw表示霉变瓜子在大地坐标系中的位置，py表示摄像机坐标系与大地坐标系之间的平移关系矩阵；

64、s512：根据霉变瓜子拣选顺序，依次输出霉变瓜子实际位置信息。

65、本发明还提供了一种基于机器视觉的霉变瓜子标定系统，包括：

66、图像融合模块：采集瓜子图像，并对图像进行尺度变换和图像融合，建立图像融合质量评价体系；

67、图像预处理模块：增强融合后图像的对比度，并对污染区域进行修复，二维恒虚警检测，得到瓜子的完整图像；

68、图像识别模块：构建图像集，进行特征提取和原型网络预训练，识别合格瓜子图像，经过剔除得到霉变瓜子图像；

69、摄像机标定模块：选定参考线，进行摄像机标定，获得摄像机参数；

70、霉变瓜子标定模块：确定霉变瓜子拣选顺序，进行霉变瓜子标定。

71、有益效果

72、本发明通过融合多源图像、图像污点处理，两阶段的深度学习网络，得到高准确率的霉变瓜子识别结果。同时，结合摄像机标定得到霉变瓜子准确的真实位置，并在考虑霉变瓜子拣选顺序的基础上，按顺序输出霉变瓜子位置数据，提高霉变瓜子标定效率。

73、本发明方法对双机位的瓜子图像进行融合、去污点，保证了图像无遮挡和清晰；通过深度学习网络，对特征较为一致的合格瓜子进行识别，通过剔除操作得到霉变瓜子，提高了霉变瓜子的识别准确率。减轻了多样化的霉变瓜子图像数据收集工作。本发明的方法对图像进行尺度变换后，采用泊松方程求解融合图像的像素值，有效保留了源图像的梯度信息，实现新图像的无缝融合。

74、本发明通过二维恒虚警检测联合膨胀处理，有利于获得瓜子的完整图像，供后续网络进一步识别；通过注意力机制强化深度学习网络对瓜子有效特征的提取，对原型网络进行训练有利于提高识别性能。本发明采用自标定的方法对摄像机参数矩阵进行微调，有利于提高摄像机参数矩阵准确性；通过对霉变瓜子编号进行空间梳理，有利于确定最优的瓜子拣选顺序。