机器人远程控制系统及控制方法与流程

本技术涉及智能控制领域，且更为具体地，涉及一种机器人远程控制系统及控制方法。

背景技术：

1、现代制造业对产品质量的要求越来越高，表面缺陷检测是确保产品质量的关键步骤，尤其是在汽车、电子、食品和医药等行业。通过对产品表面进行缺陷检测可以严格把控产品质量，帮助企业及时发现生产过程中的问题，确保产品在美观和性能上符合标准，避免因表面缺陷而导致的性能损害，减少返工和废品的产生。

2、但传统对产品表面进行缺陷检测通常基于简单图像处理的自动化系统，如依赖于固定阈值来区分缺陷和非缺陷区域，但这可能只能检测一些基本的缺陷，如面积、颜色或形状的明显异常，无法准确识别微小或复杂的缺陷，导致检测不够准确。

3、因此，期望一种机器人远程控制系统。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种机器人远程控制系统及控制方法，其能够通过机器人的摄像头采集待质检产品的产品外观图像，并将所述产品外观图像通过无线传输模块传输至后台质检服务器，以便能够在后台质检服务器中利用基于人工智能的图像处理和分析算法来对所述产品外观图像进行图像分析和处理，以此根据所述产品外观图像的浅层特征信息和深层语义特征之间的融合交互特征来智能地判断待质检产品是否存在表面缺陷，并响应于所述质检结果为待质检产品存在表面缺陷，用于驱动所述机器人将所述待质检产品放置于不合格产品的放置筐内。通过该方法，能够识别复杂的产品表面缺陷，提高检测的准确性，从而提升产品的整体品质。

2、根据本技术的一个方面，提供了一种机器人远程控制系统，其包括：

3、待质检产品外观图像采集模块，用于通过机器人的摄像头采集待质检产品的产品外观图像；

4、图像传输模块，用于将所述产品外观图像通过无线传输模块传输至后台质检服务器；

5、灰度处理模块，用于在所述后台质检服务器，对所述产品外观图像进行灰度处理以得到灰度化产品外观图像；

6、多尺度特征提取模块，用于在所述后台质检服务器，对所述灰度化产品外观图像进行多尺度特征提取以得到产品外观浅层特征图和产品外观语义特征图；

7、特征交互补偿式融合模块，用于在所述后台质检服务器，将所述产品外观浅层特征图和所述产品外观语义特征图通过图像深-浅特征交互补偿式融合网络以得到产品深-浅融合交互特征图作为产品深-浅融合交互特征；

8、质检结果生成模块，用于在所述后台质检服务器，基于所述产品深-浅融合交互特征，得到质检结果，并基于所述质检结果生成控制指令。

9、在上述机器人远程控制系统中，所述多尺度特征提取模块，用于：在所述后台质检服务器，将所述灰度化产品外观图像通过基于金字塔网络的图像多尺度特征提取器以得到所述产品外观浅层特征图和产品外观语义特征图。

10、在上述机器人远程控制系统中，所述特征交互补偿式融合模块，包括：上采样单元，用于对所述产品外观语义特征图进行上采样以得到上采样产品外观语义特征图；全局语义提取单元，用于从所述上采样产品外观语义特征图中提取产品外观全局语义特征向量；局部语义提取单元，用于从所述上采样产品外观语义特征图中提取产品外观局部语义特征向量；多尺度特征提取单元，用于融合所述产品外观全局语义特征向量和所述产品外观局部语义特征向量以得到多尺度产品外观语义权重特征向量；语义特征融合单元，用于融合所述多尺度产品外观语义权重特征向量和所述产品外观浅层特征图以得到产品外观语义融合浅层特征图；以及，融合交互特征单元，用于融合所述产品外观语义融合浅层特征图和所述产品外观浅层特征图以得到所述产品深-浅融合交互特征图。

11、在上述机器人远程控制系统中，所述全局语义提取单元，包括：全局均值池化子单元，用于对所述上采样产品外观语义特征图中沿通道维度的各个特征矩阵进行全局均值池化处理以得到上采样产品外观语义通道特征向量；以及，点卷积编码子单元，用于对所述上采样产品外观语义通道特征向量进行点卷积编码以得到所述产品外观全局语义特征向量。

12、在上述机器人远程控制系统中，所述局部语义提取单元，包括：通道调制子单元，用于对所述上采样产品外观语义特征图进行点卷积编码以得到通道调制上采样产品外观语义特征图；以及，二维卷积编码子单元，用于对所述通道调制上采样产品外观语义特征图进行二维卷积编码以得到所述产品外观局部语义特征向量。

13、在上述机器人远程控制系统中，所述语义特征融合单元，用于：以所述多尺度产品外观语义权重特征向量中各个位置的特征值作为权重值，分别对所述产品外观浅层特征图的沿通道维度的各个相应的特征矩阵进行加权以得到所述产品外观语义融合浅层特征图。

14、在上述机器人远程控制系统中，所述质检结果生成模块，包括：待质检产品缺陷确定单元，用于在所述后台质检服务器，将所述产品深-浅融合交互特征图通过基于分类器的质检结果生成器以得到质检结果，所述质检结果用于表示待质检产品是否存在表面缺陷；以及，机器人控制单元，用于响应于所述质检结果为待质检产品存在表面缺陷，生成第一控制指令至所述机器人，其中，所述第一控制指令用于驱动所述机器人将所述待质检产品放置于不合格产品的放置筐内。

15、在上述机器人远程控制系统中，还包括用于对所述基于金字塔网络的图像多尺度特征提取器、所述图像深-浅特征交互补偿式融合网络和所述基于分类器的质检结果生成器进行训练的训练模块。

16、在上述机器人远程控制系统中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括待质检产品的训练产品外观图像，以及，所述待质检产品是否存在表面缺陷的真实值；训练图像传输单元，用于将所述训练产品外观图像通过无线传输模块传输至后台质检服务器；训练产品外观图像灰度化单元，用于在所述后台质检服务器，对所述训练产品外观图像进行灰度处理以得到灰度化训练产品外观图像；训练产品外观浅层语义提取单元，用于在所述后台质检服务器，将所述灰度化训练产品外观图像通过所述基于金字塔网络的图像多尺度特征提取器以得到训练产品外观浅层特征图和训练产品外观语义特征图；训练产品深-浅融合交互单元，用于在所述后台质检服务器，将所述训练产品外观浅层特征图和所述训练产品外观语义特征图通过所述图像深-浅特征交互补偿式融合网络以得到训练产品深-浅融合交互特征图；特征优化单元，用于对所述训练产品深-浅融合交互特征图进行特征优化以得到优化的训练产品深-浅融合交互特征图；解码损失单元，用于在所述后台质检服务器，将所述训练产品深-浅融合交互特征图通过所述基于分类器的质检结果生成器以得到分类损失函数值；以及，训练单元，用于基于所述分类损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的图像多尺度特征提取器、所述图像深-浅特征交互补偿式融合网络和所述基于分类器的质检结果生成器进行训练，其中，在模型的每次迭代过程中，对所述训练产品深-浅融合交互特征图进行优化。

17、根据本技术的另一方面，提供了一种机器人远程控制方法，其包括：

18、通过机器人的摄像头采集待质检产品的产品外观图像；

19、将所述产品外观图像通过无线传输模块传输至后台质检服务器；

20、在所述后台质检服务器，对所述产品外观图像进行灰度处理以得到灰度化产品外观图像；

21、在所述后台质检服务器，对所述灰度化产品外观图像进行多尺度特征提取以得到产品外观浅层特征图和产品外观语义特征图；

22、在所述后台质检服务器，将所述产品外观浅层特征图和所述产品外观语义特征图通过图像深-浅特征交互补偿式融合网络以得到产品深-浅融合交互特征图作为产品深-浅融合交互特征；

23、在所述后台质检服务器，基于所述产品深-浅融合交互特征，得到质检结果，并基于所述质检结果生成控制指令。

24、与现有技术相比，本技术提供的一种机器人远程控制系统及控制方法，其能够通过机器人的摄像头采集待质检产品的产品外观图像，并将所述产品外观图像通过无线传输模块传输至后台质检服务器，以便能够在后台质检服务器中利用基于人工智能的图像处理和分析算法来对所述产品外观图像进行图像分析和处理，以此根据所述产品外观图像的浅层特征信息和深层语义特征之间的融合交互特征来智能地判断待质检产品是否存在表面缺陷，并响应于所述质检结果为待质检产品存在表面缺陷，用于驱动所述机器人将所述待质检产品放置于不合格产品的放置筐内。通过该方法，能够识别复杂的产品表面缺陷，提高检测的准确性，从而提升产品的整体品质。