基于对比学习的低光照条件下养老机器人视觉增强方法与流程

[]本发明涉及机器人视觉增强，特别是涉及基于对比学习的低光照条件下养老机器人视觉增强方法。

背景技术：

0、[背景技术]

1、随着人类社会的老龄化趋势日益明显，养老机器人作为辅助和陪伴老年人的新型科技也日渐兴起。视觉技术在这一领域的运用显得尤为重要。养老机器人配备了先进的摄像头和图像处理技术，可以帮助老年人获取信息、与外界互动。通过计算机视觉技术，养老机器人能够识别周围环境、老人的状态以及可能的危险，从而提供更好的照护和保障。然而，即使养老机器人的视觉系统足够先进，低光照条件下的图像采集仍然是一项挑战。由于老年人居住环境的复杂性和室外光照的变化，低光照图像的产生是不可避免的。因此，需要不断改进养老机器人的视觉技术，以应对各种复杂环境，提高养老机器人在老年人生活中的实用性和适用性。

2、虽然基于深度学习的低光照图像增强方法相较于传统方法已经取得了显著进步，但在养老机器人的应用场景中，这一技术仍面临着一系列挑战。养老机器人在协助老年人生活过程中，需要能够正确识别环境中的细微变化和老人的状态，因此对图像质量要求极高。然而，当前低光照图像增强技术仍然存在一些问题。

3、如存在缺乏适当的信息对比的问题，目前的方法仅依赖于恢复图像和正常光图像之间的差异，忽略了恢复图像与低光图像的比较。这种方法可能导致难以区分增强图像和低光图像之间的亮度差异。此外，局部亮度信息经常被忽略，导致增强图像中的亮度不均匀。

4、如存在不能完全捕获通道依赖关系的问题，通道注意机制虽然在调整不同通道的重要性方面有一定效果，但在养老机器人的应用中，仍存在对全局通道依赖关系捕获不足的问题。这可能导致养老机器人在处理低光照图像时无法准确地还原色彩和细节，影响其对环境的感知和反应能力。

技术实现思路

0、[技术实现要素：]

1、本发明克服了现有技术的不足，提供了基于对比学习的低光照条件下养老机器人视觉增强方法。

2、为实现上述目的，本发明采用了下列技术方案：

3、基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：包括有

4、s1、照度对比分支采用密集连接的块作为其基本模块，与拉普拉斯算子耦合对低光图像的照度分量进行亮度信息恢复，并将低光图像恢复的照度分量与正常光图像照度对比学习；

5、s2、反射增强分支采用类u-net网络结构恢复低光图像的反射分量，并采用多尺度通道相关表示块mcrb恢复低光图像的颜色；

6、s3、将恢复的照度分量和反射分量通过逐元素相乘获得最终的增强结果。

7、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s1包括有

8、s11、首先将正常光图像和低光图像分别分解生成正常光图像照度分量、低光图像照度分量和低光图像反射分量；

9、s12、将低光图像的照度分量首先经过动态卷积操作，提取浅层特征；

10、s13、经过多连接残差网络，每个模块都通过跳跃连接进行相互连接；

11、s14、通过拉布拉斯卷积模块，获取照度分量的边缘信息，避免了图像边缘过曝和边缘过渡不平滑的现象，具体如下：

12、

13、其中，i(x,y)代表低光图像照度分量的空间坐标，该拉布拉斯算子被定义为函数在x和y方向上的二阶导数之和；

14、s15、照度分量经过多层多连接残差网络和拉布拉斯卷积块后，再经过多层的多连接残差网络，并通过跳跃连接将前后信息进行连接，即保持了浅层特征又获取了深层特征；

15、s16、最后通过动态卷积模块输出恢复的照度分量；

16、s17、最后输出的照度分量与低光图像照度分量和正常光图像照度分量进行照度对比学习损失计算，将低光照图像的照度分量的局部和全局亮度信息组合作为负样本，而将真实的图像的照度分量的全局亮度信息和增强的照度分量的局部亮度信息用作正样本，负样本公式如下：

17、

18、正样本公式如下：

19、

20、其目的是在表征空间中将正对拉得更近，而将负对推开；

21、

22、照明对比度损失的第一项是φ(ilow)、ilow和igt之间的对比学习过程，该过程用于使恢复的照度分量φ(ilow)更接近正样本ipos，并且更远离负样本ineg，第二项是照明重建损失，其旨在与正常光照度分量对齐，第一项是第二项的权重衰减惩罚项，对第二项施加约束，以避免过拟合，提高模型的泛化能力，α是平衡惩罚项和照明重建损失的超参数，照度对比损失公式进一步表示为：

23、

24、将同一场景的两个照度分量放在表示空间中，并将不同场景的两个照度分量推开，在加快收敛的基础之上，减少负对个数，并加入了惩罚项，以此控制生成图像照度分量和正常光图像照度分量的距离，整体如下：

25、log(1+exp(l(φ(li),igt)-l(φ(li),li)))+α‖gi-φ(li)‖2

26、其中，λ(·)表示拉普拉斯残差网络，l(x,y)表示x和y之间的曼哈顿距离，α是权重系数，照明重建损失使用l2损失函数。

27、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s11中通过decmnet模块将正常光图像和低光图像分别分解生成正常光图像照度分量、低光图像照度分量和低光图像发射分量。

28、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s12中的动态卷积为3*3的动态卷积。

29、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s13中的多连接残差网络由5个3*3动态卷积模块组成。

30、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s15中照度分量经过三层多连接残差网络和拉布拉斯卷积块后，再经过两层的多连接残差网络，并通过跳跃连接将前后信息进行连接。

31、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s16中的动态卷积模块为3*3的动态卷积模块。

32、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s2包括有

33、s21、首先低光图像反射分量通过多个nafblock模块去除噪声，然后通过多尺度通道依赖进行颜色和细节修复；

34、多尺度通道依赖表示以通过归一化获取通道间的依赖关系，并通过多尺度来扩大感受野获得更丰富的通道信息，恢复照度分量的颜色和细节；层归一化通过计算特征内的所有通道防止协变量偏移且保持通道依赖性；

35、

36、其中和γ和β分别代表可学习的缩放和平移的参数向量，n代表层中隐藏层的数量，代表隐藏层第l层的第n个输入；

37、s22、然后使用卷积进行下采样，经过多层的卷积和下采样之后再进行多次的卷积和上采样；

38、s23、将浅层和深层特征结合后，通过跳跃连接和加法或连接操作来生成新特征，使用自适应混合操作来融合来自这两层的信息以保持特征，具体如下，

39、ωi＝sigmoid(conv(fi))

40、conv(·)表示双层卷积核为3×3卷积和relu激活函数组成的卷积层,fi表示输入每i层上采样或下采样输入的特征，ωi表示，使特征信息更好地融合，对应权重分别赋予对应的特征，融合过程如下，

41、

42、表示逐像素相乘,f↓i和f↑i分别表示第i个下采样和第i个上采样，ri表示最终的输出；

43、s24、采用感知损失和颜色损失作为损失函数，损失函数表达如下：

44、

45、其中，c,h和w代表照度分量的特征图的尺度，g(·)代表预训练的vgg网络；

46、

47、其中rgt代表真实图像的反射分量，rlow代表低光图像的反射分量，n为通道数；

48、最终，通过结合照度对比损失、感知损失和颜色损失，本方法的最终损失函数被定义为这些损失的加权和，

49、

50、其中，λ1、λ2和λ3是损失权重。

51、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s21中低光图像反射分量通过2个nafblock模块去除噪声。

52、如上所述的基于对比学习的低光照条件下养老机器人视觉增强方法，其特征在于：s22中下采样的卷积为卷积核为2*2、步数为2的卷积。

53、本发明的有益效果是：

54、1、本发明使用了照度对比学习，通过照度分量正负样本的限制，避免了增强图像出现过曝现象，图像内容边缘过度更加柔和。

55、2、本发明使用多尺度通道注意力依赖来扩大感受野捕捉不同尺度的通道信息，相对于有用相同大小感受野的通道注意力来讲，多尺度注意力获取的信息更丰富，并利用通道依赖性和归一化使得反射分量的颜色更加丰富。

56、3、本发明通过设计一个端到端的神经网络模型，通过深度学习技术进行训练，可以将低光图像输出为正常光图像，并使得亮度、颜色和细节更加符合人们的视觉效果。

57、4、本发明与现有的技术相比，基于retinex和对比学习的高分低光图像增强方法相对于仅使用正样本限制的方法能够进一步提高各种增强网络的性能，鲁棒性更好。