一种显示屏机器人高精度装配与校准系统的制作方法

本发明涉及装配校准，具体是指一种显示屏机器人高精度装配与校准系统。

背景技术：

1、一种显示屏机器人高精度装配与校准系统是指一种采用计算机视觉技术对多显示屏设备提供装配指导与校准优化的系统。显示屏在电子产品中的应用越来越广泛，多显示屏设备需要较高精度的装配和校准，以确保显示屏的显示效果。

2、现有的传统装配方案缺少针对多显示屏设备的面向用户化的装配指导方法；

3、在目前已有的近似方案中，例如，cn111240567b 一种显示屏的角度调整方法及电子设备，这种方案针对现有技术中用户通常采用手动的方式调节显示屏折叠角度的技术问题，通过计算触控笔的夹角进行角度补偿，提供了一种显示屏的角度调整方法，实现了提高用户使用体验的技术效果，但存在显示屏校准方式较为单一，未结合用户个性化的看屏需求及其使用习惯，动态性不佳的问题；

4、因此，传统的装配与校准系统存在缺少针对多显示屏设备的面向用户化的装配指导方法的技术问题；存在显示屏校准方式较为单一，未结合用户个性化的看屏需求及其使用习惯，动态性不佳的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种显示屏机器人高精度装配与校准系统；

2、针对缺少针对多显示屏设备的面向用户化的装配指导方法的技术问题，本发明引入像素位移修正和像素颜色修正，通过逐步骤地判断用户装配效果与标准装配效果的匹配相似程度，精准定位并及时纠正错误步骤，确保多显示屏设备的精准装配；针对显示屏校准方式较为单一，未结合用户个性化的看屏需求及其使用习惯，动态性不佳的技术问题，本发明通过眼动追踪来评估用户的视觉注意力的分布，充分考虑了用户的看屏需求及使用习惯，提升用户与多屏幕设备的交互性，打造更为个性化的用户体验；

3、本发明采取的技术方案如下：本发明提供了一种显示屏机器人高精度装配与校准系统，所述一种显示屏机器人高精度装配与校准系统包括显示屏机器人、装配指导模块、图像匹配模块和屏幕校准模块；所述屏幕校准模块包括头戴显示器、摄像头；

4、所述显示屏机器人，具体是指一种由多个显示屏组合而成的屏幕设备；

5、所述装配指导模块，使用一种装配效果验证方法，采集显示屏机器人的预期装配效果图像和用户装配图像，验证用户装配显示屏机器人的操作是否正确；

6、所述图像匹配模块，对预期装配效果图像和用户装配图像使用一种结合位移颜色修正的多尺度ssim评估方法，评估显示屏机器人的装配步骤与预期装配效果之间的相似性，得到装配效果指标，并将装配效果指标发送至装配指导模块；

7、所述屏幕校准模块，采用时空注视可视化方法，调整显示屏机器人所有显示屏的相对位置和俯仰角度。

8、所述装配指导模块使用装配效果验证方法，所述装配效果验证方法，具体包括以下步骤：

9、步骤a1：提取标准，具体为，将显示屏机器人装配说明书导入装配指导模块，装配指导模块从显示屏机器人装配说明书中提取预期装配效果图像；

10、步骤a2：用户装配，具体为，用户拍摄现阶段第q步的用户装配图像，将用户装配图像上传至图像匹配模块；

11、所述用户装配图像，具体是指用户依照显示屏机器人装配说明书操作至第q步装配阶段的效果图像；

12、步骤a3：数据传输，具体为，装配指导模块将预期装配效果图像传输至图像匹配模块，图像匹配模块根据用户装配图像和预期装配效果图像，得到装配效果指标，图像匹配模块将装配效果指标传输至装配指导模块：

13、步骤a4：效果验证，如果装配效果指标低于预设阈值，则装配步骤执行不正确，验证失败，提示用户重新执行第q步装配步骤，并重复步骤a2；

14、如果装配效果指标大于等于预设阈值，则装配步骤执行正确，验证成功，用户继续执行第q+1步装配步骤，并重复步骤a2，直至显示屏机器人装配说明书中所有装配步骤执行完毕。

15、所述图像匹配模块，使用结合位移颜色修正的多尺度ssim评估方法，所述结合位移颜色修正的多尺度ssim评估方法，具体包括以下步骤：

16、步骤b1：框选感兴趣区域，具体为，图像匹配模块采用轮廓检测技术，在预期装配效果图像和用户装配图像中划分感兴趣区域，分别使用不同尺度的像素框框选用户装配图像的感兴趣区域；

17、步骤b2：偏移修正，具体操作步骤如下：

18、步骤b21：计算局部统计量，具体为，采用ssim指标计算方法，计算预期装配效果图像的局部均值a和局部标准差a，将预期装配效果图像记为图像a；

19、步骤b22：像素匹配，具体为，采用块匹配算法，寻找用户装配图像和预期装配效果图像之间最佳匹配像素点，根据所述最佳匹配像素点的相对位置，计算水平和垂直方向上的像素偏移量；

20、步骤b23：偏移计算，具体为，将用户装配图像记为图像b，修正用户装配图像相对于预期装配效果图像的偏移，计算偏移修正后像素横坐标和纵坐标，所用公式如下：

21、；

22、式中，表示图像b中经偏移修正后像素横坐标和纵坐标，和分别表示图像b中像素原横坐标和纵坐标，表示像素在所述水平方向上的像素偏移量，表示像素在所述垂直方向上的像素偏移量；

23、步骤b24：通道划分，具体为，将图像b转换为yuv色彩空间，每个像素由三个分量通道组成，分别为亮度值、u分量和v分量；

24、步骤b25：均值计算，具体为，根据偏移修正后像素横坐标和纵坐标，采用邻域加权方法，计算图像b的局部均值b，所用公式如下：

25、<msubsup><mi>μ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y)=</mi><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>i=x-k</mi><mi>x+k</mi></munderover><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>j=y-k</mi><mi>y+k</mi></munderover><mrow><mi>[ω(i-x,j-y)·</mi><msub><mi>b</mi><mi>c</mi></msub><mi>(i',j')]</mi></mrow></mstyle></mstyle>；

26、式中，表示图像b的局部均值b，表示坐标为的像素的邻域区域，表示邻域半径，表示高斯加权函数，表示偏移修正后每个分量通道的值；

27、步骤b26：标准差计算，计算图像b的局部标准差b，所用公式如下：

28、<msubsup><mi>σ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y)=</mi><msqrt><mrow><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>i=x-k</mi><mi>x+k</mi></munderover><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>j=y-k</mi><mi>y+k</mi></munderover><mrow><mi>{[ω(i-x,j-y)·</mi><msup><mrow><msub><mi>b</mi><mi>c</mi></msub><mi>(i',j')</mi></mrow><mn>2</mn></msup><mi>]</mi></mrow></mstyle></mstyle><mi>-</mi><msup><mrow><mi>(</mi><msubsup><mi>μ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y))</mi></mrow><mn>2</mn></msup><mi>}</mi></mrow></msqrt>；

29、式中，表示局部标准差b；

30、步骤b3：相似性估计，从结构、亮度值和对比度三个方向，估计图像a和图像b的相似性，具体操作步骤如下：

31、步骤b31：协方差计算，用于衡量图像a和图像b之间的线性相关性，具体为，根据偏移修正后像素横坐标和纵坐标，计算图像a和图像b之间的协方差，所用公式如下：

32、；

33、式中，表示协方差，表示图像a每个分量通道的值，表示图像b经过偏移修正后的每个分量通道值，和分别表示图像a的局部均值a和图像b的局部均值b；

34、步骤b32：结构相似性度量计算，所用公式如下：

35、；

36、式中，表示结构相似性度量，表示图像a和图像b之间的协方差，表示图像a的局部标准差a，表示图像b的局部标准差b，，表示位深度；

37、步骤b33：颜色修正，具体为，根据偏移修正后像素横坐标、纵坐标和分量通道的值，计算图像a和图像b之间的全局颜色偏移量；

38、步骤b34：计算亮度值相似性，根据图像a和图像b之间的全局颜色偏移量，计算亮度值相似性，所用公式如下：

39、；

40、式中，表示亮度值相似性，和分别表示图像a的局部均值a和图像b的局部均值b，表示全局颜色偏移量，，表示位深度；

41、步骤b35：计算对比度相似性，所用公式如下：

42、；

43、式中，表示对比度相似性，和分别表示图像a的局部标准差a和图像b的局部标准差b，，表示位深度；

44、步骤b36：计算综合质量得分，所用公式如下：

45、；

46、式中，表示综合质量得分，、和分别表示权重参数；

47、步骤b37：通道整合，用于整合所有像素框的局部计算结果，具体为，分别计算三个分量通道的结构相似度指数，并对结构相似度指数进行加权平均操作，图像匹配模块将加权平均后的结果作为装配效果指标传输至装配指导模块，所述结构相似度指数的计算公式如下：

48、；

49、式中，表示结构相似度指数，和分别表示图像宽度和高度，表示遍历所有像素求累计和。

50、所述屏幕校准模块，采用时空注视可视化方法，所述时空注视可视化方法，具体包括以下步骤：

51、步骤c1：注视点捕获，具体为，屏幕校准模块使用头戴显示器，采用同步定位与建图技术和眼动追踪技术，捕获参与者的注视点；

52、步骤c2：显示屏定位，具体为，屏幕校准模块使用摄像头，采集环境图像，所述环境图像，具体是指完整拍摄未被遮挡的显示屏机器人的图像；

53、步骤c3：统一坐标系，具体为，将所述注视点和所述环境图像整合映射到一个统一的空间坐标系中，获得注视平面图；

54、步骤c4：构建立方体，具体为，构建一个三维立方体，所述立方体的x-z平面表示所述注视平面图，所述立方体的y轴表示时间；

55、步骤c5：绘制注视轨迹，具体为，在立方体中，逐时间地连接立方体中的注视点，绘制注视轨迹；

56、步骤c6：区域划分，具体为，划分注视平面图中显示屏机器人的显示屏区域，对所有显示屏区域进行编号；

57、步骤c7：量化影响力，具体为，采用内核密度估计方法，平滑注视轨迹，记录每个显示屏区域归属自身的注视点的数量，计算每个显示屏的影响力，所用公式如下：

58、；

59、式中，表示任一编号显示屏区域中的注视点对该显示屏中心位置的影响力，表示对归属该显示屏的注视点的影响力求累计和，该显示屏中心位置的坐标，表示第个注视点的坐标，表示缩放因子；

60、步骤c8：颜色编码，采用方法，根据影响力对立方体中的显示屏区域进行着色渲染；

61、步骤c9：屏幕校准模块根据着色后的立方体，调整显示屏机器人所有显示屏的相对位置和俯仰角度。

62、采用上述方案本发明取得的有益效果如下：

63、（1）针对缺少针对多显示屏设备的面向用户化的装配指导方法的技术问题，本发明引入像素位移修正和像素颜色修正，通过逐步骤地判断用户装配效果与标准装配效果的匹配相似程度，精准定位并及时纠正错误步骤，确保多显示屏设备的精准装配；

64、（2）针对显示屏校准方式较为单一，未结合用户个性化的看屏需求及其使用习惯，动态性不佳的技术问题，本发明通过眼动追踪来评估用户的视觉注意力的分布，充分考虑了用户的看屏需求及使用习惯，提升用户与多屏幕设备的交互性，打造更为个性化的用户体验。