一种空中成像控制方法、装置、系统及存储介质与流程

本技术涉及智能交互，特别涉及一种空中成像控制方法、装置、系统及存储介质。

背景技术：

1、随着科技的不断发展，娱乐系统的显示载体和显示媒介数量不断增多，尤其是空中成像技术的发展，可以实现多个显示媒介的融合，通过多个画面的同步和叠加显示，为人机互动体验、沉浸式观影等功能提供了强大的技术支撑。

2、目前，控制成像技术由于图像生成控制器的差异、成像原理的差异等，从用户观察角度容易产生画面不同步，导致交互体验不佳。

3、因此，如何提供一种空中成像控制方法，以提高画面同步的效果、提升用户交互体验，成为一项亟待解决的技术问题。

技术实现思路

1、本技术提供一种空中成像控制方法、装置、系统及存储介质，用以提高画面同步的效果、提升用户交互体验。

2、本技术提供一种空中成像控制方法，包括：

3、当监测到图像源输出图像时，根据预设采样周期确定空中成像的位置，并根据预设采样周期确定观察者眼点所在位置；

4、根据当前周期所述空中成像的位置以及观察者眼点所在位置确定观察高度角和观察偏离角；

5、通过所述观察高度角和观察偏离角调整光学反射平板的角度，以对所述空中成像的位置进行补偿；

6、当当前采样周期的空中成像的位置调整为适于所述观察者进行观看的位置时，确定所述空中成像的位置调整完毕。

7、本技术的有益效果在于：当监测到图像源输出图像时，根据预设采样周期确定空中成像的位置，并根据预设采样周期确定观察者眼点所在位置；根据当前周期所述空中成像的位置以及观察者眼点所在位置确定观察高度角和观察偏离角；通过所述观察高度角和观察偏离角调整光学反射平板的角度，以对所述空中成像的位置进行补偿；当当前采样周期的空中成像的位置调整为适于所述观察者进行观看的位置时，确定所述空中成像的位置调整完毕。由于能够实时采集观察者的眼点位置，并根据观察者的眼点位置对应调整空中成像的位置，以使画面从用户角度观察能够实时处于最佳位置，适应用户的互动或观影需求，因此避免了画面不同步的情况，提升了用户的交互体验。

8、在一个实施例中，所述图像源输出图像时，图像源的光线经过反射平板的反射进入具有负折射率的平板透镜，通过所述平板透镜的折射实现空中成像，所述根据预设采样周期确定空中成像的位置，包括：

9、根据反射平板的角度以及所述平板透镜的折射率确定空中成像的位置。

10、在一个实施例中，所述根据预设采样周期确定观察者眼点所在位置，包括：

11、根据面部图像采集设备采集观察者的面部图像；

12、对所述面部图像图像进行识别，以确定所述面部图像中的眼点所在位置；

13、根据所述面部图像中的眼点所在位置确定观察者眼点所在位置。

14、在一个实施例中，所述通过所述观察高度角和观察偏离角调整光学反射平板的角度，包括：

15、确定观察高度角与第一预设比例系数的乘积为观察高度角的高度补偿值，并确定所述观察偏离角与第二预设比例系数的乘积为观察偏离角的偏差补偿值；

16、将所述高度补偿值和偏差补偿值作为云台的调整值以控制云台进行角度调整，进而通过所述云台的角度调整以调整光学反射平板的角度。

17、在一个实施例中，所述通过所述观察高度角和观察偏离角调整光学反射平板的角度，包括：

18、根据以下第一预设公式确定观察高度角的高度补偿值：

19、δθ＝kp·[e1(t)-e1(t-1)]+ki·e1(t)+kd·[e1(t)-2e1(t-1)+e1(t-2)]；

20、其中，δθ为高度补偿值；e1为观察高度角目标值与当前值之差；t、t-1、t-2分别表示当前采样时刻，以及当前采样时刻的前一个采样时刻、前二个采样时刻；kp、ki、kd分别为高度补偿值对应的预设调整系数；

21、根据以下第二预设公式确定观察偏离角的偏差补偿值：

22、δα＝k′p·[e2(t)-e2(t-1)]+k′i·e2(t)+k'd·[e2(t)-2e2(t-1)+e2(t-2)]；

23、其中，δα为高度补偿值，e2为观察偏差角目标值与当前值之差；t、t-1、t-2分别表示当前采样时刻，以及当前采样时刻的前一个采样时刻、前二个采样时刻；k′p、k′i、k′d分别为偏差补偿值对应的预设调整系数；

24、将所述高度补偿值和偏差补偿值作为云台的调整值以控制云台进行角度调整，进而通过所述云台的角度调整以调整光学反射平板的角度。

25、在一个实施例中，所述方法还包括：

26、根据以下公式将与所述空中成像进行交互的平面图像映射到预设区域：

27、xtarget＝xrot+cos(αrot)×(rwidth·xsource-xrot)-sin(αrot)×(rheight·ysource-yrot)；

28、ytarget＝sec(αrot)×[yrot+sin(αrot)×(rwidth·xsource-xrot)+cos(αrot)×(rheight·ysource-yrot)]；

29、其中，式中xrot和yrot为等效转动中心的横、纵坐标；αrot为视差等效转动角度；xsource和ysource第一画面原始图像像素点坐标；rwidth和rheight分别为第一画面原始图像与第一画面显示阵列的宽度和高度之比。

30、在一个实施例中，所述方法还包括：

31、当监测到空中成像与所述平面图像的交互事件时，查询交互事件库，以判断所述交互事件是否属于已知交互事件；

32、当所述交互事件不属于已知交互事件时，判断所述空中成像与所述平面图像的交互事件是否以及偏离已知交互事件；

33、当所述空中成像与所述平面图像的交互事件偏离已知交互事件时，将所述交互事件扩充至交互事件库。

34、本技术还提供一种空中成像控制装置，包括：

35、第一确定模块，用于当监测到图像源输出图像时，根据预设采样周期确定空中成像的位置，并根据预设采样周期确定观察者眼点所在位置；

36、第二确定模块，用于根据当前周期所述空中成像的位置以及观察者眼点所在位置确定观察高度角和观察偏离角；

37、调整模块，用于通过所述观察高度角和观察偏离角调整光学反射平板的角度，以对所述空中成像的位置进行补偿；

38、第三确定模块，用于当当前采样周期的空中成像的位置调整为适于所述观察者进行观看的位置时，确定所述空中成像的位置调整完毕。

39、在一个实施例中，所述图像源输出图像时，图像源的光线经过反射平板的反射进入具有负折射率的平板透镜，通过所述平板透镜的折射实现空中成像，所述第一确定模块，包括：

40、第一确定子模块，用于根据反射平板的角度以及所述平板透镜的折射率确定空中成像的位置。

41、在一个实施例中，所述第一确定模块，包括：

42、采集子模块，用于根据面部图像采集设备采集观察者的面部图像；

43、识别子模块，用于对所述面部图像图像进行识别，以确定所述面部图像中的眼点所在位置；

44、第二确定子模块，用于根据所述面部图像中的眼点所在位置确定观察者眼点所在位置。

45、在一个实施例中，所述调整模块，包括：

46、第三确定子模块，用于确定观察高度角与第一预设比例系数的乘积为观察高度角的高度补偿值，并确定所述观察偏离角与第二预设比例系数的乘积为观察偏离角的偏差补偿值；

47、第一调整子模块，用于将所述高度补偿值和偏差补偿值作为云台的调整值以控制云台进行角度调整，进而通过所述云台的角度调整以调整光学反射平板的角度。

48、在一个实施例中，所述调整模块，包括：

49、第四确定子模块，用于根据以下第一预设公式确定观察高度角的高度补偿值：

50、δθ＝kp·[e1(t)-e1(t-1)]+ki·e1(t)+kd·[e1(t)-2e1(t-1)+e1(t-2)]；

51、其中，δθ为高度补偿值；e1为观察高度角目标值与当前值之差；t、t-1、t-2分别表示当前采样时刻，以及当前采样时刻的前一个采样时刻、前二个采样时刻；kp、ki、kd分别为高度补偿值对应的预设调整系数；

52、第五确定子模块，用于根据以下第二预设公式确定观察偏离角的偏差补偿值：

53、δα＝k′p·[e2(t)-e2(t-1)]+k′i·e2(t)+k'd·[e2(t)-2e2(t-1)+e2(t-2)]；

54、其中，δα为高度补偿值，e2为观察偏差角目标值与当前值之差；t、t-1、t-2分别表示当前采样时刻，以及当前采样时刻的前一个采样时刻、前二个采样时刻；k′p、k′i、k′d分别为偏差补偿值对应的预设调整系数；

55、第二调整子模块，用于将所述高度补偿值和偏差补偿值作为云台的调整值以控制云台进行角度调整，进而通过所述云台的角度调整以调整光学反射平板的角度。

56、在一个实施例中，所述装置还包括：

57、映射模块，用于根据以下公式将与所述空中成像进行交互的平面图像映射到预设区域：

58、xtarget＝xrot+cos(αrot)×(rwidth·xsource-xrot)-sin(αrot)×(rheight·ysource-yrot)；

59、ytarget＝sec(αrot)×[yrot+sin(αrot)×(rwidth·xsource-xrot)+cos(αrot)×(rheight·ysource-yrot)]；

60、其中，式中xrot和yrot为等效转动中心的横、纵坐标；αrot为视差等效转动角度；xsource和ysource第一画面原始图像像素点坐标；rwidth和rheight分别为第一画面原始图像与第一画面显示阵列的宽度和高度之比。

61、在一个实施例中，所述装置还包括：

62、查询模块，用于当监测到空中成像与所述平面图像的交互事件时，查询交互事件库，以判断所述交互事件是否属于已知交互事件；

63、判断模块，用于当所述交互事件不属于已知交互事件时，判断所述空中成像与所述平面图像的交互事件是否以及偏离已知交互事件；

64、扩充模块，用于当所述空中成像与所述平面图像的交互事件偏离已知交互事件时，将所述交互事件扩充至交互事件库。

65、本技术还提供一种空中成像控制系统，包括：

66、至少一个处理器；以及，

67、与所述至少一个处理器通信连接的存储器；其中，

68、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现上述任一实施例所记载的空中成像控制方法。

69、本技术还提供一种计算机可读存储介质，当存储介质中的指令由空中成像控制系统对应的处理器执行时，使得空中成像控制系统能够实现上述任一实施例所记载的空中成像控制方法。

70、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

71、下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。