扩展现实交互方法、装置、电子设备及存储介质与流程

本技术实施例涉及扩展现实领域，具体涉及一种扩展现实交互方法、装置、电子设备及存储介质，其中，该存储介质包括计算机可读存储介质。

背景技术：

1、扩展现实(xr，extended reality)是一个综合性的术语，涵盖了虚拟现实(vr)、增强现实(ar)和混合现实(mr)。扩展现实技术扩展了人类的感知和交互方式，通过数字技术与现实世界进行交互，创造出虚拟的、增强的、混合的现实体验。扩展现实通过虚拟现实场景或者扩展现实场景提供了更直观、便利的内容呈现体验，在娱乐、游戏、教育、医疗、企业生产和社交沟通等领域快速发展，展现出了巨大的潜力和影响。

2、与此同时，扩展现实也提供了更多的交互方式，例如，基于用户的语音从扩展现实场景中定位交互对象并通过语音指令与该交互对象进行交互，进而控制该交互对象完成相应的动作或者处理相应的任务。

3、但是，随着可交互对象的增多，以及交互对象种类、功能、模式的多样化，基于语音进行交互的成功率有待提升。

技术实现思路

1、本技术实施例提供一种扩展现实交互方法、装置、电子设备及计算机可读存储介质，可以提升扩展现实交互的成功率。

2、本技术实施例提供了一种扩展现实交互方法，应用于扩展现实设备，该方法包括：

3、响应于交互事件，采集持有所述扩展现实设备的目标用户的语音信息和眼部注视信息；

4、根据所述语音信息、所述眼部注视信息以及所述目标用户的历史行为信息，从所述扩展现实设备呈现的扩展现实场景中确定目标交互对象；

5、根据所述语音信息生成针对所述目标交互对象的控制指令；

6、按照所述控制指令控制所述目标交互对象。

7、相应的，本技术实施例还提供了一种扩展现实交互装置，应用于扩展现实设备，该装置包括：

8、采集模块，用于响应于交互事件，采集持有所述扩展现实设备的目标用户的语音信息和眼部注视信息；

9、确定模块，用于根据所述语音信息、所述眼部注视信息以及所述目标用户的历史行为信息，从所述扩展现实设备呈现的扩展现实场景中确定目标交互对象；

10、生成模块，用于根据所述语音信息生成针对所述目标交互对象的控制指令；

11、控制模块，用于按照所述控制指令控制所述目标交互对象。

12、可选的，在本技术的一些实施例中，确定模块包括：

13、第一筛选单元，用于所述语音信息从所述扩展现实场景中筛选目标交互对象；

14、第二筛选单元，用于若未筛选到满足目标交互条件的目标交互对象，则根据所述眼部注视信息从所述扩展现实场景中筛选目标交互对象，或者根据所述语音信息和所述眼部注视信息从所述扩展现实场景中筛选目标交互对象；

15、第三筛选单元，用于若仍未筛选到满足所述目标交互条件的目标交互对象，则根据所述眼部注视信息和所述历史行为信息，从所述扩展现实场景中定位目标交互对象。

16、其中，在本技术的一些实施例中，第三筛选单元包括：

17、根据所述眼部注视信息从所述扩展现实场景中确定注视范围，所述注视范围覆盖至少两个待交互对象；

18、根据所述历史行为信息确定定位参考信息，所述定位参考信息包括所述目标用户的行为习惯信息、个人偏好信息或者操作意图信息中的至少一种；

19、根据所述定位参考信息，从所述注视范围的至少两个待交互对象中筛选目标交互对象。

20、其中，在本技术的一些实施例中，第三筛选单元包括：

21、确定所述眼部注视信息对应的注视模式；

22、若所述注视模式与预设模式匹配，则根据所述历史行为信息从所述扩展现实场景中筛选至少一个待交互对象；

23、根据所述待交互对象调整所述扩展现实场景中的各待交互对象的布局；

24、基于所述布局和所述眼部注视信息定位目标交互对象。

25、其中，在本技术的一些实施例中，第二筛选单元包括：

26、根据所述眼部注视信息从所述扩展现实场景中确定注视范围；

27、若所述注视范围处于第一预设区域，且检测到所述目标用户的手势操作，则确定所述手势操作的手势类型；

28、根据所述手势类型从所述扩展现实场景中筛选目标交互对象。

29、其中，在本技术的一些实施例中，所述眼部注视信息包括注视方位信息和眼部动作信息，第二筛选单元包括：

30、根据所述注视方位信息从所述扩展现实场景中确定注视范围；

31、识别所述眼部动作信息对应的动作类型；

32、从映射关系集合中确定所述注视范围以及所述动作类型对应的目标交互对象，其中，所述映射关系集合中记录有预设注视范围、预设动作类型与预设交互对象之间的映射关系。

33、其中，在本技术的一些实施例中，第二筛选单元包括：

34、根据所述语音信息从所述扩展现实场景中筛选至少两个待交互对象；

35、根据所述眼部注视信息，从至少两个所述待交互对象中筛选目标交互对象。

36、其中，在本技术的一些实施例中，确定模块包括：

37、确定单元，用于根据所述历史行为信息确定定位参考信息；

38、第四筛选单元，用于根据所述定位参考信息，从所述扩展现实场景中筛选至少两个待交互对象；

39、展示单元，用于在所述扩展现实场景的第二预设区域展示所述待交互对象；

40、第一定位单元，用于若所述眼部注视信息表征所述目标用户的眼部注视到所述第二预设区域，则根据所述语音信息和所述眼部注视信息，从所述第二预设区域的至少两个待交互对象中定位目标交互对象。

41、其中，在本技术的一些实施例中，所述眼部注视信息包括第一阶段眼部注视信息和第二阶段眼部注视信息，确定模块包括：

42、提取单元，用于若所述第一阶段眼部注视信息表征所述目标用户的眼部注视到呈堆叠遮挡状态的至少两个待交互对象，且所述语音信息未明确所述待交互对象中的目标交互对象，则从所述第一阶段眼部注视信息中提取注视时长信息；

43、展开单元，用于若所述注视时长信息满足预设时长阈值，则将各所述待交互对象展开处理，得到呈扩散排布状态的至少两个待交互对象；

44、第二定位单元，用于根据所述第二阶段眼部注视信息以及所述历史行为信息，从呈扩散排布状态的至少两个待交互对象中确定目标交互对象。

45、其中，在本技术的一些实施例中，生成模块包括：

46、场景确定单元，用于确定所述扩展现实设备的使用场景信息；

47、识别单元，用于识别所述语音信息得到语音识别结果；

48、动作确定单元，用于根据所述语音识别结果确定满足所述使用场景信息的目标动作信息；

49、第一生成单元，用于基于所述目标动作信息生成针对所述目标交互对象的控制指令。

50、其中，在本技术的一些实施例中，动作确定单元包括：

51、模式确定子单元，用于根据所述使用场景信息确定所述目标交互对象的运行模式；

52、动作确定子单元，用于根据所述语音识别结果确定符合所述运行模式的目标动作信息。

53、其中，在本技术的一些实施例中，动作确定子单元具体用于：

54、基于所述运行模式，从所述语音识别结果中提取目标关键词，并基于所述目标关键词确定目标动作信息；

55、或者，

56、基于所述运行模式，通过意图分析模型确定所述语音识别结果的动作意图信息，并基于所述动作意图信息确定目标动作信息。

57、其中，在本技术的一些实施例中，生成模块包括：

58、第一眼动信息确定单元，用于若基于所述语音信息未生成针对所述目标交互对象的控制指令，则确定所述眼部注视信息对应的注视范围和眼部动作信息；

59、第二生成单元，用于根据所述注视范围和所述眼部动作信息对应的动作类型生成针对所述目标交互对象的控制指令。

60、其中，在本技术的一些实施例中，生成模块包括：

61、第二眼动信息确定单元，用于若基于所述语音信息未生成针对所述目标交互对象的控制指令，且检测到所述目标用户的手势操作，则识别所述手势操作对应的手势类型；

62、第三生成单元，用于基于所述手势类型生成针对所述目标交互对象的控制指令。

63、其中，在本技术的一些实施例中，控制指令包括第一子控制指令和第二子控制指令，生成模块包括：

64、第四生成单元，用于根据所述语音信息生成针对所述目标交互对象的第一子控制指令；

65、第五生成单元，用于若所述第一子控制指令满足预设指令类型，则根据所述眼部注视信息生成针对所述目标交互对象的第二子控制指令。

66、其中，在本技术的一些实施例中，第一子控制指令用于标记，所述第二子控制指令用于移动，控制模块包括：

67、第一控制单元，用于通过所述第一子控制指令标记所述目标交互对象；

68、第二控制单元，用于通过所述第二子控制指令将被标记的所述目标交互对象移动至所述扩展现实场景的目标区域。

69、第三方面，本技术实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的扩展现实交互方法中的步骤。

70、第四方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的扩展现实交互方法中的步骤。

71、第五方面，本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。

72、本技术实施例通过采集得到语音信息、眼部注视信息以及结合用户的历史行为信息，综合定位扩展现实场景中的目标交互对象，相较于单纯仅基于语音进行目标交互对象定位的方案，本技术实施例能够提升目标交互对象定位的准确性和成功率，进而提升扩展现实交互的成功率。