一种基于增强现实的虚拟场景交互方法、系统及存储介质

本发明涉及图像处理，具体而言，涉及一种基于增强现实的虚拟场景交互方法、系统及存储介质。

背景技术：

1、在当今数字化领域，增强现实技术应用在众多的领域，其中就包括增强现实技术对历史文物的科普，以满足用户对文物相关知识的需求，一般通常利用增强现实和虚拟现实技术来对文物进行体验应用等，例如，通过搭建文物对应的积木，并对积木上的特定标记或图片进行扫描，得到文物虚拟的场景模型，并将场景模型与现实场景进行融合，从而得到基于增强现实的图像动画和文字介绍，方便用户进行互动以此获取文物相关知识。

2、在现有技术中，仅通过扫描固定图案来获取知识，导致用户搭建积木的动作与获取知识没有必要联系，缺乏与用户的互动性和趣味性，无法吸引用户持续的注意力。

技术实现思路

1、本发明解决的问题是如何提高用户在获取文物相关知识中的体验感。

2、为解决上述问题，本发明提供一种基于增强现实的虚拟场景交互方法，包括：

3、当用户完成搭建文物对应的互动积木时，获取所述互动积木在任意角度的二维图像数据；

4、根据所述二维图像数据，识别所述互动积木的当前三维结构；

5、判断所述当前三维结构是否达到预设条件；

6、若是，则根据所述当前三维结构，生成所述当前三维结构对应的场景模型及预设相关动作；

7、根据所述场景模型和所述预设相关动作，得到所述文物对应的图像、动画和文字介绍。

8、可选地，所述根据所述二维图像数据，识别所述互动积木的当前三维结构，包括：

9、将所述二维图像数据输入三维卷积神经网络；

10、通过所述三维卷积神经网络获取所述二维图像数据的高级特征；

11、根据所述高级特征生成所述当前三维结构。

12、可选地，所述通过所述三维卷积神经网络获取所述二维图像数据的高级特征，包括：

13、通过所述三维卷积神经网络的卷积层和池化层对所述二维图像数据进行特征提取，得到多个特征表示；

14、通过所述三维卷积神经网络的全连接层对所述特征表示进行汇总，将具有表征三维结构的所述特征表示作为所述高级特征。

15、可选地，所述根据所述高级特征生成所述当前三维结构，包括：

16、对所述高级特征进行特征汇总，得到一个高级特征向量；

17、将所述高级特征向量映射至三维空间，得到结构表示；

18、通过损失函数对所述结构表示进行优化，将优化完成的所述结构表示作为所述当前三维结构。

19、可选地，所述判断所述当前三维结构是否达到预设条件，包括：

20、通过对比所述当前三维结构与预设标准结构，判断所述当前三维结构是否达到所述预设条件；

21、其中，当所述当前三维结构与所述预设标准结构相同时，确定所述当前三维结构达到所述预设条件；

22、当所述当前三维结构与所述预设标准结构不同时，确定所述当前三维结构没有达到所述预设条件。

23、可选地，所述根据所述当前三维结构，生成所述当前三维结构对应的场景模型及预设相关动作，包括：

24、将所述当前三维结构分为多个几何对象；

25、根据所述几何对象的相对位置和预设场景布局规则，建立初始模型；其中，所述初始模型的三维结构与所述当前三维结构相同；

26、对所述初始模型进行渲染，得到所述场景模型；

27、根据所述场景模型，生成所述预设相关动作。

28、可选地，所述根据所述场景模型，生成所述预设相关动作，包括：

29、调整所述预设相关动作在所述场景模型中的相对位置至预设标准位置；

30、对所述预设相关动作进行渲染，并与所述场景模型进行融合。

31、可选地，所述根据所述场景模型和所述预设相关动作，得到所述文物对应的图像、动画和文字介绍，包括：

32、根据所述二维图像数据，识别所述互动积木在现实环境的位置和姿态；

33、通过增强现实技术，根据所述位置和所述姿态，将所述场景模型和所述预设相关动作与所述互动积木所在的现实环境进行融合，得到所述文物对应的图像、动画和文字介绍。

34、本发明还提供一种基于增强现实的虚拟场景交互系统，包括存储器和处理器；

35、所述存储器，用于存储计算机程序；

36、所述处理器，用于当执行所述计算机程序时，实现如上述所述的基于增强现实的虚拟场景交互方法。

37、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述所述的基于增强现实的虚拟场景交互方法。

38、本发明的基于增强现实的虚拟场景交互方法、系统及存储介质，通过增强现实搭建文物积木并学习相关知识，当用户完成搭建文物对应的互动积木时，获取互动积木在任意角度的二维图像数据，并根据二维图像数据，识别互动积木的当前三维结构，应用了图像处理和机器学习技术快速而精确地从拍摄的二维图像中识别互动积木的三维结构，同时，判断当前三维结构是否达到预设条件，实时给予用户是否满足预设条件的动态反馈，帮助他们优化互动积木的构建过程。当当前三维结构达到预设要求之后，则生成高真实感和引人入胜的场景模型以及相关动画效果。不仅凸显文物的历史价值，也增加教育的趣味性。本发明利用图像处理和机器学习技术，对用户搭建的互动积木的图像进行分析，根据用户搭建互动积木的状态来实时判断生成预设动作，从而摆脱通过固定标记来生成固定的预设动作，使用户的搭建过程与后续动作生成形成紧密关联，使用户无需特定角度和范围即可识别积木模型，方便用户操作，使用户体验更友好。通过实时解析和反馈，用户可以立即看到操作结果，增强了互动性和用户满意度，提高了用户在获取文物相关知识中的体验感。

技术特征：

1.一种基于增强现实的虚拟场景交互方法，其特征在于，包括：

2.根据权利要求1所述的基于增强现实的虚拟场景交互方法，其特征在于，所述根据所述二维图像数据，识别所述互动积木的当前三维结构，包括：

3.根据权利要求2所述的基于增强现实的虚拟场景交互方法，其特征在于，所述通过所述三维卷积神经网络获取所述二维图像数据的高级特征，包括：

4.根据权利要求2所述的基于增强现实的虚拟场景交互方法，其特征在于，所述根据所述高级特征生成所述当前三维结构，包括：

5.根据权利要求1所述的基于增强现实的虚拟场景交互方法，其特征在于，所述判断所述当前三维结构是否达到预设条件，包括：

6.根据权利要求1所述的基于增强现实的虚拟场景交互方法，其特征在于，所述根据所述当前三维结构，生成所述当前三维结构对应的场景模型及预设相关动作，包括：

7.根据权利要求6所述的基于增强现实的虚拟场景交互方法，其特征在于，所述根据所述场景模型，生成所述预设相关动作，包括：

8.根据权利要求6所述的基于增强现实的虚拟场景交互方法，其特征在于，所述根据所述场景模型和所述预设相关动作，得到所述文物对应的图像、动画和文字介绍，包括：

9.一种基于增强现实的虚拟场景交互系统，其特征在于，包括存储器和处理器；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的基于增强现实的虚拟场景交互方法。

技术总结本发明提供一种基于增强现实的虚拟场景交互方法、系统及存储介质，涉及图像处理技术领域，所述方法包括：当用户完成搭建文物对应的互动积木时，获取互动积木在任意角度的二维图像数据；根据二维图像数据，识别互动积木的当前三维结构；判断当前三维结构是否达到预设条件；若是，则根据当前三维结构，生成当前三维结构对应的场景模型及预设相关动作；根据场景模型和预设相关动作，得到文物对应的图像、动画和文字介绍。本发明利用图像处理和机器学习技术，识别互动积木的三维结构，基于真实的三维结构生成预设动作，以此提高用户在获取文物相关知识中的体验感。技术研发人员：贺爽,杨雯雯受保护的技术使用者：北京服装学院技术研发日：技术公布日：2024/10/17