基于虚拟现实的场景模拟方法、装置、设备及介质

本发明涉及人工智能，尤其涉及一种基于虚拟现实的场景模拟方法、装置、设备及介质。

背景技术：

1、随着科技的快速发展，虚拟现实技术已经成为一种重要的科技产业，其通过模拟人类的感官体验，为人们带来身临其境的沉浸式体验。虚拟现实技术在娱乐、教育、医疗等领域得到了广泛应用，极大地丰富了人们的生活和工作方式。

2、现有的虚拟现实模拟技术主要通过对真实场景进行扫描，通过人工使用三维建模软件根据扫描数据进行虚拟场景建模，这种场景模拟方式的效率较低。

技术实现思路

1、本发明提供一种基于虚拟现实的场景模拟方法、装置、设备及介质，其主要目的在于解决现有基于虚拟现实进行场景模拟效率较低的问题。

2、为实现上述目的，本发明提供的一种基于虚拟现实的场景模拟方法，包括：

3、获取目标场景中的场景点云数据，以及获取目标场景中的材质纹理数据，对所述场景点云数据以及材质纹理数据进行融合，得到场景数据；

4、对所述场景数据进行自适应滤波处理，得到滤波场景数据；

5、利用预先训练的三维场景生成模型根据所述滤波场景数据生成场景模型，获取所述场景模型的模型点云数据；

6、计算所述场景点云数据与所述模型点云数据的损失值，根据所述损失值确认所述场景模型；

7、在所述场景模型中根据预设的初始坐标设置用户初始视角，利用vr设备根据所述用户初始视角向用户展示所述场景模型；

8、获取用户交互数据，以及利用眼球追踪技术获取用户视角变化数据；

9、根据所述用户视角变化数据调整所述用户初始视角的可视角度，以及根据所述用户交互数据调整所述用户初始视角的坐标。

10、可选地，所述获取目标场景中的材质纹理数据，包括：

11、利用摄像头获取目标场景的场景图像；

12、对所述场景图像进行灰度化处理，得到灰度化场景图像；

13、利用边缘检测算法提取所述灰度化场景图像的纹理数据；

14、利用红外扫描仪获取目标场景的扫描数据；

15、根据所述扫描数据在预先建立的材质数据库中进行匹配，得到材质数据；

16、将所述纹理数据和所述材质数据进行融合，得到场景数据。

17、可选地，所述对所述场景数据进行自适应滤波处理，得到滤波场景数据，包括：

18、对所述场景数据进行特征提取，得到场景特征；

19、根据所述场景特征确定滤波器，初始化所述滤波器的参数；

20、将所述场景特征输入所述滤波器，得到预测信号；

21、计算所述预测信号与所述场景数据的差值，根据所述差值更新所述滤波器的参数，重新执行将所述场景特征输入所述滤波器的步骤，得到预测信号；

22、当达到预设的迭代次数后，输出所述预测信号，得到滤波场景数据。

23、可选地，所述利用预先训练的三维场景生成模型根据所述滤波场景数据生成场景模型之前，所述方法还包括：

24、获取预设数量的公开场景数据，对所述公开场景数据进行特征提取，得到公开场景特征；

25、利用神经网络模型根据所述公开场景特征生成三维模型，得到训练场景模型；

26、获取所述训练场景模型的训练点云数据，计算所述训练点云数据与所述公开场景数据预置标准点云数据的损失值；

27、若所述损失值大于或等于预设的损失值阈值，则计算所述训练点云数据与所述公开场景数据预置标准点云数据的梯度值，利用反向传播算法根据所述梯度值调整所述神经网络模型的权重参数和偏置项，重新执行上述利用神经网络模型根据所述公开场景特征生成三维模型，得到训练场景模型的步骤；

28、若所述损失值小于预设的损失值阈值，则确认模型训练完成，得到三维场景生成模型。

29、可选地，所述利用预先训练的三维场景生成模型根据所述滤波场景数据生成场景模型，包括：

30、利用所述三维场景生成模型对所述滤波场景数据进行数据转换处理，得到特征矩阵；

31、利用所述三维场景生成模型通过卷积层对所述特征矩阵进行卷积操作，得到卷积特征；

32、利用所述三维场景生成模型通过池化层对所述卷积特征进行最大池化操作，得到池化特征；

33、利用所述三维场景生成模型通过全连接层根据所述池化特征生成三维模型，得到场景模型。

34、可选地，所述计算所述场景点云数据与所述模型点云数据的损失值，包括：

35、利用如下公式计算所述损失值：

36、

37、其中，s表示所述损失值，n表示所述场景点云数据的样本数量，g表示场景点云数据，表示所述模型点云数据。

38、可选地，所述根据所述损失值确认所述场景模型，包括：

39、判断所述损失值是否小于预设的损失值阈值；

40、若所述损失值大于或等于所诉损失值阈值，则根据所诉损失值调整所述三维场景分析模型的学习率后，重新利用所述三维场景生成模型根据所述滤波场景数据生成场景模型并输出；

41、若所述损失值小于所诉损失值阈值，则输出所述场景模型。

42、为了解决上述问题，本发明还提供一种基于虚拟现实的场景模拟装置，所述装置包括：

43、数据获取模块，获取目标场景中的场景点云数据，以及获取目标场景中的材质纹理数据，对所述场景点云数据以及材质纹理数据进行融合，得到场景数据，获取用户交互数据，以及利用眼球追踪技术获取用户视角变化数据；

44、数据处理模块，用于对所述场景数据进行自适应滤波处理，得到滤波场景数据；

45、模型生成模块，利用预先训练的三维场景生成模型根据所述滤波场景数据生成场景模型，获取所述场景模型的模型点云数据，计算所述场景点云数据与所述模型点云数据的损失值，根据所述损失值确认所述场景模型；

46、场景模拟模块，在所述场景模型中根据预设的初始坐标设置用户初始视角，利用vr设备根据所述用户初始视角向用户展示所述场景模型，根据所述用户视角变化数据调整所述用户初始视角的可视角度，以及根据所述用户交互数据调整所述用户初始视角的坐标。

47、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

48、至少一个处理器；

49、以及，与所述至少一个处理器通信连接的存储器；

50、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于虚拟现实的场景模拟方法。

51、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于虚拟现实的场景模拟方法。

52、本发明实施例通过获取目标场景中的场景点云数据，以及获取目标场景中的材质纹理数据，对所述场景点云数据以及材质纹理数据进行融合，得到场景数据，对所述场景数据进行自适应滤波处理，得到滤波场景数据，提高了后续建模的精度，提高后续数据处理效率；利用预先训练的三维场景生成模型根据所述滤波场景数据生成场景模型，获取所述场景模型的模型点云数据，计算所述场景点云数据与所述模型点云数据的损失值，根据所述损失值确认所述场景模型，保障了场景模型的准确度；在所述场景模型中根据预设的初始坐标设置用户初始视角，利用vr设备根据所述用户初始视角向用户展示所述场景模型，获取用户交互数据，以及利用眼球追踪技术获取用户视角变化数据，根据所述用户视角变化数据调整所述用户初始视角的可视角度，以及根据所述用户交互数据调整所述用户初始视角的坐标，实现了虚拟现实模拟的效果。因此本发明提出的基于虚拟现实的场景模拟方法、装置、电子设备及介质，可以解决现有基于虚拟现实进行场景模拟的效率较低的问题。