一种适用于算力资源约束环境的立体视觉视频通信方法与流程

本发明涉及it与软件，尤其涉及一种适用于算力资源约束环境的立体视觉视频通信方法。

背景技术：

1、在现代社会中，视频通信已成为人们日常交往、工作和学习的重要方式之一，随着云计算、6g和ai技术的飞速发展，传统的基于简单推拉流的处理方法和2d画面呈现方式存在通信效率低、沉浸感不足的劣势。立体视觉视频通信方法将三维场景或物体以高质量的方式进行呈现，用户可以获得更加逼真、身临其境的体验，提升其参与感，为沉浸式视频通信产业的形成打下基础。但是，高画质的三维立体视觉呈现过程涉及诸多步骤，尤其是高精度数据采集、传输和三维模型重建、渲染，对于采集设备精度、网络带宽、gpu、存储空间等算力资源有极高的要求，在算力资源约束的执行环境，比如中小企业或者个人用户存在难以跨越的高成本算力门槛。现有技术，缺少一种适用于算力资源约束环境的立体视觉视频通信方法。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、因此，为解决上述技术问题，本发明提供如下技术方案：一种适用于算力资源约束环境的立体视觉视频通信方法，该方法使用低精度、低分辨率的数据采集设备进行数据处理和传输，大幅度降低带宽消耗；

3、通过视差图像渲染方法，基于眼动追踪，仅渲染两幅低分辨率的视差图像，并在渲染后进行画质增强，提升视差图像质量，减少硬件成本，降低处理时延；

4、通过非线性映射低分辨率图像平滑处理方法有效抑制孤立噪声点以及伪影等，在不降低最终呈现图像保真度和分辨率的同时，减少对于网络带宽、gpu算力和存储空间的消耗，进一步压缩硬件成本，使其适用于算力资源约束的执行环境。

5、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：高清视频流传输到云端后由gpu进行三维模型重建和渲染，主要包括深度融合、颜色融合和视差图像渲染。

6、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：三维模型重建和渲染的方法包括以下几个具体的步骤：

7、s1：进行深度图像对齐；由于不同视角下获取的depth深度图像可能存在畸变和误差，需要通过匹配相邻帧深度图像，使用特征点匹配的方式对深度图像进行对齐，使得来自不同视角的深度信息在三维空间中对应到相同的位置；

8、s2：通过基于加权平均的方法将来自不同视角的深度信息进行合并，得到更加准确和完整的三维模型；

9、s3：将来自不同视角的rgb彩色信息进行合并，以得到更加真实和自然的颜色，并将融合后的彩色信息生成一张纹理贴图映射到三维模型上，从而实现颜色的贴图；

10、s4：将三维模型和纹理贴图渲染成二维图像，以便在屏幕上呈现。

11、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：在步骤s3中，为了保证最终生成的三维模型具有高质量和高精度，同时进行色彩和亮度的一致性处理，避免出现颜色和亮度不连续的情况。

12、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：在通过基于加权平均的方法将来自不同视角的深度信息进行合并的过程中，需要考虑相机的内外参、畸变矫正、深度图像的精度、以及可能存在的噪声和异常点等因素，进行数据清理和滤波，保证生成的三维点云具有高质量和高精度。

13、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：采用分辨率为1280*720的低精度rgb摄像头，帧速率为30fps，色深为24位，色度采样方式为yuv420，共4路；同时，采用分辨率为640*480的低精度depth摄像头，帧速率为30fps，色深为16位，色度采样方式为yuv420，共3路；两种摄像头均使用h.265编码，数据压缩率为100；使用以下公式计算所需的网络带宽：视频传输所需网络带宽为视频流路数*视频分辨率*帧速率*色深*色度采样率*编码效率。

14、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：基于上述公式，可以分别计算出rgb视频传输所需网络带宽为4*1600*1200*60*24*0.5*0.01＝52.734375mbps；

15、depth视频传输所需网络带宽为3*1280*1024*60*30*0.5*0.01＝33.75mbps；

16、因此，整个视频传输所需网络带宽为52.734375mbps+33.75mbps＝86.484375mbps；

17、通过计算公式分别计算出rgb视频传输所需网络带宽为：4*1280*720*30*24*0.5*0.01＝12.65625mbps；

18、depth视频传输所需网络带宽为3*640*480*30*16*0.5*0.01＝2.109375mbps；

19、因此，整个视频传输所需网络带宽为12.65625mbps+2.109375mbps＝14.765625mbps，相较之前，减少了

20、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：将图像分割成许多小的区域，并在每个区域中寻找最佳匹配，通过计算每个像素在两个视角之间的偏移量来获得深度信息，将原始图像根据深度值进行位移和渲染，分别创建左眼和右眼的2d图像，此时这两幅视差图像仍然是低分辨率的。

21、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：根据视差和相机参数即可计算出每个像素的深度值，具体而言，首先，通过使用标定板来获取相机内外参数和畸变参数，从而确定相机的位置和朝向；然后，选择三个在场景中已知位置的参考点，并在两张视差图像中找到这些点的对应位置，这些点应该构成一个三角形；最后，基于相似三角形原理，根据已知的相机参数、参考点的位置和图像中的角度来计算出任意两个点之间的距离和角度以及像素点的深度值。

22、作为本发明所述适用于算力资源约束环境的立体视觉视频通信方法的一种优选方案，其中：对上一步得到的两幅低分辨率的视差图像进行进一步处理，增强其画质；首先，使用边缘检测算子检测低分辨率图像的边缘信息，设计了横向和纵向两个卷积核，分别检测横向和纵向边缘，通过设置阈值标出低分辨率图像中主要边缘形状、方向、连通性等特征；然后，使用多层神经网络提取得到图像的多层特征映射，包含不同抽象级别的特征信息，前几层用于提取低层边缘、纹理特征，中间层用于获得中间语义特征，高层用于获得全局内容特征，同时，使用差分机制获得其与高分辨图像的残差映射；接下来，对低分辨率图像进行跨层级的非线性映射，进一步扩大其分辨率，将经过上采样处理后的图像输入多层神经网络模型，生成细节丰富的高分辨率图像；最后，利用邻域内像素的平均值替代中心像素值，进一步有效抑制孤立噪声点以及伪影等

23、本发明的有益效果：

24、本发明提出一种适用于算力资源约束环境的立体视觉视频通信方法，解决传统三维立体视觉视频通信方法为了实现高画质而对于高精度传感器阵列的严重依赖，在不降低最终呈现图像保真度和分辨率的同时减少了对于网络带宽、gpu算力和存储空间的消耗，进一步压缩了硬件成本，降低了处理时延，适用于算力资源约束的执行环境；本方案提出的非线性映射低分辨率图像平滑处理方法可以有效抑制孤立噪声点以及伪影等，在不降低最终呈现图像保真度和分辨率的同时减少了资源消耗。