一种基于虚拟现实的视频会议系统及方法

本发明属于虚拟现实，特别设计一种基于音视频位置的虚拟会议系统及方法。

背景技术：

1、由于全球贸易的快速发展，远程办公的常态化、生活工作节奏的加快，传统的线下会议逐渐的不能满足人们追求高效率沟通的步伐。越来越多的人倾向于使用视频会议来取代传统的线下会议。视频会议具有节省时间、开会灵活方便等优点，能够保证在任何时间地点都能够参与到会议中来。

2、但在传统的视频会议中，视频会议往往是将与会者的画面放置在多个窗口中，声音也是以单声道的形式从播放设备中输出，这样在开会时会没有空间临场感，只能通过对方的音色以及屏幕上的提示来确认发言者。导致用户没有较为强烈的参与感，不能够身临其境的进入开会状态，影响用户体验。理想的情况应该是开会者进入线上会议室后，就如同走进一间真实的会议室一样，当其他与会者发言时，能够通过声音的位置无感的辨别出是坐在那个位置的与会者在发言，同时还能观察到发言者在虚拟会议室中的面部神情和肢体动作。通过视觉和听觉共同作用以此达到与会者身临其境的现场讨论氛围，以便准确高效地进行沟通。目前这样的技术还没有出现。

3、例如，cn109274924提供一种基于虚拟现实的视频会议方法，包括：在虚拟会议室中对应每一个与会人员建立座位；通过远程视频网络获取各与会人员实时影像信息，并将影像信息投影到虚拟会议室中对应的座位上，形成包括每一个与会人员的虚拟会议真人仿真影像；根据各与会人员在虚拟会议室中的座位分布为各与会人员分配视觉角度；通过远程视频网络将各与会人员的视觉影像实时发送给对应的视频终端。该技术位置只能靠座位来确定，无法对与会者位置做更加精准捕捉。人物影像是摄像头拍出的2d画面，不能产生真实的3d效果。因此，实际效果距离真正的高度虚拟现实还有较为遥远的距离。

技术实现思路

1、针对现有视频会议的不足，本发明提供一种基于3d视频的虚拟现实会议方案，以增加与会者的现场感。同时本发明适用性较强，能够满足只有摄像头、电脑、耳机条件用户正常参加会议，同时也提供拥有多摄像头，多麦克风、vr/ar设备条件的用户进行接入，以获得最全面的体验。

2、为了实现上述目的，本发明的技术方案提供一种基于虚拟现实的视频会议方法，在视频会议时通过显示器显示实时的3d虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉；根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置，确定与会者在虚拟会议室中的位置并同步展示给其他与会者。

3、而且，实现过程包括以下步骤，

4、s1、检查用户端的用户视频采集设备信息并对设备进行标定，基于视频采集获取其捕获的人脸、姿态特征点和实际位置信息；

5、s2、检查用户端的用户音频采集设备信息并对设备进行标定，基于音频采集获取其捕获的声音和实际位置信息；

6、s3、用户端加载虚拟会议室，同步视频采集和音频采集获取的信息，结合视频采集和音频采集结果最终确定与会者相对于屏幕的实际位置；

7、s4、当与会者通过用户端选取虚拟会议室提供的座位，确定相应虚拟位置；

8、s5、通过流媒体协商选取数据传输流畅的通信方式，交换各与会者的信息；

9、s6、当前与会者的用户端得到其他与会者在虚拟会议室中的虚拟位置，将他们的声音信息进行播放，并确定与会者在虚拟会议室中的位置，进行人物头像表情以及动作展示。

10、而且，基于视频采集获取与会者的实际位置信息时，当摄像头数量为两个以上，通过三角定位法两两计算取平均值得到坐标；当摄像头数只有一个时，则基于近大远小的特点进行粗略定位。

11、而且，基于音频采集获取与会者的实际位置信息时，各麦克风在接收到声音后将最后一秒的声音波形发送到音频采集模块，通过波形的比较匹配出各麦克风接受到声音的时间差，然后通过三角函数计算出与会者距最近麦克风的距离，推算出音源的具体位置。

12、而且，结合视频采集和音频采集结果最终确定与会者在虚拟会议室中的位置，实现方式为，音频采集所得的实际位置信息与视频采集所得的实际位置信息通过加权求和后得到最终的与会者在虚拟会议室中的位置，视频采集的权重高于音频采集的权重。

13、另一方面，本发明还提供一种基于虚拟现实的视频会议系统，用于实现如上所述的一种基于虚拟现实的视频会议方法。

14、而且，包括在与会者的用户端设置以下模块，

15、视频采集模块，用于通过预训练的深度学习模型捕捉用户每一帧的脸部表情以及肢体动作，然后结合不同位置的摄像头所得画面计算出与会者相对屏幕的实际位置，将面部表情、肢体动作以及相对实际位置实时上传给虚拟会议室模块进行同步；

16、音频采集模块，用于采集每个阵列麦克风所采集到的声音，根据每个麦克风采集到声音的时间差以及强度，计算出与会者的实际位置，并将声音与实际位置信息上传给虚拟会议室模块；

17、位置选择模块，用于切换与会者的座位位置，选择数据库中预设的座位虚拟位置坐标，改变其模型以及虚拟声音位置，并将改变的虚拟位置上传给虚拟会议室模块以及其他与会者；

18、流媒体协商模块，用于协商与会者之间的音视频信息以及网络通信方式，选择较为流畅的通信方式，提高音视频质量，并将协商后的音视频流信息传输给虚拟会议室进行播放；

19、虚拟会议室模块，用于同步视频采集和音频采集模块获取的信息，生成虚拟的会议室以及与会者的人物模型，与会者人物模型默认排成一排等待就坐，接收视频采集模块的人物头像表情以及动作并展示在虚拟会议室，接收位置选择模块的虚拟位置信息，并确定与会者在虚拟会议室中的位置，将对应与会用户调整到相应位置进行显示；

20、本发明提出的技术方案在现有技术基础上进行改进，进一步提高虚拟现实的实时模拟效果：

21、当视频信息为用户时，可以实时的捕捉用户脸部表情、身肢体动作和用户相对于摄像头的位置，并同步到虚拟会议系统中；

22、提供3d的虚拟会议室场景，可加载会议室模型、入会用户的模型、用户的视频和音频信息，同时将捕捉到的与会者动作与表情放在虚拟会议室与会者人物模型中。

23、提供一个用户入会座位选择的接口，通过访问远端数据库中预设的座位位置坐标，将该坐标设为模型位置即可改变用户在虚拟会议室的模型以及声音位置，然后结合摄像头以及麦克风采集到的位置坐标，可以动态的改变用户相对于座位位置做出的微小移动，并同步给其他与会用户，得到贴合实际发言人的实时位置。

24、本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

技术特征：

1.一种基于虚拟现实的视频会议方法，其特征在于：在视频会议时通过显示器显示实时的3d虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉；根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置，确定与会者在虚拟会议室中的位置并同步展示给其他与会者。

2.根据权利要求1所述基于虚拟现实的视频会议方法，其特征在于：实现过程包括以下步骤，

3.根据权利要求1所述基于虚拟现实的视频会议方法，其特征在于：基于视频采集获取与会者的实际位置信息时，当摄像头数量为两个以上，通过三角定位法两两计算取平均值得到坐标；当摄像头数只有一个时，则基于近大远小的特点进行粗略定位。

4.根据权利要求1所述基于虚拟现实的视频会议方法，其特征在于：基于音频采集获取与会者的实际位置信息时，各麦克风在接收到声音后将最后一秒的声音波形发送到用户端，通过波形的比较匹配出各麦克风接受到声音的时间差，然后通过三角函数计算出与会者距最近麦克风的距离，推算出音源的具体位置。

5.根据权利要求1所述基于虚拟现实的视频会议方法，其特征在于：结合视频采集和音频采集结果最终确定与会者在虚拟会议室中的位置，实现方式为，音频采集所得的实际位置信息与视频采集所得的实际位置信息通过加权求和后得到最终的与会者在虚拟会议室中的位置，视频采集的权重高于音频采集的权重。

6.一种基于虚拟现实的视频会议系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于虚拟现实的视频会议方法。

7.根据权利要求6所述基于虚拟现实的视频会议系统，其特征在于：包括在与会者的用户端设置以下模块，

技术总结本发明提供一种基于虚拟现实的视频会议系统及方法，在视频会议时通过显示器显示实时的3D虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉；根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置，确定与会者在虚拟会议室中的位置并同步展示给其他与会者。本发明可以实时的捕捉用户脸部表情、身肢体动作和用户相对于摄像头的位置，并同步到虚拟会议系统中；结合摄像头以及麦克风采集到的位置坐标，可以动态的改变用户相对于座位位置做出的微小移动，并同步给其他与会用户，得到贴合实际发言人的实时位置。技术研发人员：刘政,王恒,马鑫燚,喻蕾,张帅,黄秋仙,刘杰受保护的技术使用者：武汉轻工大学技术研发日：技术公布日：2024/8/1