一种基于虚拟现实的音频会议系统及方法

本发明属于虚拟现实，特别设计一种基于音频位置的虚拟会议系统及方法。

背景技术：

1、由于全球贸易的快速发展，远程办公的常态化、生活工作节奏的加快，传统的线下会议逐渐的不能满足人们追求高效率沟通的步伐。越来越多的人倾向于使用视频会议来取代传统的线下会议。视频会议具有节省时间、开会灵活方便等优点，能够保证在任何时间地点都能够参与到会议中来。

2、但在传统的视频会议中，视频会议往往是将与会者的画面放置在多个窗口中，声音也是以单声道的形式从播放设备中输出，这样在开会时会没有空间临场感，只能通过对方的音色以及屏幕上的提示来确认发言者。导致用户没有较为强烈的参与感，不能够身临其境的进入开会状态，影响用户体验。理想的情况应该是开会者进入线上会议室后，就如同走进一间真实的会议室一样，当其他与会者发言时，能够通过声音的位置无感的辨别出是坐在那个位置的与会者在发言，同时还能观察到发言者在虚拟会议室中的嘴部动作。通过视觉和听觉共同作用以此达到与会者身临其境的现场讨论氛围，以便准确高效地进行沟通。目前这样的技术还没有出现。

3、例如，cn109274924提供一种基于虚拟现实的视频会议方法，包括：在虚拟会议室中对应每一个与会人员建立座位；通过远程视频网络获取各与会人员实时影像信息，并将影像信息投影到虚拟会议室中对应的座位上，形成包括每一个与会人员的虚拟会议真人仿真影像；根据各与会人员在虚拟会议室中的座位分布为各与会人员分配视觉角度；通过远程视频网络将各与会人员的视觉影像实时发送给对应的视频终端。该技术位置只能靠座位来确定，无法对与会者位置做更加精准捕捉。人物影像是摄像头拍出的2d画面，不能产生真实的3d效果。没有专门的声音处理设备，不能产生真实的声音效果。因此，实际效果距离真正的高度虚拟现实还有较为遥远的距离。

技术实现思路

1、针对现有视频会议的不足，本发明提供一种基于3d音频的虚拟现实会议方案，以增加与会者的现场感。同时本发明适用性较强，能够满足只有电脑、耳机条件用户正常参加会议，同时也提供拥有多麦克风、多音箱、vr/ar设备条件的用户进行接入，以获得最全面的体验。

2、为了实现上述目的，本发明的技术方案提供一种基于虚拟音频的会议方法，在音频会议时通过显示器显示实时的3d虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的嘴部动作随着与会者所说的话进行改变，实现嘴部动作捕捉，根据虚拟会议室的虚拟位置结合音频采集所得与会者的实际位置计算位置音频，播放3d全景声。

3、而且，实现过程包括以下步骤，

4、s1、检查用户端的用户音频采集设备信息并对设备进行标定，基于音频采集获取其捕获的声音、实际位置和嘴部关键点信息；

5、s2、用户端加载虚拟会议室，同步音频采集获取的信息，通过音频采集结果确定与会者相对于屏幕的实际位置；

6、s3、当与会者通过用户端选取虚拟会议室提供的座位，确定相应虚拟位置；

7、s4、通过流媒体协商选取数据传输流畅的通信方式，交换各与会者的信息；

8、s5、当前与会者的用户端得到其他与会者在虚拟会议室中的虚拟位置和声音信息，结合s3所得与会者的实际位置计算位置音频，将他们的声音信息进行全景播放，并进行人物嘴部动作展示。

9、而且，通过音频采集确定与会者相对于屏幕的实际位置时，采用阵列麦克风实现。

10、而且，基于音频采集获取与会者的实际位置信息时，阵列麦克风中各麦克风在接收到声音后将最后一秒的声音波形发送到用户端，通过波形的比较匹配出各麦克风接受到声音的时间差，然后通过三角函数计算出与会者距最近麦克风的距离，推算出音源的具体位置。

11、而且，根据虚拟位置得到虚拟会议室其他与会者相对位置，结合与会者的实际位置对其他与会者音频进行播放，实现方式为，将最终的实际位置信息结合虚拟会议室中各与会者的虚拟位置，得到与会者之间的相对位置，然后根据与会者之间的距离以及角度计算出每个音箱的发声时间以及声音大小。

12、另一方面，本发明还提供一种基于虚拟现实的音频会议系统，用于实现如上所述的一种基于虚拟现实的音频会议方法。

13、而且，包括在与会者的用户端设置以下模块，

14、音频采集模块，用于采集每个阵列麦克风所采集到的声音，根据每个麦克风采集到声音的时间差以及强度，计算出与会者的实际位置，根据采集得到的声音通过语音驱动口型的深度学习模型生成嘴部关键点信息，并将声音、实际位置和嘴部关键点信息上传给虚拟会议室模块；

15、位置选择模块，用于切换与会者的座位位置，选择数据库中预设的座位虚拟位置坐标，改变其模型以及虚拟声音位置，并将改变的虚拟位置上传给虚拟会议室模块以及其他与会者；

16、流媒体协商模块，用于协商与会者之间的音频信息以及网络通信方式，选择较为流畅的通信方式，提高音频质量，并将协商后的音频流信息传输给虚拟会议室进行播放；

17、虚拟会议室模块，用于同步音频采集模块获取的信息，生成虚拟的会议室以及与会者的人物模型，与会者人物模型默认排成一排等待就坐，接收位置选择模块的虚拟位置信息，并将对应与会用户调整到相应位置进行显示；

18、音频播放模块，用于接收与会者的音频以及虚拟位置坐标生成全景声并播放，根据发言人相对于自己的虚拟位置以及音响摆放的实际位置，通过调整不同音响播放声音的先后以及强度实现全景声的播放。

19、本发明提出的技术方案在现有技术基础上进行改进，进一步提高虚拟现实的实时模拟效果：

20、提供3d的虚拟会议室场景，可加载会议室模型、入会用户的模型和音频信息，同时将捕捉到的与会者嘴部动作放在虚拟会议室与会者人物模型中。

21、提供一个用户入会座位选择的接口，通过访问远端数据库中预设的座位位置坐标，将该坐标设为模型位置即可改变用户在虚拟会议室的模型以及声音位置，然后结合麦克风采集到的位置坐标，可以动态的改变用户相对于座位位置做出的微小移动，并同步给其他与会用户，输出贴合实际发言人实时位置状态的3d声效。

22、本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

技术特征：

1.一种基于虚拟音频的会议方法，其特征在于：在音频会议时通过显示器显示实时的3d虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的嘴部动作会随与会者说话而实时改变，根据虚拟会议室的虚拟位置结合音频采集所得与会者的实际位置计算位置音频，播放3d全景声。

2.根据权利要求1所述基于虚拟音频的会议方法，其特征在于：实现过程包括以下步骤，

3.根据权利要求1所述基于虚拟音频的会议方法，其特征在于：通过音频采集确定与会者相对于屏幕的实际位置时，采用阵列麦克风实现。

4.根据权利要求3所述基于虚拟音频的会议方法，其特征在于：基于音频采集获取与会者的实际位置信息时，阵列麦克风中各麦克风在接收到声音后将最后一秒的声音波形发送到用户端，通过波形的比较匹配出各麦克风接受到声音的时间差，然后通过三角函数计算出与会者距最近麦克风的距离，推算出音源的具体位置。

5.根据权利要求1或2或3或4或5所述基于虚拟音频的会议方法，其特征在于：根据虚拟位置得到虚拟会议室其他与会者相对位置，结合与会者的实际位置对其他与会者音频进行播放，实现方式为，将最终的实际位置信息结合虚拟会议室中各与会者的虚拟位置，得到与会者之间的相对位置，然后根据与会者之间的距离以及角度计算出每个音箱的发声时间以及声音大小。

6.一种基于虚拟现实的音频会议系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于虚拟现实的音频会议方法。

7.根据权利要求6所述基于虚拟现实的音频会议系统，其特征在于：包括在与会者的用户端设置以下模块，

技术总结本发明提供一种基于虚拟音频的会议系统及方法，在音频会议时通过显示器显示实时的3D虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的嘴部动作会随与会者说话而实时改变，根据虚拟会议室的虚拟位置结合音频采集所得与会者的实际位置计算位置音频，播放3D全景声。本发明提供3D的虚拟会议室场景，可加载会议室模型、入会用户的模型和音频信息，同时将捕捉到的与会者嘴部动作放在虚拟会议室与会者人物模型中；结合麦克风采集到的位置坐标，可以动态的改变用户相对于座位位置做出的微小移动，并同步给其他与会用户，输出贴合实际发言人实时位置状态的3D声效。技术研发人员：王恒,刘政,黄秋仙,刘杰,马鑫燚,张帅,喻蕾受保护的技术使用者：武汉轻工大学技术研发日：技术公布日：2024/8/1