一种具有流量优化功能的会务管理系统的制作方法

本发明属于视频会议，具体而言，涉及一种具有流量优化功能的会务管理系统。

背景技术：

1、在当今社会,各种会务活动如会议、培训、研讨会等已经成为企业和组织管理工作的重要组成部分。这些会务活动不仅用于集中交流、讨论、决策,还能促进人际沟通,加强组织内部的凝聚力。随着信息技术的高速发展,会务管理也日益数字化和智能化,出现了许多基于计算机和网络的会务管理系统。

2、这些会务管理系统通常具备会议创建、签到、资料共享、直播等基本功能。其中,会议直播功能尤为重要,可以实现远程参会,打破时间和地域的限制,提高会议的覆盖面和参与度。然而,现有的直播系统往往存在视频质量低、网络带宽占用大等问题。一方面,为了减小视频文件体积,需要采用高压缩比的编码方式,导致视觉体验下降；另一方面,大容量的视频流也会给会议中心的网络系统带来较大压力,影响整体的稳定性和响应速度。

技术实现思路

1、有鉴于此，本发明提供一种具有流量优化功能的会务管理系统，能够解决现有的会议系统存在流量较大的技术问题。

2、本发明是这样实现的：

3、本发明的第一方面提供一种具有流量优化功能的会务管理系统，包括以下模块：

4、会议管理模块，用于创建、编辑和管理会议活动的基本信息；

5、会议直播模块，用于会议现场实时直播,方便远程与会人员在线参与；

6、会议签到模块，提供多种签到方式用于人员签到并生成会议签到报告表；

7、文件共享模块，支持上传和下载各种会议文件材料；

8、会后服务模块，用于自动生成会议记录并存储；

9、还包括视频压缩模块和视频解压模块。

10、其中，所述视频压缩模块，具体执行以下步骤：

11、s11、获取会议终端的摄像机采集的会议室无人图像以及会议录像视频，预处理得到第一视频；

12、s12、对所述第一视频中的连续获取m个关键帧图像，并对每个关键帧图像进行语义分割，得到分割图像，得到人员分割图像；

13、s13、对全部的人物分割图像，根据人体关键点跟踪算法，按照不同的参会人员进行分类，得到每个参会人员对应的多个分割图像记为单人分割图像，并在所述单人分割图像中，识别服装区域；

14、s14、利用每个参会人员的多个分割图像，对预先训练好的服装生成基础模型进行lora微调，得到每个参会人员对应的服装微调lora模型；

15、s15、删除所述第一视频中的非关键帧的无人区域以及参会人员的服装区域，形成第二视频；

16、s16、以所述会议室无人图像作为合并背景，将所述每个参会人员对应的服装微调lora模型、所述合并背景以及所述第二视频压缩后上传到会议中心服务器。

17、其中，所述视频解压模块，具体执行以下步骤：

18、s21、从会议中心服务器下载经过压缩的第二视频流、每个参会人员对应的服装微调lora模型以及合并背景图像；

19、s22、对压缩的第二视频流进行解码,获得包含无人区域和去服装区域后的视频帧序列；

20、s23、启动服装生成基础模型的推理服务,将每个参会人员对应的服装微调lora模型并行的加载到所述推理服务中；

21、s24、对每一个视频帧,将对应的参会人员分割图像利用所述推理服务,生成该参会人员穿着虚拟服装的图像；

22、s25、将s24中生成的虚拟服装人物图像与合并背景图像进行合成,得到重建后的完整视频帧图像；

23、s26、将所有重建后的视频帧按顺序编码,生成最终的解压缩视频文件。

24、其中,所述视频压缩模块具体执行以下步骤:

25、步骤s11、获取会议终端的摄像机采集的会议室无人图像以及会议录像视频,并对其进行预处理,得到第一视频。所述预处理包括视频帧率调整、分辨率调整等操作。

26、步骤s12、对所述第一视频中连续获取m个关键帧图像,并对每个关键帧图像进行语义分割,得到包含人员信息的分割图像。

27、步骤s13、对全部的人物分割图像,采用人体关键点跟踪算法进行分类,将其划分为不同参会人员对应的单人分割图像,同时在单人分割图像中识别服装区域。

28、其中,所述视频压缩模块还执行以下步骤:

29、步骤s14、利用每个参会人员的多个分割图像,对预先训练好的服装生成基础模型进行lora微调,得到每个参会人员对应的服装微调lora模型。

30、步骤s15、删除所述第一视频中的非关键帧的无人区域以及参会人员的服装区域,形成第二视频。

31、步骤s16、以所述会议室无人图像作为合并背景,将每个参会人员对应的服装微调lora模型、合并背景以及压缩后的第二视频,一起上传到会议中心服务器。

32、其中,所述视频解压模块具体执行以下步骤:

33、步骤s21、从会议中心服务器下载经过压缩的第二视频流、每个参会人员对应的服装微调lora模型以及合并背景图像。

34、步骤s22、对压缩的第二视频流进行解码,获得包含无人区域和去服装区域后的视频帧序列。

35、步骤s23、启动服装生成基础模型的推理服务,并将每个参会人员对应的服装微调lora模型并行地加载到推理服务中。

36、其中,所述视频解压模块还执行以下步骤:

37、步骤s24、对每一个视频帧,将对应的参会人员分割图像输入到推理服务中,利用服装微调lora模型生成该参会人员穿着虚拟服装的图像。

38、步骤s25、将所述s24中生成的虚拟服装人物图像与合并背景图像进行合成,得到重建后的完整视频帧图像。

39、步骤s26、将所有重建后的视频帧按顺序编码,生成最终的解压缩视频文件。

40、其中,所述服装生成基础模型采用vqgan+clip的架构,其中vqgan负责生成服装图像,clip负责对服装图像进行语义理解和引导。

41、其中,所述服装生成基础模型的训练数据集包括各种服装类型的图像,如男女装、正装、休闲装、运动装等,以及大量的服装文本描述。

42、其中,所述服装生成基础模型的训练步骤包括:

43、1)利用vqgan的编码器部分,将服装图像编码为特征向量；

44、2)将特征向量和对应的服装文本描述输入到clip模型,进行端到端的联合训练；

45、3)微调vqgan的解码器部分,使其能够根据clip的语义引导生成符合要求的服装图像；

46、4)对训练好的vqgan+clip基础模型,采用不同参会人员的分割图像进行lora微调,得到每个人的服装微调lora模型。

47、可选的,在步骤s14和步骤s24中,lora微调的迭代次数阈值设定为200次。

48、可选的,所述会议管理模块允许用户输入会议名称、时间、地点、参会人员等基本信息,并对这些信息进行编辑和更新；所述会议直播模块将采集会议现场的音视频信息,并通过互联网实时传输到会议中心服务器,远程参会人员可以在线观看和收听会议进程；所述会议签到模块为参会人员提供多种签到方式,如二维码签到、人脸识别签到等,并根据签到情况自动生成会议签到报告表；所述文件共享模块支持各类会议文件的上传和下载功能,如演示文稿、会议议程、会议记录等；所述会后服务模块根据会议过程中收集的信息,如签到记录、发言记录、决议内容等,自动整理成会议记录文件,并保存在会议中心服务器上。

49、可选的,所述视频压缩模块在获取会议终端的摄像机采集的会议室无人图像以及会议录像视频时,先对视频信号进行噪声消除处理,确保输入的第一视频质量满足要求；,所述语义分割采用基于深度学习的分割网络,如mask r-cnn、deeplabv3+等,能够精准地识别出图像中的人体区域；,所述人体关键点跟踪算法采用openpose算法,能够快速准确地提取人体的关键点信息,为后续的人员分类提供依据；,所述推理服务部署在gpu服务器上,充分利用gpu的并行计算能力,大幅提高服装生成的效率；所述合成步骤s25采用图像融合技术,如泊松图像融合,能够自然地将虚拟服装人物图像与背景图像进行无缝融合。

50、可选的,所述服装文本描述包括对服装款式、颜色、材质等多个维度的详细描述,为clip模型的训练提供全面的语义标注；所述lora微调技术通过在预训练模型的部分参数上添加低秩适配层,能够快速适应新的服装样式,同时保持模型的整体性能；所述噪声消除处理采用时域滤波、频域滤波等技术,有效去除视频信号中的各类噪声干扰,确保图像质量满足后续处理的要求；所述mask r-cnn分割网络由主干网络、区域候选网络和maskprediction network三部分组成,能够精准地分割出人体区域；所述服装文本描述包括对服装款式(如西装、衬衫、t恤等)、颜色(如蓝色、黑色、白色等)、材质(如棉、丝、毛等)的详细描述；所述lora微调技术通过在预训练模型的关键层添加低秩适配层,能够快速捕捉新服装样式的特征,并保持模型的整体性能。

51、进一步的，所述服装生成基础模型的结构包括向量量化生成对抗网络记为vqgan，和对比语言图像预训练模型记为clip模型,所述vqgan包括vqgan编码器、向量量化器和vqgan解码器,所述clip模型包括视觉编码器和文本编码器。

52、进一步的，所述vqgan编码器由多个卷积层和下采样层组成,用于将输入图像编码为紧凑的特征向量序列。

53、进一步的，所述向量量化器将所述vqgan编码器输出的连续特征向量进行离散量化,得到离散的代码簇索引。

54、进一步的，所述服装微调lora模型包括服装生成基础模型的每个卷积层对应的两个低秩矩阵a和b,所述低秩矩阵a和b用于调节所述卷积层的输入和输出特征，其中，所述低秩矩阵a和b通过针对每个参会人员的分割图像进行迭代训练而获得,用于适应每个人的独特服装风格。

55、每个参会人员均对应一个由多组所述低秩矩阵a和b组成的独立微调模型,用于高效生成该人员穿着的虚拟服装图像。

56、进一步的，对于所述卷积层的输入特征x和权重w,利用所述低秩矩阵a和b进行特征调整后的输出特征y的计算公式为:y＝w×(x+a的转置×b)。

57、进一步的，所述clip视觉编码器和文本编码器经过大规模文本图像配对数据预训练,用于捕捉视觉语义之间的关联关系。

58、进一步的，所述服装生成基础模型还包括对比损失函数,用于测量所述vqgan生成的图像与所述clip文本编码器输出的语义特征之间的相似度。

59、与现有技术相比较，本发明提供的一种具有流量优化功能的会务管理系统的有益效果是：传统的会议直播系统通常采用h.264、vp9等通用视频编码标准对视频流进行压缩,但由于需要保留完整的画面信息,导致最终的视频文件体积仍然很大,给会议中心的网络系统带来了巨大压力。本发明采取了全新的视频压缩策略:利用语义分割技术识别出视频中的人物区域,并对这些区域进行有针对性的压缩处理。具体而言,系统先删除了无人区域和服装区域,大幅减小了视频体积；同时,通过训练服装生成模型,能够在解压缩时自动为参会人员生成逼真的虚拟服装,从而实现了有损压缩而不损失视觉效果。这种创新的视频压缩方法,不仅大幅降低了网络带宽占用,还保持了高品质的视觉呈现,彻底解决了现有系统在视频传输效率方面的痛点。因此，本发明解决了现有的会议系统存在流量较大的技术问题。