一种声信号及视频信号的同步采集方法及系统与流程

本发明涉及信号处理，特别是涉及一种声信号及视频信号的同步采集方法及系统。

背景技术：

1、随着计算机网络技术及宽带通信技术得到了飞速发展，同时它也为多媒体通信技术的发展奠定了基础，多媒体在不同领域都得到了广泛的应用，如视频会议、远程教学和视频电话等，而媒体间的同步技术就是支持这些多媒体能够正常应用的关键技术之一，若要实现音频和视频同步，就需要使音视频信号的同步采集、压缩、传输以及同步播放等问题得到解决。

2、中国专利申请公开号：cn110602542b的专利公开了一种音视频同步的方法，该方法包括：视联网模块获得音频裸流数据包和音频裸流数据包对应的音频编码时间戳，以及视频裸流数据包和视频裸流数据包对应的视频编码时间戳；视联网模块将音频编码时间戳和视频编码时间戳传递给音视频同步模块；音视频同步模块在系统时间戳等于音频编码时间戳时，将音频编码时间戳返回给视联网模块；视联网模块将返回的音频编码时间戳对应的音频裸流数据包传递给实时传输模块；音视频同步模块将与系统时间戳最接近的视频编码时间戳返回给视联网模块；视联网模块将返回的视频编码时间戳对应的视频裸流数据包传递给实时传输模块；实时传输模块将获取的音频裸流数据包和视频裸流数据包封装成互联网协议包后传输给互联网终端。

3、现有技术通过时间戳将视频和音频进行合成，但视频和音频会出现不同步的现象，致使合成的音视频效果和质量差。

技术实现思路

1、为了克服现有技术的不足，本发明的目的是提供一种声信号及视频信号的同步采集方法及系统，本发明解决了现有技术中因为视频和音频会出现不同步的现象，致使合成的音视频效果和质量差的问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种声信号及视频信号的同步采集方法，包括：

4、根据节点设备采集发送端发送至接收端的音频信号和视频信号；

5、记录接收所述音频信号和所述视频信号过程的各个时间节点并计算得到接收所述视频信号和所述音频信号的时间差；

6、根据所述时间差判断音频信号和视频信号是否同步，若否，则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，若是，则获取各个时间节点对应的所述音频信号和所述视频信号的音频帧和视频帧；

7、根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号。

8、优选地，所述根据节点设备采集发送端发送至接收端的音频信号和视频信号，包括：

9、判断同一时间节点内接收信号的数量是否为2，若否，则将当前采集到的信号设置为空信号，若是，则采集当前信号并进行标号。

10、优选地，所述计算得到接收所述视频信号和所述音频信号的时间差，包括：

11、对所述音频信号和所述视频信号的采集过程进行监测并记录采集所述音频信号的时间和所述视频信号的时间，得到第一采集时长和第二采集时长；

12、根据所述第一采集时长和所述第二采集时长得到时间差。

13、优选地，所述则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，包括：

14、所述第一采集时长大于所述第二采集时长，则根据时间差暂停所述发送端发送音频信号；

15、所述第一采集时长小于所述第二采集时长，则根据时间差暂停所述发送端发送视频信号。

16、优选地，所述根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号，包括：

17、判断当前时间节点内是否存在空信号，若是则向后顺延时间节点直至空信号消失，确定当前对应的视频帧和音频帧；

18、根据确定好的视频帧和音频帧的大小并进行插值或抽取调节算法，得到同步后的视频帧和音频帧；

19、根据同步后的视频帧和音频帧以同步所述视频信号和音频信号，得到同步信号。

20、优选地，所述对所述音频信号和所述视频信号的采集过程进行监测并记录采集所述音频信号的时间和所述视频信号的时间，得到第一采集时长和第二采集时长，包括：

21、对所述音频信号和所述视频信号的采集过程进行监测得到第一时间序列和第二时间序列；

22、分别根据第一处理公式和第二处理公式对所述第一时间序列和第二时间序列得到第一采集时长和第二采集时长。

23、优选地，所述第一处理公式为：

24、所述第一处理公式为：

25、

26、其中，为第一时间采集时长，ψj,k(t)为小波基函数，为经过第一阈值处理后的小波系数，t为时间变量。

27、优选地，所述第二处理公式为：

28、

29、其中，为第二时间采集时长，为经过第二阈值处理的小波系数。

30、一种声信号及视频信号的同步采集系统，包括：

31、采集模块，用于根据节点设备采集发送端发送至接收端的音频信号和视频信号；

32、时间计算模块，用于记录接收所述音频信号和所述视频信号过程的各个时间节点并计算得到接收所述视频信号和所述音频信号的时间差；

33、判断模块，用于根据所述时间差判断音频信号和视频信号是否同步，若否，则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，若是，则获取各个时间节点对应的所述音频信号和所述视频信号的音频帧和视频帧；

34、同步模块，用于根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号。

35、优选地，所述采集模块包括：

36、数据获取子模块和空信号子模块；

37、空信号子模块用于将当前采集到的信号设置为空信号，所述数据获取子模块用于采集当前信号并进行标号。

38、本发明公开了以下技术效果：

39、本发明提供了一种声信号及视频信号的同步采集方法，包括：根据节点设备采集发送端发送至接收端的音频信号和视频信号；记录接收所述音频信号和所述视频信号过程的各个时间节点并计算得到接收所述视频信号和所述音频信号的时间差；根据所述时间差判断音频信号和视频信号是否同步，若否，则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，若是，则获取各个时间节点对应的所述音频信号和所述视频信号的音频帧和视频帧；根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号。本发明通过利用时间差判断视频信号和音频信号是否同时发送并对同一时间节点内的帧数进行同步，提升了音频信号和视频信号同步采集的效果。

技术特征：

1.一种声信号及视频信号的同步采集方法，其特征在于，包括：

2.根据权利要求1所述的一种声信号及视频信号的同步采集方法，其特征在于，所述根据节点设备采集发送端发送至接收端的音频信号和视频信号，包括：

3.根据权利要求1所述的一种声信号及视频信号的同步采集方法，其特征在于，所述计算得到接收所述视频信号和所述音频信号的时间差，包括：

4.根据权利要求3所述的一种声信号及视频信号的同步采集方法，其特征在于，所述则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，包括：

5.根据权利要求3所述的一种声信号及视频信号的同步采集方法，其特征在于，所述根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号，包括：

6.根据权利要求3所述的一种声信号及视频信号的同步采集方法，其特征在于，所述对所述音频信号和所述视频信号的采集过程进行监测并记录采集所述音频信号的时间和所述视频信号的时间，得到第一采集时长和第二采集时长，包括：

7.根据权利要求6所述的一种声信号及视频信号的同步采集方法，其特征在于，所述第一处理公式为：

8.根据权利要求7所述的一种声信号及视频信号的同步采集方法，其特征在于，所述第二处理公式为：

9.一种声信号及视频信号的同步采集系统，其特征在于，包括：

10.根据权利要求9所述的一种声信号及视频信号的同步采集方法，其特征在于，所述采集模块包括：

技术总结本发明提供了一种声信号及视频信号的同步采集方法及系统，涉及信号处理技术领域。包括：根据节点设备采集发送端发送至接收端的音频信号和视频信号；记录接收所述音频信号和所述视频信号过程的各个时间节点并计算得到接收所述视频信号和所述音频信号的时间差；根据所述时间差判断音频信号和视频信号是否同步，若否，则对所述音频信号或视频信号的发送时间进行调整直至时间差为0，若是，则获取各个时间节点对应的所述音频信号和所述视频信号的音频帧和视频帧；根据所述音频帧和所述视频帧对视频信号和所述音频信号进行同步，得到同步信号。本发明解决了现有技术中视频和音频会出现不同步的现象，致使合成的音视频效果和质量差的问题。技术研发人员：庸国祥,郭雷,方祥,李秉杰,高源,孙成龙,张一萍,钱高,牟玉受保护的技术使用者：民政部一零一研究所技术研发日：技术公布日：2024/12/2