音视频同步方法、装置和电子设备与流程

本发明涉及多媒体处理，特别涉及一种音视频同步方法、装置、和电子设备。

背景技术：

1、在多路视频录制场景下，录制系统会采集多路视频数据和多路音频数据，并会将采集到的音视频数据合成为不同的录制视频，以提供更丰富的视角和更全面的记录。

2、例如，在校园多路课程录制场景中，录制系统会通过多个摄像机从不同的视角或位置捕捉视频内容，从而形成多个独立的视频数据，并通过阵列麦克风采集不同区域的声源，以形成多个独立的音频数据。录制系统在采集到多路视频数据和多路音频数据后，会根据需求对这些独立的数据流进行合成，从而形成不同的录制视频。例如，录制系统可以将教室前部区域的音频与教师视角视频进行合成，以形成录制视频一，或者将教室后部区域的音频与上述教师视角视频进行合成，以形成录制视频二。这样用户便可以根据需要选择不同的录制视频来观看。

3、然而，在对音频数据和视频数据进行合成时，可能会出现音画不同步的问题。

技术实现思路

1、本申请的目的在于提供一种音视频同步方法、装置和电子设备，可以确保在合成音频数据和视频数据时声音和画面保持同步。

2、为实现上述目的，本申请一方面提供一种音视频同步方法，所述方法包括：拉取第一路数据流和第二路数据流，其中，所述第一路数据流包含第一音频和第一视频，所述第二路数据流包含第二音频，所述第一音频的时间戳信息与所述第一视频的时间戳信息同步；判断所述第一音频的时间戳信息与所述第二音频的时间戳信息是否同步，若不同步则执行初始对齐策略，以基于所述第二音频生成与所述第一音频的时间戳信息对齐的目标音频；在执行所述初始对齐策略时，监控所述第一路数据流和所述第二路数据流是否发生断流，若发生断流，则解除所述初始对齐策略，并基于所述第一路数据流和所述第二路数据流的断流情况执行断流对齐策略，以将断流数据流转换为音画同步的混合数据流。

3、为实现上述目的，本申请另一方面还提供一种音视频同步装置，所述装置包括：数据拉取模块，用于拉取第一路数据流和第二路数据流，其中，所述第一路数据流包含第一音频和第一视频，所述第二路数据流包含第二音频，所述第一音频的时间戳信息与所述第一视频的时间戳信息同步；初始对齐策略执行模块，用于判断所述第一音频的时间戳信息与所述第二音频的时间戳信息是否同步，若不同步则执行初始对齐策略，以基于所述第二音频生成与所述第一音频的时间戳信息对齐的目标音频；断流对齐策略执行模块，用于在执行所述初始对齐策略时，监控所述第一路数据流和所述第二路数据流是否发生断流，若发生断流，则解除所述初始对齐策略，并基于所述第一路数据流和所述第二路数据流的断流情况执行断流对齐策略，以将断流数据流转换为音画同步的混合数据流。

4、为实现上述目的，本申请另一方面还提供电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，实现上述音视频同步方法。

5、由此可见，本申请提供的技术方案，数据采集设备至少可以采集到第一路数据流和第二路数据流两个独立的数据流，其中，第一路数据流包含有第一音频和第一视频，第二路数据流仅包含有第二音频。第一音频和第一视频位于同一路数据流中，并且二者的时间戳信息同步。当需要将第二音频与第一视频进行合并时，录制系统可以从数据采集设备处拉取第一路数据流和第二路数据流，然后识别出第一音频的时间戳信息与第二音频的时间戳信息，并判断这二者的时间戳信息是否同步。如果这二者的时间戳信息不同步，则根据初始对齐策略对第二音频进行处理，从而将第二音频转换为与第一音频的时间戳信息对齐的目标音频。由于第一音频和第一视频的时间戳信息是同步的，因此目标音频的时间戳信息与第一视频的时间戳信息便可以实现同步，这样在将第二音频与第一视频进行合并时，便可以实现音画同步的效果。同时，在执行初始对齐策略时，录制系统会监控第一路数据流和第二路数据流的拉流情况，如果第一路数据流或者第二路数据流发生断流，则会对断流的数据流执行断流对齐策略，从而将断流数据流转换为音画同步的混合数据流。本申请的方案，无论录制过程中是否发生数据传输中断，在对音频数据和视频数据进行合成时，都可以保证声音和画面同步。

技术特征：

1.一种音视频同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在判断所述第一音频的时间戳信息与所述第二音频的时间戳信息是否同步之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，执行初始对齐策略，以基于所述第二音频生成与所述第一音频的时间戳信息对齐的目标音频包括：

4.根据权利要求3所述的方法，其特征在于，在生成与所述第一音频的时间戳信息对齐的所述目标音频后，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，若所述第一路数据流断流，所述第二路数据流未断流，所述断流对齐策略包括：

6.根据权利要求5所述的方法，其特征在于，在生成第一转录音频时，若所述第一路数据流断流后再次拉到流，所述断流对齐策略还包括：

7.根据权利要求2所述的方法，其特征在于，若所述第二路数据流断流，所述第一路数据流未断流，所述断流对齐策略包括：

8.根据权利要求7所述的方法，其特征在于，在生成第二转录音频时，若所述第二路数据流断流后再次拉到流，所述断流对齐策略还包括：

9.一种音视频同步装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一权利要求所述的方法。

技术总结本申请公开了一种音视频同步方法、装置和电子设备，包括：拉取第一路数据流和第二路数据流，第一路数据流包含第一音频和第一视频，第二路数据流包含第二音频；判断第一音频的时间戳信息与第二音频的时间戳信息是否同步，若不同步则执行初始对齐策略；在执行初始对齐策略时，监控第一路数据流和第二路数据流是否发生断流，若发生断流，则解除初始对齐策略，并基于第一路数据流和第二路数据流的断流情况执行断流对齐策略，以将断流数据流转换为音画同步的混合数据流。本申请提供的技术方案，可以确保在合成音频数据和视频数据时声音和画面保持同步。技术研发人员：张鹏受保护的技术使用者：广州开得联智能科技有限公司技术研发日：技术公布日：2024/10/10