一种基于5G终端设备的音视频数据采集方法及系统与流程

本发明涉及音视频数据处理的，特别是涉及一种基于5g终端设备的音视频数据采集方法及系统。

背景技术：

1、传统的音视频采集设备通常使用以太网连接进行联网，但这种连接方式存在一些局限性；首先，以太网连接通常需要连接到固定的网络接入点，通过有线方式连接到网络，这限制了设备的移动性，如果需要在不同地点进行音视频采集，就需要频繁地更换连接，增加了操作复杂性和时间成本，导致采集效率低下。

2、另外，传统的音视频采集设备通常采用老旧的网络技术或硬件设施，这可能会受到网络带宽和设备性能的限制，网络带宽不足或网络拥塞可能导致数据传输速率降低，影响音视频采集的效率和质量，同时，硬件设备性能不足也会影响数据处理和传输速度，进一步降低采集效率。

技术实现思路

1、本发明要解决的技术问题是：提供一种基于5g终端设备的音视频数据采集方法及系统，能提高音视频数据采集和传输效率。

2、为了解决上述技术问题，本发明提供了一种基于5g终端设备的音视频数据采集方法，包括：

3、基于5g终端设备调用音视频采集设备的api接口，向所述音视频采集设备发送音视频采集指令，以使所述音视频采集设备在接收到所述音视频采集指令后，对目标对象进行音视频采集处理，得到第一音视频数据；

4、将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行质量评分处理，输出音视频质量检测分值；

5、当所述音视频质量检测分值不满足预设音视频质量检测分值阈值时，对所述第一音视频数据进行音视频优化处理，得到第一音视频优化数据；

6、对所述第一音视频优化数据进行编码处理，得到第一音视频编码数据，并基于预设的网络协议将所述第一音视频编码数据传输到目标接收设备中。

7、在一种可能的实现方式中，对目标对象进行音视频采集处理，得到第一音视频数据，具体包括：

8、所述音视频采集设备包括音频采集设备和视频采集设备；

9、对所述音视频采集指令进行解析处理，确定音视频采集参数，其中，所述音视频采集参数包括分辨率、帧率、采样频率；

10、基于所述音视频采集参数分别对所述音频采集设备和所述视频采集设备进行设备参数设置，得到音频采集设备参数和视频采集设备参数；

11、基于所述音频采集设备参数，对目标对象进行音频采集处理，得到第一音频数据，并基于视频采集设备参数，对目标对象进行视频采集处理，得到第一视频数据；

12、整合所述第一音频数据和所述第一视频数据，得到第一音视频数据。

13、在一种可能的实现方式中，将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行质量评分处理，输出音视频质量检测分值，具体包括：

14、将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行自适应滤波处理，得到音视频自适应滤波数据；

15、对所述第一音视频数据进行信号能量计算，得到第一信号能量，并对所述音视频自适应滤波数据进行信号能量计算，得到第二信号能量，基于所述第一信号能量和所述第二信号能量，确定信号能量差值；

16、基于所述信号能量差值，确定音视频质量检测分值。

17、在一种可能的实现方式中，对所述第一音视频优化数据进行编码处理，得到第一音视频编码数据，具体包括：

18、对所述第一音视频优化数据进行数据分解处理，得到多个音视频分解数据；

19、分别对所述多个音视频分解数据进行特征提取，得到每个音视频分解数据对应的第一特征；

20、基于所述第一特征，分别对所述多个音视频分解数据进行编码处理，得到多个第一音视频分解编码数据，整合所述多个第一音视频分解编码数据，得到第一音视频编码数据。

21、在一种可能的实现方式中，对所述第一音视频优化数据进行数据分解处理，得到多个音视频分解数据；分别对所述多个音视频分解数据进行特征提取，得到每个音视频分解数据对应的第一特征，具体包括：

22、所述第一音视频优化数据包括第一音频优化数据和第一视频优化数据；

23、对所述第一音频优化数据进行数据分解处理，得到多个音频分解数据，对所述第一视频优化数据进行数据分解处理，得到多个视频分解数据；

24、基于mel滤波器组分别对每个音频分解数据进行卷积操作，得到每个音频分解数据对应的mel滤波器组输出值，并对所述mel滤波器组输出值进行对数变换处理，得到对数mel频谱系数，并基于所述对数mel频谱系数得到每个音频分解数据对应的第一音频特征；

25、基于光流算法，计算每个视频分解数据对应的光流向量图，对所述光流向量图进行向量均值计算，得到光流向量均值，基于所述光流向量均值，得到每个视频分解数据对应的第一视频特征。

26、在一种可能的实现方式中，基于所述第一特征，分别对所述多个音视频分解数据进行编码处理，得到多个第一音视频分解编码数据，具体包括：

27、分别对每个音频分解数据设置音频比特位标签，基于预设的音频编码算法分别对每个音频分解数据进行编码处理，得到每个音频分解数据对应的第一音频编码数据；

28、分别将每个音频分解数据对应的所述音频比特位标签、所述第一音频特征和所述第一音频编码数据进行拼接处理，得到每个音频分解数据对应的音频编码数据；

29、分别对每个视频分解数据设置视频比特位标签，基于预设的视频编码算法分别对每个视频分解数据进行编码处理，得到每个视频分解数据对应的第一视频编码数据；

30、分别将每个视频分解数据对应的所述视频比特位标签、所述第一视频特征和所述第一视频编码数据进行拼接处理，得到每个视频分解数据对应的视频编码数据。

31、在一种可能的实现方式中，对所述第一音视频数据进行音视频优化处理，得到第一音视频优化数据，具体包括：

32、获取所述第一音视频数据对应的第一信号能量，基于所述第一信号能量，计算滤波器的增益步长；

33、并获取所述滤波器的当前增益，基于所述增益步长对所述当前增益进行调整，得到所述滤波器的调整增益；

34、控制所述滤波器基于所述调整增益对所述第一音视频数据进行滤波处理，得到第一音视频优化数据。

35、本发明还提供了一种基于5g终端设备的音视频数据采集系统，包括：音视频采集模块、质量评分模块、音视频优化模块和音视频传输模块；

36、其中，所述音视频采集模块，用于基于5g终端设备调用音视频采集设备的api接口，向所述音视频采集设备发送音视频采集指令，以使所述音视频采集设备在接收到所述音视频采集指令后，对目标对象进行音视频采集处理，得到第一音视频数据；

37、所述质量评分模块，用于将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行质量评分处理，输出音视频质量检测分值；

38、所述音视频优化模块，用于当所述音视频质量检测分值不满足预设音视频质量检测分值阈值时，对所述第一音视频数据进行音视频优化处理，得到第一音视频优化数据；

39、所述音视频传输模块，用于对所述第一音视频优化数据进行编码处理，得到第一音视频编码数据，并基于预设的网络协议将所述第一音视频编码数据传输到目标接收设备中。

40、在一种可能的实现方式中，所述音视频采集模块，用于对目标对象进行音视频采集处理，得到第一音视频数据，具体包括：

41、所述音视频采集设备包括音频采集设备和视频采集设备；

42、对所述音视频采集指令进行解析处理，确定音视频采集参数，其中，所述音视频采集参数包括分辨率、帧率、采样频率；

43、基于所述音视频采集参数分别对所述音频采集设备和所述视频采集设备进行设备参数设置，得到音频采集设备参数和视频采集设备参数；

44、基于所述音频采集设备参数，对目标对象进行音频采集处理，得到第一音频数据，并基于视频采集设备参数，对目标对象进行视频采集处理，得到第一视频数据；

45、整合所述第一音频数据和所述第一视频数据，得到第一音视频数据。

46、在一种可能的实现方式中，所述质量评分模块，用于将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行质量评分处理，输出音视频质量检测分值，具体包括：

47、将所述第一音视频数据输入到预训练的质量评分模型中，以使所述质量评分模型对所述第一音视频数据进行自适应滤波处理，得到音视频自适应滤波数据；

48、对所述第一音视频数据进行信号能量计算，得到第一信号能量，并对所述音视频自适应滤波数据进行信号能量计算，得到第二信号能量，基于所述第一信号能量和所述第二信号能量，确定信号能量差值；

49、基于所述信号能量差值，确定音视频质量检测分值。

50、在一种可能的实现方式中，所述音视频传输模块，用于对所述第一音视频优化数据进行编码处理，得到第一音视频编码数据，具体包括：

51、对所述第一音视频优化数据进行数据分解处理，得到多个音视频分解数据；

52、分别对所述多个音视频分解数据进行特征提取，得到每个音视频分解数据对应的第一特征；

53、基于所述第一特征，分别对所述多个音视频分解数据进行编码处理，得到多个第一音视频分解编码数据，整合所述多个第一音视频分解编码数据，得到第一音视频编码数据。

54、在一种可能的实现方式中，所述音视频传输模块，用于对所述第一音视频优化数据进行数据分解处理，得到多个音视频分解数据；分别对所述多个音视频分解数据进行特征提取，得到每个音视频分解数据对应的第一特征，具体包括：

55、所述第一音视频优化数据包括第一音频优化数据和第一视频优化数据；

56、对所述第一音频优化数据进行数据分解处理，得到多个音频分解数据，对所述第一视频优化数据进行数据分解处理，得到多个视频分解数据；

57、基于mel滤波器组分别对每个音频分解数据进行卷积操作，得到每个音频分解数据对应的mel滤波器组输出值，并对所述mel滤波器组输出值进行对数变换处理，得到对数mel频谱系数，并基于所述对数mel频谱系数得到每个音频分解数据对应的第一音频特征；

58、基于光流算法，计算每个视频分解数据对应的光流向量图，对所述光流向量图进行向量均值计算，得到光流向量均值，基于所述光流向量均值，得到每个视频分解数据对应的第一视频特征。

59、在一种可能的实现方式中，所述音视频传输模块，用于基于所述第一特征，分别对所述多个音视频分解数据进行编码处理，得到多个第一音视频分解编码数据，具体包括：

60、分别对每个音频分解数据设置音频比特位标签，基于预设的音频编码算法分别对每个音频分解数据进行编码处理，得到每个音频分解数据对应的第一音频编码数据；

61、分别将每个音频分解数据对应的所述音频比特位标签、所述第一音频特征和所述第一音频编码数据进行拼接处理，得到每个音频分解数据对应的音频编码数据；

62、分别对每个视频分解数据设置视频比特位标签，基于预设的视频编码算法分别对每个视频分解数据进行编码处理，得到每个视频分解数据对应的第一视频编码数据；

63、分别将每个视频分解数据对应的所述视频比特位标签、所述第一视频特征和所述第一视频编码数据进行拼接处理，得到每个视频分解数据对应的视频编码数据。

64、在一种可能的实现方式中，所述音视频优化模块，用于对所述第一音视频数据进行音视频优化处理，得到第一音视频优化数据，具体包括：

65、获取所述第一音视频数据对应的第一信号能量，基于所述第一信号能量，计算滤波器的增益步长；

66、并获取所述滤波器的当前增益，基于所述增益步长对所述当前增益进行调整，得到所述滤波器的调整增益；

67、控制所述滤波器基于所述调整增益对所述第一音视频数据进行滤波处理，得到第一音视频优化数据。

68、本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的基于5g终端设备的音视频数据采集方法。

69、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的基于5g终端设备的音视频数据采集方法。

70、本发明实施例一种基于5g终端设备的音视频数据采集方法及系统，与现有技术相比，具有如下有益效果：

71、基于5g终端设备调用音视频采集设备的api接口，可以远程向音视频采集设备发送音视频采集指令，以使音视频采集设备在接收到音视频采集指令后，对目标对象进行音视频采集处理，得到第一音视频数据，实现对音视频采集设备的智能控制和调度，提高音视频数据采集的效率，同时能消除传统方式下需要依赖有线连接的限制，增强了设备的可移动性；通过预训练的质量评分模型对第一音视频数据进行质量评分处理，可以及时发现并确定音视频数据中的质量问题；当质量评分不满足预设阈值时，对音视频数据进行优化处理，提高了传输到目标设备的音视频质量；对第一音视频优化数据进行编码处理，得到第一音视频编码数据，可以进一步减小数据传输的大小，提高传输效率；基于预设的网络协议进行传输，能够保证数据的稳定传输和高效交付到目标接收设备中。