H265编码透明通道传输的方法、终端设备及存储介质与流程

本发明涉及android音视频传输，尤其涉及一种h265编码透明通道传输的方法、终端设备及存储介质。

背景技术：

1、现在市场占有率最高的视频编码格式h265不支持透明通道的传输，在很多追求更多的色彩元素的业务场景中都是需要带透明通道的视频帧。

2、目前，在android平台想要支持带透明通道的视频帧就必须要放弃使用h265编码。一种可行的实现方式是使用vp9的编码格式，但是vp9格式在很多大的硬件平台是不支持硬解码的，比如apple系列的产品，而使用软件会极大的降低解码效率。

3、另一种是使用两路的视频流。一路编码并传输透明通道，一路编码并传输rgb通道，终端在解码两路流之后根据视频帧的时间戳信息进行alpha通道(透明通道一般用阿尔法(alpha)通道来表示，将视频保存为具有阿尔法(alpha)通道)和rgb通道的合并。这种方案会在一定层度加大编码的复杂性，并且在终端进行处理的时候由于两路流的网络传输是不同步的，终端需要开辟较大的缓存区域来做同步处理，这会加大系统资源的消耗以及加大延迟。

4、综上所述，现有技术无法有效解决android平台支持带透明通道的h265视频帧的传输。

技术实现思路

1、本发明的目的在于提供一种h265编码透明通道传输的方法、终端设备及存储介质，以解决上述技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、本发明提供的一种h265编码透明通道传输的方法，包括如下步骤：

4、对h265编码的idr帧进行alpha通道编码，得到具有alpha通道信息的idr帧；具有alpha通道信息的idr帧包括rgb通道头部信息、alpha通道头部信息以及sei信息，所述sei信息包括rgb通道和alpha通道数据；

5、获取h265编码帧，判断所述h265编码帧是否为idr帧；

6、如是，提取所述sei信息、rgb通道头部信息合成h265编码的rgb帧；提取所述sei信息、alpha通道头部信息合成h265编码的alpha帧；将h265编码的rgb帧、h265编码的alpha帧解码为rgba帧；

7、否则，从所述h265编码帧中提取所述rgb通道数据。

8、进一步地，所述alpha通道头部信息的sps参数集、pps参数集与所述rgb通道头部信息的sps参数集、pps参数集一致。

9、进一步地，如果所述sei信息中包含nalu字节序列对应的分隔符，则在所述sei信息中插入竞争位。

10、进一步地，提取所述sei信息、rgb通道头部信息组合成h265编码的rgb帧，包括如下步骤：

11、根据所述rgb通道头部信息、alpha通道头部信息对应的sps参数集、pps参数集，从具有alpha通道信息的idr帧的nalu字节序列中提取所述rgb通道数据；

12、从所述rgb通道头部信息中提取所述rgb通道头部信息对应的sps参数集、pps参数集；

13、将提取的所述rgb通道数据，所述rgb通道头部信息对应的sps参数集、pps参数集合成h265编码的rgb帧。

14、进一步地，提取所述h265编码帧中的sei信息、alpha通道头部信息合成h265编码的alpha帧，包括如下步骤：

15、对插入所述竞争位的sei信息去竞争位处理，读取所述alpha通道数据的长度，根据读取的长度提取所述alpha通道数据；

16、从所述alpha通道头部信息提取所述alpha通道头部信息对应的sps参数集、pps参数集；

17、将提取的所述alpha通道数据，所述alpha通道头部信息对应的sps参数集、pps参数集合成h265编码的alpha帧。

18、进一步地，提取通道头部信息对应的所述sps参数集、pps参数集时，将所述alpha通道头部信息中标识通道类型的标识位修改成与所述rgb通道头部信息中标识通道类型的标识位一致。

19、进一步地，将h265编码的rgb帧、h265编码的alpha帧解码为rgba帧，包括如下步骤：

20、将对h265编码的rgb帧解码出来的yuv数据通过gles纹理转化rgb；

21、将对h265编码的alpha帧解码出来的yuv中的y分量的值做为alpha值；

22、将转化的rgb与alpha值合并得到所述rgba帧。

23、进一步地，若获取的所述h265编码帧包含idr帧的nalu字节序列，所述h265编码帧是idr帧。

24、基于同一发明构思，第二方面，本发明提供一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现h265编码透明通道传输的方法步骤。

25、基于同一发明构思，第三方面，本发明提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，该程序被处理器执行时实现h265编码透明通道传输的方法步骤。

26、实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

27、本发明的一种支持h265视频编码透明通道传输方法通过在一路或多路使用h265编码的视频流中的每个视频帧中同时携带rgb通道数据和alpha通道数据，终端(如android终端)通过自定义的解码方式解码出rgb数据和alpha数据，然后进行合并，最终得到包含透明通道的视频帧。因此，实现了在android平台能够支持带透明通道(alpha通道)的视频帧无需放弃使用h265编码，使得android平台能够满足更多的色彩元素的业务场景。

技术特征：

1.一种h265编码透明通道传输的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种h265编码透明通道传输的方法，其特征在于，所述alpha通道头部信息的sps参数集、pps参数集与所述rgb通道头部信息的sps参数集、pps参数集一致。

3.根据权利要求2所述的一种h265编码透明通道传输的方法，其特征在于，如果所述sei信息中包含nalu字节序列对应的分隔符，则在所述sei信息中插入竞争位。

4.根据权利要求2所述的一种h265编码透明通道传输的方法，其特征在于，提取所述sei信息、rgb通道头部信息组合成h265编码的rgb帧，包括如下步骤：

5.根据权利要求3所述的一种h265编码透明通道传输的方法，其特征在于，提取所述h265编码帧中的sei信息、alpha通道头部信息合成h265编码的alpha帧，包括如下步骤：

6.根据权利要求4-5任一项所述的一种h265编码透明通道传输的方法，其特征在于，提取通道头部信息对应的所述sps参数集、pps参数集时，将所述alpha通道头部信息中标识通道类型的标识位修改成与所述rgb通道头部信息中标识通道类型的标识位一致。

7.根据权利要求1所述的一种h265编码透明通道传输的方法，其特征在于，将h265编码的rgb帧、h265编码的alpha帧解码为rgba帧，包括如下步骤：

8.根据权利要求1所述的一种h265编码透明通道传输的方法，其特征在于，若获取的所述h265编码帧包含idr帧的nalu字节序列，所述h265编码帧是idr帧。

9.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一权利要求所述的h265编码透明通道传输的方法步骤。

10.一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一权利要求所述的h265编码透明通道传输的方法步骤。

技术总结本发明公开了一种H265编码透明通道传输的方法、终端设备及存储介质，涉及Android音视频传输技术领域。其步骤包括：对H265编码的IDR帧进行Alpha通道编码，得到具有Alpha通道信息的IDR帧；获取H265编码帧，判断H265编码帧是否为IDR帧；如是，提取SEI信息、RGB通道头部信息合成H265编码的RGB帧；提取SEI信息、Alpha通道头部信息合成H265编码的Alpha帧；将H265编码的RGB帧、H265编码的Alpha帧解码为RGBA帧；否则，从H265编码帧中提取RGB通道数据。本方法实现了在Android平台能够支持带透明通道的视频帧无需放弃使用H265编码。技术研发人员：靳超群,陶林受保护的技术使用者：深圳云天畅想信息科技有限公司技术研发日：技术公布日：2024/7/29