一种点云视频的自适应QP调整方法、系统及装置

本发明涉及点云视频压缩，尤其是涉及一种点云视频的自适应qp调整方法、系统及装置。

背景技术：

1、在基于视频的点云压缩（video-based point cloud compression，v-pcc）过程中，往往先通过贴片（patch）投影方法，将动态点云转换为2d视频（若干帧2d图像）；在这些贴片被打包至2d图像时，分别生成几何视频（若干帧几何图像）和属性视频（若干帧属性图像）；由于贴片通常具有不规则形状，故生成占用图（occupancy），用于指示2d图像中的像素是否属于该贴片；再通过视频译码器，例如高效视频译码（high efficiency videocoding，hevc）、多功能视频译码（versatile video coding，vcc）等，压缩占用图、几何视频及属性视频。

2、在hevc/vvc中，编码器首先会将输入的视频序列分割为译码树单元（ctu），对每个ctu选择帧内或帧间预测模式，并计算预测残差，由于残差中通常存在大量零值，通过编码压缩可以减少冗余信息，实现有效压缩。ctu通常由亮度ctb（coding tree block，即译码树块）、色度ctb和相应的语法元素组成。ctu通常可以划分为若干个不同大小的cu（译码单元）。

3、在进行了ctu划分后，对表示预测和/或残差信息以及其他信息的cu的视频数据进行编码。预测信息指示将如何预测cu以便形成cu的预测块。残差信息通常表示编码之前cu的样本与预测块的样本之间的逐样本差，这时可应用一个或多个变换，产生在变换域中的变换数据及变换系数，然后可根据量化系数（qp），执行对变换系数的量化，以减少用于表示系数的数据量。qp通常采用语法元素的形式包含在头信息中。qp与码率控制紧密相关，通过为每个译码单元选择最优的qp,可以优化视频译码的率失真性能。

4、降低视频译码的码率（比特率）通常会增加视频的失真，而降低视频的失真则会增加视频译码的码率。因此，如何在保持目标码率的前提下尽可能降低失真，是视频译码的常见问题之一。

5、通常，较低的qp值会保留更多的空间细节，但会导致较高的比特率；相反，较高的qp值会提高压缩率，降低比特率，但可能会影响输出视频的质量。因此，合理设置各个译码单元的qp值是提高视频编码的率失真性能的关键。

6、同时，人眼作为视频内容最终的接收对象，并不能精确察觉到图像和视频信号中的所有失真，所以，为了保持比特率在约束范围内时，使重建点云的主观质量更高，人类视觉系统（human visual system，hvs）有潜力发挥重要作用。

7、目前，在hevc/vvc中，qp的设置通常并未考虑hvs特性，无法有效减少视频中的视觉冗余。在点云视频中，每个点不仅包含属性信息，还包含用于定位空间位置的几何信息。然而，当前基于hvs的qp调整方案仅考虑了属性信息，忽视了人眼对不同空间深度变化的关注程度差异，导致限制了人眼对点云视频的感知准确性。

技术实现思路

1、本发明的目的在于提供一种点云视频的自适应qp调整方法、系统及装置，以解决现有技术中存在的至少一种上述技术问题。

2、第一方面，为解决上述技术问题，本发明提供一种点云视频的自适应qp调整方法，包括如下步骤：

3、步骤1、根据输入点云数据，通过贴片投影，生成点云视频；所述点云视频，包括几何帧、属性帧及占用图；

4、步骤2、基于所述属性帧中的第一ctu，确定相应的属性视觉敏感因子（avs）；基于所述几何帧中的第二ctu，确定相应的几何视觉敏感因子（gvs）;

5、步骤3、基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu和/或第二ctu的qp偏移值；基于所述qp偏移值，调整qp。

6、通过上述方法，设计出视觉敏感因子，以便衡量属性帧中每个ctu的视觉敏感程度，将hvs引入点云视频压缩的译码过程中，提升主观译码质量。

7、在一种可行的实施方式中，所述步骤2中，确定属性视觉敏感因子的具体过程包括：

8、步骤211、通过对比敏感度函数（contrast sensitivity function，csf）模型，得到量化亮度与原始亮度之间的关系式，具体表达式可以为：

9、；

10、；

11、其中，、、、及分别是逆感知量化器的预设参数，表示图像亮度值；表示归一化亮度；表示逆感知亮度转换器；

12、这样可以利用csf模型，获得量化亮度与原始亮度之间的关系，以便由量化亮度值反算出原始亮度值，从而更准确地模拟人类视觉系统的感知能力，进而克服了v-pcc中属性帧的比特深度小（10比特），其量化亮度难以准确模拟人类视觉系统感知能力的问题；

13、步骤212、定义基于csf模型的亮度自适应函数：

14、；

15、步骤213、定义亮度自适应（luminance adaptation，la）模型及对比度掩蔽（contrast masking，cm）模型，具体表达式可以为：

16、；

17、；

18、其中，表示像素的亮度自适应值；表示像素的对比度掩蔽值；表示像素的背景亮度，表示像素的x轴坐标，表示像素的y轴坐标；表示预设经验系数，例如，可取值为0.117；表示像素的梯度值，具体可以表示为：

19、；

20、其中，表示水平方向上像素的梯度值；

21、表示竖直方向上像素的梯度值；表示ctu中像素总数；

22、这样，可以兼顾la模型及cm模型的联合效应，有助于后序自适应计算及调整；

23、步骤214、定义属性帧的jnd（just noticeable difference，恰可察觉失真）模型，具体表达式可以为：

24、；

25、其中，表示像素的jnd值；

26、之所以这样设计公式，是因为jnd值可以体现人眼能够察觉到视觉信号最小变化的阈值，从而有助于忽略掉那些对人眼视觉效果毫无影响的微小变化，大幅降低译码数据量；

27、步骤215、将每个第一ctu中所有占用像素的jnd值进行平均，得到占用ctu的jnd值；所述占用ctu是指包含预设数量占用像素的ctu；具体计算公式可以为：

28、；

29、其中，表示占用系数，依据占用图进行取值：如果像素被占用，则=1；否则，=0；表示当前第一ctu中占用像素的数量；

30、之所以这样设计公式，是因为属性帧的填充策略可能会在未占用的区域产生平坦的纹理，从而降低了人眼检测失真的阈值；所以，在既有占用像素，又有未占用像素的ctu中获得会比其实际值小，即未占用像素的存在会影响的准确度。因此，通过占用图及占用系数，排除了未占用像素的干扰，提升了的计算准确度；

31、步骤216、计算第一ctu中占用ctu的avs;这样就可以筛除未占用ctu，以便提升后序数据处理效率；具体公式可以为：

32、；

33、其中，表示占用ctu的avs值；表示属性帧中占用ctu的最大jnd值；表示属性帧中占用ctu的最小jnd值；

34、通过上述归一化公式可知，越小，则越大，表明人眼对当前ctu更敏感；

35、在一种可行的实施方式中，还可以将直接作为。

36、在一种可行的实施方式中，所述步骤2中，确定几何视觉敏感因子的过程包括：基于几何帧的图像块集合中任一图像块，确定该图像块的相似图像块子集；基于图像块与相应的相似图像块之间的差异度度量，确定该图像块的显著性度量；基于所述显著性度量，确定几何视觉敏感因子；这样便于通过图像块与相似图像块之间的差异度，确定显著性，从而确定几何视觉敏感因子。

37、在一种可行的实施方式中，所述步骤2中基于所述几何帧中的第二ctu，确定相应的几何视觉敏感因子的具体过程包括：

38、步骤221、基于几何帧的图像块集合中任一图像块，通过相似性判断，确定图像块集合中若干相似图像块，构建相似图像块子集；

39、步骤222、基于占用图，通过掩膜等方式，筛选几何帧中第二ctu的占用ctu；这样就可以筛除未占用ctu，以便提升后序数据处理效率；

40、步骤223、计算每个占用ctu的显著性值，具体公式可以为：

41、；

42、其中，表示第个ctu的显著性值；表示当前ctu中占用像素的数量；表示最大ctu的大小：例如，在hevc中，为63，对应于最大ctu的大小为64；而在vvc中，为127，对应于最大ctu的大小为128；表示包含像素的大小刻度为的图像块的显著性值，具体公式可以为：

43、；

44、其中，表示像素的x轴坐标；表示像素的y轴坐标；表示相似图像块子集中最相似图像块的预设数量；这样可以对每个图像块，依据差异性度量值在相似图像块子集中搜索预设数量的最相似图像块进行差异性比较，而不用将所有相似图像块一一进行比较（因为最相似图像块若存在较大差异，那么所有相似的图像块必然存在较大差异），从而大幅提升运算效率；

45、表示相似图像块子集中，大小刻度为时，第个图像块与第个图像块之间的差异性度量，具体计算公式可以为：

46、；

47、其中，表示第个图像块与第个图像块之间的差异性值；表示第个图像块与第个图像块之间的亮度分量经归一化处理后的欧几里得距离；表示第个图像块与第个图像块之间的空间位置经归一化处理后的欧几里得距离；表示控制系数；通过该公式，可以将图像块之间的亮度分量差异及空间位置差异引入至差异性度量计算中；之所以这样设计公式，是因为亮度分量来自于不同几何图像的亮度通道，而在所述亮度通道中存储着点云视频的投影深度信息，这样可以利用人眼对空间深度变化高度敏感的公知特点，将空间深度变化明显的区域作为高显著性区域，将空间深度变化不明显的区域作为低显著性区域，从而有效地确定点云视频中人眼所关注的区域，进而使得点云视频的译码效果更适合人眼观看；

48、步骤224、对当前几何帧中，所有占用ctu的显著性值取均值，得到当前几何帧的平均视觉重要性值，具体公式可以为：

49、；

50、其中，表示当前帧中占用ctu的数量；

51、步骤225、计算当前几何帧中第个ctu的几何视觉敏感因子值，具体公式可以为：

52、；

53、其中，当小于1时，表示第个ctu属于非显著区域，即人眼对该区域不敏感；当大于等于1时，表示第个ctu属于显著区域，即人眼对该区域更关注；表示几何视觉敏感因子的强度因子，即几何视觉敏感因子的缩放范围；

54、这样将的归一化值作为了几何视觉敏感因子值，有利于消除噪声点云对后续处理的影响；在其他可行的实施方式中，还可以将直接作为几何视觉敏感因子值，进行后序计算。

55、在一种可行的实施方式中，所述步骤221中相似性判断的方法包括：在图像块集合中筛选与当前图像块亮度差最小的预设数量的图像块。

56、在一种可行的实施方式中，将未占用像素的显著性值设为0，即不提取未占用像素的显著性，以便于进行计算。

57、在一种可行的实施方式中，可以设置一个ctu级别的语法元素，用于指示当前ctu是否属于显著ctu。该语法元素可以被编码至压缩比特流中，以便在解码端进行解析，通过解析该语法元素，解码端能够确定当前ctu属于显著ctu,以便对显著ctu进行有利于视觉呈现的处理，例如增强处理等，从而改善与显著ctu相关联的点云数据的视觉呈现效果。

58、在一种可行的实施方式中，所述步骤3中基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu和/或第二ctu的qp偏移值，包括：基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu/或第二ctu的视觉敏感度量；基于所述第一ctu/或第二ctu的视觉敏感度量，确定第一ctu/或第二ctu的qp偏移值。

59、在一种可行的实施方式中，所述步骤3中基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu和/或第二ctu的qp偏移值，还包括：基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu/或第二ctu的视觉敏感度量；基于所述第一ctu/或第二ctu的视觉敏感度量，确定所述第一ctu/或第二ctu是否属于视觉敏感区域；当所述第一ctu/或第二ctu属于视觉敏感区域时，才计算第一ctu/或第二ctu的qp偏移值。

60、在一种可行的实施方式中，所述步骤3中基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu和/或第二ctu的qp偏移值，还包括：先基于占用图，确定第一ctu是否是占用ctu；当所述第一ctu属于占用ctu时，才确定所述第一ctu的属性视觉敏感因子。

61、在一种可行的实施方式中，所述步骤3中qp偏移值是通过在经译码的点云视频数据流中设置ctu级别的语法元素进行指示的。

62、在一种可行的实施方式中，所述步骤3中调整qp的方法包括：接收经译码的点云视频数据流，读取其中的ctu级别的语法元素，用于指示该语法元素相关联的ctu进行qp偏移。

63、在一种可行的实施方式中，所述步骤3中qp偏移值是针对ctu所使用的qp的增量。

64、在一种可行的实施方式中，所述步骤3具体包括：

65、步骤31、基于avs及gvs，计算第一ctu和/或第二ctu的视觉敏感度量，具体公式可以为：

66、；

67、其中，表示第一经验权重系数，可以取值为1.5；表示第二经验权重系数，可以取值为0.25；表示占用ctu的gvs值；

68、通过上式可知：当大于等于1时，表示占用ctu属于视觉敏感区域；当小于1时，表示占用ctu属于非视觉敏感区域；

69、步骤32、计算第一ctu和/或第二ctu中每个占用ctu的qp偏移值，具体公式可以为：

70、;

71、其中，表示第个占用ctu的qp偏移值；表示第个占用ctu的视觉敏感度量；表示属性帧中最大qp偏移范围常数，可以取值为2或6；表示向下取整；表示视觉敏感度阈值，可以取值为0.6：当小于时，表示人眼对当前占用ctu不敏感；

72、步骤33、基于，调整第一ctu和/或第二ctu中每个占用ctu的qp值。

73、在一种可行的实施方式中，所述语法元素还可以是图片级别或序列级别。

74、在一种可行的实施方式中，所述步骤33中还包括：

75、对于属性帧的未占用ctu，将qp设置为最大值（例如51）；由于未占用的像素对点云重建无影响，所以这样设置可以降低比特率要求；

76、而对于几何帧的未占用ctu，由于其仅有非常少量的比特消耗，所以无需对几何帧的未占用ctu的qp进行调整。

77、第二方面，基于相同的发明构思，本技术还提供了一种点云视频的自适应qp调整系统，包括数据接收模块、数据处理模块及结果生成模块；

78、所述数据接收模块，用于接收输入点云数据；

79、所述数据处理模块，包括点云视频单元、avs单元、gvs单元及qp单元；

80、所述点云视频单元，根据输入点云数据，通过贴片投影，生成点云视频；所述点云视频，包括几何帧、属性帧及占用图；

81、所述avs单元，基于所述属性帧中的第一ctu，确定相应的属性视觉敏感因子（avs）；

82、所述gvs单元，基于所述几何帧中的第二ctu，确定相应的几何视觉敏感因子（gvs）；

83、所述qp单元，基于属性视觉敏感因子及几何视觉敏感因子，确定第一ctu和/或第二ctu的qp偏移值；基于所述qp偏移值，调整qp;

84、所述结果生成模块，用于将qp外发。

85、第三方面，基于相同的发明构思，本技术还提供了一种点云视频的自适应qp调整装置，包括处理器、存储器及总线，所述存储器存储可由处理器读取的指令及数据，所述处理器用于调用所述存储器中的指令及数据，以执行如上所述的点云视频的自适应qp调整方法，所述总线连接各功能部件之间用于传送信息。

86、采用上述技术方案，本发明具有如下有益效果：

87、本发明提供的一种点云视频的自适应qp调整方法、系统及装置，通过在qp调整方案中，同时使用几何帧的深度信息和属性帧中的信息来确定qp偏移，在qp确定中有效且可靠地引入了涉及人眼对不同空间深度自适应变化的关注程度的视觉敏感信息，由于该视觉敏感信息是基于深度的，因此可以为属性帧和/或几何帧的量化获得较好的效果。本技术可以仅对占用ctu进行处理，从而有效减少视频中的视觉冗余。