编解码方法、装置、设备、存储介质及计算机程序与流程

本技术涉及图像压缩领域，特别涉及一种编解码方法、装置、设备、存储介质及计算机程序。

背景技术：

1、屏幕共享是视频会议中的核心功能，屏幕共享通常用于对浏览器窗口、应用、演示文稿(powerpoint，ppt)、文档(word)、表格(excel)等屏幕内容进行共享显示，使得视频会议中的成员能够看到相同的内容。

2、在相关技术中，通常采用屏幕截图的方式实现屏幕共享。也即是，对需要共享的屏幕内容进行截图，以得到屏幕图像，对该屏幕图像进行编码以得到码流，进而将码流传输至目的端，目的地端接收该码流并对该码流进行解码，以得到重建后的屏幕图像，进而对该重建后的屏幕图像进行显示。

3、然而，通过上述方法进行屏幕共享所显示的屏幕图像容易出现图像质量不佳的问题，例如，图像模糊或者包含文字内容的图像中的文字模糊、细节丢失等等。

技术实现思路

1、本技术提供了一种编解码方法、装置、设备、存储介质及计算机程序，可以解决相关技术中屏幕共享所显示的屏幕图像出现图像质量不佳的问题。所述技术方案如下：

2、第一方面，提供了一种编码方法，所述方法包括：获取目标屏幕图像，所述目标屏幕图像是对屏幕共享过程中的屏幕内容进行截图得到的，确定所述目标屏幕图像中的感兴趣区域，对所述感兴趣区域进行处理，以使处理后的感兴趣区域的对比度高于处理前的感兴趣区域的对比度，和/或处理后的感兴趣区域的分辨率高于处理前的感兴趣区域的分辨率，将所述处理后的感兴趣区域编入码流。

3、通过对目标屏幕图像中的感兴趣区域进行处理，使得处理后的感兴趣区域的对比度高于处理前的感兴趣区域的对比度，和/或处理后的感兴趣区域的分辨率高于处理前的感兴趣区域的分辨率，进而将处理后的感兴趣区域编入码流，这样，在对码流进行解码得到重建的目标屏幕图像后，该重建的目标屏幕图像中感兴趣区域的对比度高于处理前的感兴趣区域的对比度，和/或，下采样后的感兴趣区域的色彩饱和度高于下采样前的感兴趣区域的色彩饱和度，使得重建后的屏幕图像更为清晰。并且，本技术能够在现有的软、硬件设备的条件下，有效解决由于色度信息丢失所导致的图像模糊的问题，即在不增加额外的硬件成本的同时，提升对屏幕图像进行编码的效率。

4、可选地，该目标屏幕图像可以包含文字内容和/或自然图片，该文字内容可以是包含对文字进行截图得到的文字图片，也可以是屏幕内容中原本存在的文字块。

5、可选地，该目标屏幕图像的格式为yuv444格式。在实际应用中，对屏幕共享过程中的屏幕内容进行截图得到的屏幕图像也可能为rgb格式，在这种情况下，需要将该屏幕图像的格式按照相关算法转换为yuv444格式，从而得到目标屏幕图像。

6、进一步地，可以通过如下步骤(1)-(3)来确定目标屏幕图像中的感兴趣区域。

7、(1)确定目标屏幕图像中的候选兴趣区域，该候选兴趣区域为目标屏幕图像中对比度小于参考对比度的区域。

8、确定目标屏幕图像中的候选兴趣区域的实现方式包括多种，接下来对其中的两种实现方式进行介绍。

9、第一种实现方式，将目标屏幕图像划分为多个图像区域，确定多个图像区域中每个图像区域的对比度，以得到多个对比度，将该多个图像区域中对比度小于参考对比度的图像区域确定为候选兴趣区域。

10、第二种实现方式，将目标屏幕图像划分为多个图像区域，确定该多个图像区域中每个图像区域的对比度，以得到多个对比度，将该多个图像区域中对比度小于参考对比度的图像区域确定为候选图像区域，将候选图像区域中包含文字的区域确定为候选兴趣区域。

11、(2)确定目标屏幕图像中的用户兴趣区域，该用户兴趣区域是参与屏幕共享过程的用户所选定的区域。

12、可选地，接收参与屏幕共享过程的用户所选定的区域，将该用户选定的区域确定为用户兴趣区域。

13、参与屏幕共享过程的用户选定区域的方式包括多种，接下来对其中的五种实现方式进行详细介绍。

14、第一种方式：全部画面。用户能够将屏幕共享界面中的整个画面作为用户兴趣区域，在这种情况下，确定该用户兴趣区域为整个目标屏幕图像。

15、第二种方式：手动选择。用户能够在屏幕共享界面手动选择一个区域，进而将该手动选择的区域确定为用户兴趣区域，该手动选择的区域可以小于目标屏幕图像，也可以等于目标屏幕图像。

16、第三种方式：手势跟踪。还可以基于用户的手势，确定用户兴趣区域。

17、在这种情况下，还需要借助摄像头对用户手势进行拍摄，以得到用户手势图像，将该用户手势图像作为手势识别网络模型的输入，该手势识别网络模型输出用户的手势所指示的方向，将第一位置沿手势所指示的方向移动参考距离，以得到移动后的第一位置，将移动后的第一位置作为圆心，以半径为参考半径的圆形区域作为用户兴趣区域。或者，将移动后的第一位置作为中心点的参考矩形区域作为用户兴趣区域。

18、第四种方式：跟随鼠标或激光笔。基于鼠标或激光笔位置，确定用户兴趣区域，该鼠标位置为参与屏幕共享过程的用户的鼠标在屏幕共享界面中的位置。

19、进一步地，可以将鼠标或激光笔位置作为圆心，以半径为参考半径的圆形区域作为用户兴趣区域。或者，将鼠标或激光笔位置作为中心点的参考矩形区域作为用户兴趣区域。

20、需要说明的是，若基于激光笔位置，确定用户兴趣区域，则需要借助摄像头对显示屏幕进行拍摄，以得到激光笔在显示屏幕中的位置的图像，进而基于该激光笔在显示屏幕中的位置的图像，按照相关算法，确定激光笔位置。

21、第五种方式：眼神跟踪。还可以基于用户眼神，确定用户兴趣区域。

22、在这种情况下，需要借助摄像头对用户眼神进行拍摄，以得到用户眼神图像，将该用户眼神图像作为眼神识别网络模型的输入，该眼神识别网络模型输出用户眼神所注视的位置，将用户眼神所注视的位置确定为第二位置，将第二位置作为圆心，以半径为参考半径的圆形区域作为用户兴趣区域。或者，将第二位置点作为中心点的参考矩形区域作为用户兴趣区域。

23、(3)基于该候选兴趣区域和/或用户兴趣区域，确定目标屏幕图像中的感兴趣区域。

24、可选地，基于目标屏幕图像中的候选兴趣区域和用户兴趣区域，确定感兴趣区域的实现过程包括：确定用户兴趣区域与候选兴趣区域之间的重叠区域的面积，基于该重叠区域的面积和候选兴趣区域的面积，从候选兴趣区域中确定感兴趣区域。

25、可选地，若存在至少一个候选兴趣区域，则对于该至少一个候选兴趣区域中的任意一个候选兴趣区域，确定用户兴趣区域与该候选兴趣区域之间的重叠区域的面积。这样，对于该至少一个候选兴趣区域中的每个候选兴趣区域，都能够确定出用户兴趣区域与相应候选兴趣区域之间的重叠区域的面积。

26、进一步地，基于该重叠区域的面积和候选兴趣区域的面积，从候选兴趣区域中确定感兴趣区域的实现过程包括：对于该至少一个候选兴趣区域中的任意一个候选兴趣区域，若该重叠区域的面积除以该候选兴趣区域的面积的值大于或者等于重叠比例阈值，则确定该候选兴趣区域为感兴趣区域。按照相同的方式对该至少一个候选兴趣区域中的每个候选兴趣区域进行处理，最终能够确定出所有的感兴趣区域。

27、当然，在实际应用中，还可以直接将候选兴趣区域确定为目标屏幕图像中的感兴趣区域。在这种情况下，可以直接将上述重叠比例阈值设置为0。

28、可选地，若不存在候选兴趣区域，则可以将用户兴趣区域确定为目标屏幕图像中的感兴趣区域，或者，将整个目标屏幕图像作为感兴趣区域。当然，也可以直接将用户兴趣区域确定为目标屏幕图像中的感兴趣区域，或者，将整个目标屏幕图像作为感兴趣区域。也就是说，可以在没有候选兴趣区域的情况下，将用户兴趣区域或整个目标屏幕图像作为感兴趣区域，也可以不确定候选兴趣区域，直接将用户兴趣区域或整个目标屏幕图像作为感兴趣区域。

29、对目标屏幕图像中的感兴趣区域进行上采样，以使上采样后的感兴趣区域的分辨率高于上采样前的感兴趣区域的分辨率，和/或对感兴趣区域进行色彩转换，以使色彩转换后的感兴趣区域的对比度高于色彩转换前的感兴趣区域的对比度。

30、进一步地，对感兴趣区域进行色彩转换的实现过程包括：确定感兴趣区域中的文字区域，对感兴趣区域中的文字区域进行色彩转换。

31、可选地，可以通过文字检测网络模型，确定感兴趣区域中的文字区域。也即是，将感兴趣区域作为文字检测网络模型的输入，该文字检测网络模型能够基于该感兴趣区域，输出感兴趣区域中的文字区域。

32、进一步地，确定感兴趣区域中的文字区域中的至少一个待转换色彩，基于该至少一个待转换色彩，确定至少一个待转换色彩中每个待转换色彩对应的目标色彩，将感兴趣区域中的至少一个待转换色彩替换为相应的目标色彩，以实现对感兴趣区域中的文字区域进行色彩转换。

33、可选地，发送端存储有色彩转换表，该色彩转换表中包含待转换色彩与目标色彩的对应关系。对于该至少一个待转换色彩中的任意一个待转换色彩，从色彩转换表中确定与该待转换色彩对应的目标色彩。按照相同的方式对至少一个待转换色彩中的每个待转换色彩进行处理，从而得到至少一个待转换色彩中每个待转换色彩对应的目标色彩。

34、若不存在文字区域，则可以对整个感兴趣区域进行色彩转换。当然，也可以不确定感兴趣区域中的文字区域，直接对整个感兴趣区域进行色彩转换。也就是说，可以在感兴趣区域中不存在的文字的情况下，对整个感兴趣区域进行色彩转换。

35、需要说明的是，对感兴趣区域进行上采样，和/或对感兴趣区域进行色彩转换包括四种方式。第一种方式，只对感兴趣区域进行上采样。第二种方式只对感兴趣区域进行色彩转换。第三种方式，先对感兴趣区域进行色彩转换，进而再对色彩转换之后的感兴趣区域进行上采样。第四种方式，先对感兴趣区域进行上采样，进而再对上采样之后的感兴趣区域进行色彩转换。

36、若对目标屏幕图像中的感兴趣区域进行处理的过程中进行了上采样，由于在上采样之后的感兴趣区域的像素数量至少变为原来的两倍，因此，即使将该上采样之后的感兴趣区域的格式转换为yuv420格式，该处理后的感兴趣区域中仍保留了感兴趣区域中全部的色度信息，也就是说，处理后的感兴趣区域与处理前的感兴趣区域的u、v分量相同，从而解决了上述由于图像格式转换为yuv420而图像色度信息丢失的问题。

37、若非感兴趣区域和感兴趣区域都需要编入码流，在这种情况下，为了在兼容现有软硬件设备以及编解码传输协议的同时，区分目标屏幕图像中的两种不同的区域，可选地，可以将感兴趣区域的编码写入码流的自定义字段。

38、若处理后的感兴趣区域经过了上采样，则该处理后的感兴趣区域的像素数量至少为原来的四倍，相应地，该处理后的感兴趣区域的编码码率也会比原来增大至少四倍，这样会导致编码效率降低。因此，为了保证编码码率不变，在对处理后的感兴趣区域进行编码时，可以增大qp值，即降低量化的精度，从而使得处理后的感兴趣区域的编码码率与原来基本保持一致，这样，能够在保证编码码率不变的同时，有效提升目标屏幕图像的清晰度。

39、第二方面，提供了一种解码方法，所述方法包括：从码流中解析出感兴趣区域，对所述感兴趣区域进行下采样，以使下采样后的感兴趣区域的分辨率低于下采样前的感兴趣区域的分辨率，以及下采样后的感兴趣区域的色彩饱和度高于下采样前的感兴趣区域的色彩饱和度，基于下采样后的感兴趣区域，重建目标屏幕图像。

40、由于处理后的感兴趣区域的对比度高于处理前的感兴趣区域的对比度，和/或处理后的感兴趣区域的分辨率高于处理前的感兴趣区域的分辨率，因此，将处理后的感兴趣区域编入码流，这样，在对码流进行解码得到重建的目标屏幕图像后，能够使得该重建的目标屏幕图像中感兴趣区域的对比度高于处理前的感兴趣区域的对比度，和/或，下采样后的感兴趣区域的色彩饱和度高于下采样前的感兴趣区域的色彩饱和度，从而保证重建后的屏幕图像更为清晰。并且，本技术能够在现有的软、硬件设备的条件下，有效解决由于色度信息丢失所导致的图像模糊的问题，即在不增加额外的硬件成本的同时，提升对屏幕图像进行编码的效率。

41、编码侧对感兴趣区域可能进行了上采样，也可能未进行上采样。在编码侧对感兴趣区域进行了上采样的情况下，该解码出的感兴趣区域的像素数量至少为目标屏幕图像中的感兴趣区域的像素数量四倍。

42、可选地，感兴趣区域的格式为yuv格式。在这种情况下，对感兴趣区域进行下采样的实现过程包括：对感兴趣区域中的y分量进行下采样，保持感兴趣区域中的u分量和v分量不变，以得到下采样后的感兴趣区域。

43、可选地，可以基于下采样参数，按照相关算法，对感兴趣区域中的y分量进行下采样，保持感兴趣区域中的u分量和v分量不变。

44、需要说明的是，对感兴趣区域进行下采样的算法与编码过程中使用的上采样的算法是相对应的。下采样参数与上述上采样参数一致。

45、可以基于非感兴趣区域、感兴趣区域在目标屏幕图像中的位置和下采样后的感兴趣区域，重建目标屏幕图像。

46、可选地，可以将非感兴趣区域中与该感兴趣区域的位置一致的区域替换为该感兴趣区域，以得到重建的目标屏幕图像。

47、需要说明的是，上述解码过程可以是接收端实施的。但是在实际应用中，若接收端的解码能力不足，mcu能够基于接收端的解码能力，将码流转码为接收端能够进行解码的分辨率以及格式。若接收端能够进行解码的分辨率与目标屏幕图像的分辨率一致，则无需对该解码出的感兴趣区域进行下采样。

48、第三方面，提供了一种编码装置，所述编码装置具有实现上述第一方面中编码方法行为的功能。所述编码装置包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的编码方法。

49、第四方面，提供了一种解码装置，所述解码装置具有实现上述第二方面中解码方法行为的功能。所述解码装置包括至少一个模块，该至少一个模块用于实现上述第二方面所提供的解码方法。

50、第五方面，提供了一种编码设备，所述编码设备包括处理器和存储器，所述存储器用于存储执行上述第一方面所提供的编码方法的程序。所述处理器被配置为用于执行所述存储器中存储的程序，以实现上述第一方面提供的编码方法。

51、可选地，所述编码设备还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。

52、第六方面，提供了一种解码设备，所述解码设备包括处理器和存储器，所述存储器用于存储执行上述第二方面所提供的解码方法的程序。所述处理器被配置为用于执行所述存储器中存储的程序，以实现上述第二方面提供的解码方法。

53、可选地，所述解码设备还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。

54、第七方面，提供了一种计算机可读存储介质，所述存储介质内存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的编码方法的步骤，或者执行上述第二方面所述的解码方法的步骤。

55、第八方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的编码方法的步骤，或者执行上述第二方面所述的解码方法的步骤。或者说，提供了一种计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行上述第一方面所述的编码方法的步骤，或者执行上述第二方面所述的解码方法的步骤。

56、第九方面，提供了一种编解码系统，所述编解码系统包括编码设备和解码设备，所述编码设备用于实现上述第一方面所述的编码方法的步骤，所述解码设备用于实现上述第二方面所述的解码方法的步骤。

57、上述第三方面至第九方面所获得的技术效果与第一方面或第二方面中对应的技术手段获得的技术效果近似，在这里不再赘述。