图像处理方法、装置、电子设备、存储介质及程序产品与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备、存储介质及程序产品。

背景技术：

1、目前transformer深度学习模型在自然语言处理任务(nlp)中表现较为突出，有相关研究人员提出了利用transformer深度学习模型网络，解决计算机视觉模型vit(visiontransformer)中的计算机视觉问题。但是，由于transformer深度学习模型的自注意力机制擅长处理序列化特征，因此，如何将图像转化为编码序列成为了一个重要问题。

2、现有技术中，计算机视觉模型vit的主流做法是将图像拆分为若干固定尺寸的图像块(patch)，然后将每个图像块输入图像编码器(通常是一个线性映射层)，从而获得最终的特征向量序列。

3、但是，将图像拆分为若干固定尺寸的图像块这种图像序列化方法，难以在编码层面从大规模无标注的图像数据中捕获图像块序列之间的特征相关性，且图像编码器相当于一个黑盒，导致图像块特征提取的可解释性较差。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术提供一种图像处理方法、装置、电子设备、存储介质及程序产品，用以解决现有技术中图像序列化后图像块序列之间的特征相关性较差的技术问题。

2、第一方面，本技术提供一种图像处理方法，包括：

3、对待处理图像进行编码处理，生成所述待处理图像的字节编码；

4、根据预设编码顺序对所述字节编码进行序列化处理，确定编码序列；

5、获取所述编码序列中两两字节编码的出现频次，得到字节对频次，其中，所述两两字节编码为两个相邻的字节编码；

6、基于所述字节对频次，为所述待处理图像生成字节码表。

7、在一种可能的设计中，所述对待处理图像进行编码处理，生成所述待处理图像的字节编码，包括：

8、确定所述待处理图像中的像素点，并采用颜色模型为所述像素点生成像素值，其中，所述像素值用于描述和表示所述像素点的颜色；

9、基于预设分块规则，对所述待处理图像进行分块处理，生成待处理图像块；

10、基于所述像素值和所述待处理图像块，确定所述待处理图像的字节编码。

11、在一种可能的设计中，基于所述像素值和所述待处理图像块，确定所述待处理图像的字节编码，包括：

12、获取所述待处理图像块中的多个像素点，以及所述多个像素点对应的多个像素值；

13、基于所述多个像素值，确定所述待处理图像块的初始编码；

14、基于多个所述待处理图像块的多个所述初始编码，确定所述待处理图像的字节编码。

15、在一种可能的设计中，根据预设编码顺序对所述字节编码进行序列化处理，确定编码序列，包括：

16、获取所述待处理图像的尺寸信息；

17、基于所述尺寸信息，确定所述预设编码顺序；

18、根据所述预设编码顺序，对所述待处理图像中的所述字节编码进行连接处理，确定所述编码序列。

19、在一种可能的设计中，在获取所述编码序列中两两字节编码的出现频次，得到字节对频次之前，所述方法还包括：

20、生成初始字节码表，并在所述初始字节码表中添加基础字节码，其中，所述基础字节码至少包括256个。

21、在一种可能的设计中，获取所述编码序列中两两字节编码的出现频次，得到字节对频次，包括：

22、对所述编码序列进行分组处理，得到多个字节对，其中，一个所述字节对由两个相邻的字节编码组成；

23、获取所述多个字节对中每个所述字节对的出现频次；

24、判断所述出现频次是否大于预设频次阈值，若是，则基于所述出现频次确定所述字节对频次。

25、在一种可能的设计中，基于所述字节对频次，为所述待处理图像生成字节码表，包括：

26、对所述多个字节对中所述字节对频次最高的字节对进行合并处理，得到更新后的字节编码；

27、将所述更新后的字节编码添加至所述初始字节码表，完成一次初始码表更新操作；

28、重复所述初始码表更新操作至预设次数，生成所述字节码表。

29、第二方面，本技术提供一种图像处理装置，包括：

30、编码模块，用于对待处理图像进行编码处理，生成所述待处理图像的字节编码；

31、第一处理模块，用于根据预设编码顺序对所述字节编码进行序列化处理，确定编码序列；

32、第二处理模块，用于对所述编码序列进行分析处理，确定字节对频次；

33、生成模块，用于基于所述字节对频次，为所述待处理图像生成字节码表。

34、在一种可能的设计中，所述编码模块，具体用于：

35、确定所述待处理图像中的像素点，并采用颜色模型为所述像素点生成像素值，其中，所述像素值用于描述和表示所述像素点的颜色；

36、基于预设分块规则，对所述待处理图像进行分块处理，生成待处理图像块；

37、基于所述像素值和所述待处理图像块，确定所述待处理图像的字节编码。

38、在一种可能的设计中，所述编码模块，还具体用于

39、获取所述待处理图像块中的多个像素点，以及所述多个像素点对应的多个像素值；

40、基于所述多个像素值，确定所述待处理图像块的初始编码；

41、基于多个所述待处理图像块的多个所述初始编码，确定所述待处理图像的字节编码。

42、在一种可能的设计中，所述第一处理模块，具体用于：

43、获取所述待处理图像的尺寸信息；

44、基于所述尺寸信息，确定所述预设编码顺序；

45、根据所述预设编码顺序，对所述待处理图像中的所述字节编码进行连接处理，确定所述编码序列。

46、在一种可能的设计中，所述第二处理模块，具体用于：

47、生成初始字节码表，并在所述初始字节码表中添加基础字节码，其中，所述基础字节码至少包括256个。

48、在一种可能的设计中，所述第二处理模块，还具体用于：

49、对所述编码序列进行分组处理，得到多个字节对，其中，一个所述字节对由两个相邻的字节编码组成；

50、获取所述多个字节对中每个所述字节对的出现频次；

51、判断所述出现频次是否大于预设频次阈值，若是，则基于所述出现频次确定所述字节对频次。

52、在一种可能的设计中，所述生成模块，具体用于：

53、对所述多个字节对中所述字节对频次最高的字节对进行合并处理，得到更新后的字节编码；

54、将所述更新后的字节编码添加至所述初始字节码表，完成一次初始码表更新操作；

55、重复所述初始码表更新操作至预设次数，生成所述字节码表。

56、第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

57、所述存储器存储计算机执行指令；

58、所述处理器执行所述存储器存储的计算机执行指令，以实现任一项所述的图像处理方法。

59、第四方面，本技术提供一计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现任一项所述的图像处理方法。

60、第五方面，本技术提供一种计算机程序产品，包括计算机程序，当所述计算机程序被运行时，使得计算机执行任一项所述的图像处理方法。

61、本技术提供的图像处理方法、装置、电子设备、存储介质及程序产品，通过对待处理图像进行编码处理，生成所述待处理图像的字节编码；根据预设编码顺序对所述字节编码进行序列化处理，确定编码序列；获取所述编码序列中两两字节编码的出现频次，得到字节对频次，其中，所述两两字节编码为两个相邻的字节编码；基于所述字节对频次，为所述待处理图像生成字节码表的技术手段，实现将图像转换为字节编码的同时，保留了图像空间位置的相关性的技术效果。