图像处理方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、视频语音的发展使得距离问题不再成为人们沟通交流的难点，且视频语音的使用率与日俱增。但是，在通过视频语音进行交流时，视频参与者所处的环境也就暴露出来，为了保护参与者的个人隐私，将人物和背景进行分离后再对背景替换的功能需求开始增加。

2、在现有技术中，主要是通过边界分析等方法来分离出前景和背景，可以是参考简单的颜色、图像纹理和图形结构特征，来替换图像中的背景，具体的，使用轻量化的模型进行处理，得到掩膜图像，根据掩膜图像和背景，对图像进行背景替换。

3、然而，在现有技术的处理结果下，前景与背景的接壤区域存在毛刺现象，导致图像替换效果不佳。

技术实现思路

1、本技术提供一种图像处理方法、装置、电子设备及存储介质，以解决现有技术针对图像的替换效果不佳等问题。

2、第一方面，本技术实施例提供了一种图像处理方法，包括：

3、获取视频流中的连续的第一帧图像和第二帧图像，所述第二帧图像为所述第一帧图像的后一帧图像；

4、根据所述第一帧图像，确定所述第一帧图像对应的第一二值图像，所述第一二值图像为对所述第一帧图像经深度学习神经网络处理后的掩码图像的像素值进行二值分类得到的图像；

5、在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像；

6、根据所述第二二值图像、所述第二帧图像和待替换背景图像，确定目标图像，所述目标图像为显示有待替换背景的图像。

7、在第一方面一种可能的设计中，在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像之前，所述方法还包括：

8、在所述第一二值图像存在连通域时，获取第三帧图像对应的第三二值图像，所述第三帧图像为与所述第一帧图像连续的前一帧图像；

9、基于所述第三二值图像，比对所述第一二值图像，确定是否存在其他连通域；

10、若存在其他连通域，且所述其他连通域的面积小于第二预设阈值，对所述其他连通域进行像素置零处理。

11、在第一方面另一种可能的设计中，在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像之前，所述方法还包括：

12、获取第一轮廓边缘的第一曲率与第二轮廓边缘的第二曲率，所述第一轮廓边缘和所述第二轮廓边缘为所述至少一对相邻轮廓边缘中的两个轮廓边缘；

13、根据所述第一曲率与所述第二曲率，确定所述第一二值图像中的至少一对相邻轮廓边缘的曲率变化值。

14、可选的，所述第一曲率为所述第一轮廓边缘的切线转角与所述第一轮廓边缘的弧长的比值，所述第二曲率为所述第二轮廓边缘的切线转角与所述第二轮廓边缘的弧长的比值。

15、在第一方面再一种可能的设计中，所述根据所述第一帧图像，确定所述第一帧图像对应的第一二值图像，包括：

16、对所述第一帧图像进行深度学习神经网络分割处理，得到所述第一帧图像的掩膜图像；

17、对所述掩膜图像进行二值分类处理，得到所述第一二值图像。

18、在第一方面还一种可能的设计中，所述对所述掩膜图像进行二值分类处理，得到所述第一二值图像，包括：

19、将所述掩膜图像中像素值小于第三预设阈值的区域进行像素置零处理，并将所述掩膜图像中像素值大于或等于所述第三预设阈值的区域进行像素填充处理，得到所述第一二值图像。

20、在第一方面又一种可能的设计中，所述根据所述第二二值图像、所述第二帧图像和待替换背景图像，确定目标图像，包括：

21、采用公式：iout＝(1-imask/255)*ibackimg+imask*ioriimg，计算得到所述目标图像iout；

22、其中，imask为所述第二二值图像，ibackimg为所述待替换背景图像，所述ioriimg为所述第二帧图像。

23、第二方面，本技术实施例提供了一种图像处理装置，包括：

24、获取模块，用于获取视频流中的连续的第一帧图像和第二帧图像，所述第二帧图像为所述第一帧图像的后一帧图像；

25、确定模块，用于根据所述第一帧图像，确定所述第一帧图像对应的第一二值图像，所述第一二值图像为对所述第一帧图像经深度学习神经网路得到的掩码图像的像素值进行二值分类得到的图像；

26、处理模块，用于在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像；

27、所述确定模块，还用于根据所述第二二值图像、所述第二帧图像和待替换背景图像，确定目标图像，所述目标图像为显示有待替换背景的图像。

28、在第二方面一种可能的设计中，在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像之前，所述处理模块，还用于：

29、在所述第一二值图像存在连通域时，获取第三帧图像对应的第三二值图像，所述第三帧图像为与所述第一帧图像连续的前一帧图像；

30、基于所述第三二值图像，比对所述第一二值图像，确定是否存在其他连通域；

31、若存在其他连通域，且所述其他连通域的面积小于第二预设阈值，对所述其他连通域进行像素置零处理。

32、在第二方面另一种可能的设计中，在所述第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且所述至少一对相邻轮廓边缘不位于人像区域时，对所述至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像之前，所述处理模块，还用于：

33、获取第一轮廓边缘的第一曲率与第二轮廓边缘的第二曲率，所述第一轮廓边缘和所述第二轮廓边缘为所述至少一对相邻轮廓边缘中的两个轮廓边缘；

34、根据所述第一曲率与所述第二曲率，确定所述第一二值图像中的至少一对相邻轮廓边缘的曲率变化值。

35、可选的，所述第一曲率为所述第一轮廓边缘的切线转角与所述第一轮廓边缘的弧长的比值，所述第二曲率为所述第二轮廓边缘的切线转角与所述第二轮廓边缘的弧长的比值。

36、在第二方面再一种可能的设计中，所述确定模块根据所述第一帧图像，确定所述第一帧图像对应的第一二值图像，具体用于：

37、对所述第一帧图像进行深度学习神经网络分割处理，得到所述第一帧图像的掩膜图像；

38、对所述掩膜图像进行二值分类处理，得到所述第一二值图像。

39、在第二方面还一种可能的设计中，所述确定模块对所述掩膜图像进行二值分类处理，得到所述第一二值图像，具体用于：

40、将所述掩膜图像中像素值小于第三预设阈值的区域进行像素置零处理，并将所述掩膜图像中像素值大于或等于所述第三预设阈值的区域进行像素填充处理，得到所述第一二值图像。

41、在第二方面又一种可能的设计中，所述根据所述第二二值图像、所述第二帧图像和待替换背景图像，确定目标图像，包括：

42、采用公式：iout＝(1-imask/255)*ibackimg+imask*ioriimg，计算得到所述目标图像iout；

43、其中，imask为所述第二二值图像，ibackimg为所述待替换背景图像，所述ioriimg为所述第二帧图像。

44、第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器和收发器；

45、所述存储器存储计算机执行指令；所述收发器，用于收发数据；

46、所述处理器执行所述存储器存储的计算机执行指令，以实现如上述第一方面或任一种方式所述的图像处理方法。

47、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述第一方面或任一种方式所述的图像处理方法。

48、本技术提供的图像处理方法、装置、电子设备及存储介质，该方法通过获取视频流中的连续的第一帧图像和第二帧图像，第二帧图像为第一帧图像的后一帧图像；根据第一帧图像，确定第一帧图像对应的第一二值图像，该第一二值图像为对所述第一帧图像经深度学习神经网络模型计算后得到的掩码图像的像素值进行二值分类得到的图像；在第一二值图像的至少一对相邻轮廓边缘的曲率变化值大于第一预设阈值，且至少一对相邻轮廓边缘不位于人像区域时，对至少一对相邻轮廓边缘进行像素填充处理，得到第二二值图像；根据第二二值图像、第二帧图像和待替换背景图像，确定目标图像，目标图像为显示有待替换背景的图像。该技术方案从相邻轮廓边缘的曲率变化值的大小进行判断，对存在毛刺现象的区域进行修缮，以平滑毛刺，提高图像替换效果，并且直接对下一帧图像进行替换，以确保视频流处理的时效性。