一种图像处理方法和电子设备与流程

本技术涉及图像处理，尤其涉及一种图像处理方法和电子设备。

背景技术：

1、设置有折叠屏的可折叠设备可以提供协同预览功能。在该协同预览功能触发后，预览图像可以同时在内屏(如折叠屏)以及外屏上进行显示。

2、在目前的方案实现中，该协同预览功能可能存在丢帧卡顿，甚至黑屏的问题。

3、例如，由于拍摄环境一般较为复杂，导致提供送显的原始图像出帧不均匀。这也就会使得在根据原始图像进行送显图像的处理时，出现一些原始图像被丢弃的情况。这也就导致了丢帧。又如，由于两路预览流中的图像数据共享，那么在主屏已经消费一个原始图像进行送显后，副屏就无法再次使用该原始图像进行处理。这也就会使得外屏出现丢帧甚至黑屏的问题。

4、那么，为了使得可折叠设备能够顺利地提供协同预览功能，就需要解决上述问题。

技术实现思路

1、本技术实施例提供一种图像处理方法和电子设备，能够根据与下一个出帧时间对应的期望绘制时间，灵活调整各个原始图像的时间戳，使得任意两个出帧时间之间仅包括一个原始图像。由此避免丢帧以及由此导致的卡顿等问题。进一步的，在该方案应用于可折叠设备时，在触发协同预览后，可以在surfaceview上进行主屏送显图像的绘制，在textureview上进行副屏送显图像的绘制。从而避免所有送显图像都在surfaceview上绘制时，由于图像数据已经被消费，导致的副屏的送显图像无法正常绘制，进而使得副屏黑屏的问题。

2、为了达到上述目的，本技术实施例采用如下技术方案：

3、第一方面，提供一种图像处理方法，该方法应用于电子设备中，该电子设备设置有第一显示屏和第二显示屏，该电子设备中还包括至少一个摄像模组。该电子设备中安装有相机应用。该电子设备中还设置有至少两个视图单元，该视图单元用于绘制送显图像。该方法包括：该相机应用运行后，该电子设备通过第一摄像模组采集获取多个原始图像形成第一预览流，该第一摄像模组包括在该至少一个摄像模组中。该多个原始图像包括第一原始图像以及第二原始图像。该电子设备根据期望绘制时间，为该第一预览流中的第一原始图像以及该第二原始图像分别配置时间戳，该时间戳用于标示不同原始图像的获取时间顺序。该电子设备根据该第一预览流获取第二预览流以及第三预览流，该第二预览流与该第一显示屏对应，该第三预览流与该第二显示屏对应。该第二预览流以及该第三预览流均包括携带有时间戳的第一原始图像以及第二原始图像。该电子设备根据该第二预览流，基于第一视图单元，绘制获取该第一显示屏的送显图像，该第一视图单元包括在该至少两个视图单元中。该电子设备根据该第三预览流，基于第二视图单元，绘制获取该第二显示屏的第二送显图像，该第一视图单元包括在该至少两个视图单元中。

4、基于该方案，在分别为两个显示屏提供送显图像的处理机制中，可以根据期望绘制时间，灵活调整各个原始图像的时间戳。由此使得相邻两个帧显示时间之间，仅包括一个可用的原始图像。其中，该可用的原始图像的时间戳落在相邻两个帧显示时间的时间范围内。这样，在获取原始图像时，就不会出现原始图像的丢弃问题，也就避免了丢帧问题。此外，通过在不同的视图单元上进行绘制，避免了同一个数据被消费后无法再次校验的问题，进而解决了由此导致的副屏送显图像无法正常绘制的问题。

5、可选的，该第一原始图像的出帧时间早于该第二原始图像的出帧时间。原始图像的出帧时间用于标示该原始图像的获取时间。该第一原始图像的出帧时间早于该期望绘制时间，该第二原始图像的出帧时间晚于该期望绘制时间。该电子设备根据期望绘制时间，为该第一预览流中的第一原始图像以及该第二原始图像分别配置时间戳，包括：该电子设备为该第一原始图像配置第一时间戳，该第一时间戳在该期望绘制时间之前。该电子设备为该第二原始图像配置第二时间戳，该第二时间戳在该期望绘制时间之后。这样，即使第二原始图像的出帧时间在下一次帧显示时间(即期望绘制时间)之前，也可以灵活地将该第二原始图像的时间戳调整到期望绘制时间之后，使得在上一次帧显示时间(已完成送显的帧显示时间)以及将要送显的下一次帧显示时间之间，仅包括一个可用的第一原始图像。由此避免了原始图像的丢弃。

6、可选的，该第一视图单元为表面视图surfaceview。该第二视图单元为纹理视图textureview。

7、可选的，该第一显示屏的显示面积大于该第二显示屏的显示面积。

8、这样，surfaceview可以与第一显示屏(如主屏)对应，textureview可以与第二显示屏(如副屏)对应。由此通过surfaceview为主屏提供高质量的送显图像，通过textureview向副屏提供快速高效送显图像绘制效果。

9、可选的，在该电子设备通过第一摄像模组采集获取多个原始图像形成第一预览流之前，该方法还包括：接收用户的第一操作，该第一操作用于指示电子设备运行该相机应用。响应于该第一操作，该电子设备运行该相机应用。

10、可选的，在该电子设备根据该第一预览流获取第二预览流以及第三预览流之前，该方法还包括：接收用户的第二操作，该第二操作用于指示该电子设备开始协同预览。

11、可选的，该电子设备中还包括相机服务，以及surfaceflinger服务。该电子设备根据期望绘制时间，为该第一预览流中的第一原始图像以及该第二原始图像分别配置时间戳，包括：该相机服务从该surfaceflinger服务获取该期望绘制时间。该相机服务获取该第一预览流，并根据该期望绘制时间，为该第一原始图像以及该第二原始图像分别配置时间戳。

12、可选的，该电子设备根据该第一预览流获取第二预览流以及第三预览流，包括：该相机服务根据携带有时间戳的第一原始图像，以及携带有时间戳的第二原始图像，生成该第二预览流以及第三预览流。可以理解的是，在第二预览流以及第三预览流中包括的原始图像的信息可以相同。由此保证两个显示屏的同步显示。

13、可选的，在该电子设备绘制获取该第一显示屏的送显图像之前，该方法还包括：该相机服务向该第一视图单元和该第二视图单元发送可用指示，该可用指示用于标示该第二预览流以及该第三预览流对应的送显队列可用。

14、可选的，方法还包括：响应于该可用指示，该surfaceflinger服务从该第二预览流对应的送显队列中，选取第一原始图像，该第一原始图像的时间戳在下一个帧显示时间之前，该surfaceflinger服务根据该第一原始图像，在该第一视图单元上绘制获取该送显图像。这样，即可实现基于surfaceview的主屏送显图像的绘制。

15、可选的，方法还包括：响应于该可用指示，该surfaceflinger服务从该第三预览流对应的送显队列中，选取第一原始图像，该第一原始图像的时间戳在下一个帧显示时间之前，该surfaceflinger服务根据该第一原始图像，在该第二视图单元上绘制获取该第二送显图像。这样，即可实现基于textureview的副屏送显图像的绘制。

16、第二方面，提供一种电子设备。该电子设备中可以包括处理器以及存储器。在一些实现中，该电子设备可以为设置有折叠屏的可折叠设备。那么该电子设备可以设置有折叠屏(主屏)以及外侧的副屏。在存储器中可以存储有计算机程序，处理器可以调用该计算机程序，用于执行如第一方面及其任一种可能的设计中提供的方案。

17、第三方面，提供一种芯片系统。该芯片系统可以设置在电子设备(如可折叠设备)中。芯片系统包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，芯片系统支持电子设备执行如上述第一方面以及各种可能的设计中任一种提供的技术方案。

18、第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机指令，当计算机指令运行时，使得电子设备执行如上述第一方面以及各种可能的设计中任一种提供的技术方案。

19、第五方面，提供一种计算机程序产品，计算机程序产品中包括指令，当计算机程序产品在电子设备上运行时，使得电子设备执行如上述第一方面以及各种可能的设计中任一种提供的技术方案。

20、应当理解的是，上述第二方面至第五方面提供的技术方案，其技术特征均可对应到第一方面及其可能的设计中提供的方法，因此能够达到的有益效果类似，此处不再赘述。