图像/视频编辑应用上的基于神经网络的图像着色的制作方法

技术特征：
1.一种方法，包括：在计算系统中：通过对输入图像的感兴趣区域roi选择性地应用颜色效果来获得参考彩色图像；控制显示设备在图像/视频编辑应用的图形用户界面gui上显示第一节点图，其中第一节点图包括表示第一工作流的着色节点，第一工作流用于对第一图像馈送的一个或多个灰度图像中的至少第一物体进行着色；基于第一用户输入选择所获得的参考彩色图像；以及执行与着色节点相关联的第一工作流，该执行包括：将所选择的参考彩色图像和第一图像馈送作为输入馈送到基于神经网络的着色模型；以及作为基于神经网络的着色模型针对所述输入的输出，接收包括一个或多个着色的图像的第二图像馈送，每个着色的图像包括基于roi上的颜色效果而着色的至少第一物体。2.根据权利要求1所述的方法，还包括：控制显示设备在图像/视频编辑应用的gui上显示第二节点图，其中第二节点图表示用于从输入图像获得参考彩色图像的第二工作流。3.根据权利要求2所述的方法，还包括执行第二工作流，该执行包括：从输入图像中选择roi；对所选择的roi应用图像过滤器的第一集合；以及基于图像过滤器的第一集合的应用，对输入图像的所选择的roi应用颜色效果以获得参考彩色图像。4.根据权利要求1所述的方法，其中着色节点与软件插件对应，该软件插件包括用于执行第一工作流的程序指令。5.根据权利要求1所述的方法，还包括：控制显示设备在图像/视频编辑应用的gui上显示着色节点的设置，其中该设置包括与基于神经网络的着色模型的集合对应的选项的集合；接收第二用户输入，第二用户输入包括对选项的集合中的第一选项的选择；以及基于第二用户输入，从基于神经网络的着色模型的集合当中选择基于神经网络的着色模型。6.根据权利要求1所述的方法，其中基于神经网络的着色模型将参考彩色图像的roi上的颜色效果传递给第一图像馈送的所述一个或多个灰度图像中的每一个灰度图像中的至少第一物体，以输出包括所述一个或多个着色的图像的第二图像馈送。7.根据权利要求1所述的方法，还包括控制显示设备在图像/视频编辑应用的gui上显示第二图像馈送。8.一种计算系统，包括：电路系统，被配置为：基于输入图像的感兴趣区域roi上的颜色效果的选择性应用来获得参考彩色图像；控制显示设备在图像/视频编辑应用的图形用户界面gui上显示第一节点图，其中第一节点图包括表示第一工作流的着色节点，第一工作流用于对第一图像馈送的一个或多个灰度图像中的至少第一物体进行着色；
基于第一用户输入选择所获得的参考彩色图像；以及通过以下操作执行与着色节点相关联的第一工作流：将所选择的参考彩色图像和第一图像馈送作为输入馈送到基于神经网络的着色模型；以及作为基于神经网络的着色模型针对所述输入的输出，接收包括一个或多个着色的图像的第二图像馈送，每个着色的图像包括基于roi上的颜色效果而着色的至少第一物体。9.根据权利要求8所述的计算系统，其中电路系统还被配置为控制显示设备在图像/视频编辑应用的gui上显示第二节点图，以及其中第二节点图表示用于从输入图像获得参考彩色图像的第二工作流。10.根据权利要求9所述的计算系统，其中电路系统还被配置为通过以下操作执行第二工作流：从输入图像中选择roi；对所选择的roi应用图像过滤器的第一集合；以及基于图像过滤器的第一集合的应用，对输入图像的所选择的roi应用颜色效果以获得参考彩色图像。11.根据权利要求8所述的计算系统，其中着色节点与软件插件对应，该软件插件包括用于执行第一工作流的程序指令。12.根据权利要求8所述的计算系统，其中电路系统还被配置为：控制显示设备在图像/视频编辑应用的gui上显示着色节点的设置，其中该设置包括与基于神经网络的着色模型的集合对应的选项的集合；接收第二用户输入，第二用户输入包括对选项的集合中的第一选项的选择；以及基于第二用户输入，从基于神经网络的着色模型的集合当中选择基于神经网络的着色模型。13.根据权利要求8所述的计算系统，其中基于神经网络的着色模型将参考彩色图像的roi上的颜色效果传递给第一图像馈送的所述一个或多个灰度图像中的每一个灰度图像中的至少第一物体，以输出包括所述一个或多个着色的图像的第二图像馈送。14.根据权利要求8所述的计算系统，其中电路系统还被配置为控制显示设备在图像/视频编辑应用的gui上显示第二图像馈送。15.一种在其上存储有计算机可执行指令的非暂态计算机可读介质，计算机可执行指令在被计算系统执行时使计算系统执行操作，所述操作包括：通过对输入图像的感兴趣区域roi选择性地应用颜色效果来获得参考彩色图像；控制显示设备在图像/视频编辑应用的图形用户界面gui上显示第一节点图，其中第一节点图包括表示第一工作流的着色节点，第一工作流用于对第一图像馈送的一个或多个灰度图像中的至少第一物体进行着色；基于第一用户输入选择所获得的参考彩色图像；以及执行与着色节点相关联的第一工作流，该执行包括：将所选择的参考彩色图像和第一图像馈送作为输入馈送到基于神经网络的着色模型；以及作为基于神经网络的着色模型针对所述输入的输出，接收包括一个或多个着色的图像
的第二图像馈送，每个着色的图像包括基于roi上的颜色效果而着色的至少第一物体。16.根据权利要求15所述的非暂态计算机可读介质，其中所述操作还包括控制显示设备在图像/视频编辑应用的gui上显示第二节点图，以及其中第二节点图表示用于从输入图像获得参考彩色图像的第二工作流。17.根据权利要求16所述的非暂态计算机可读介质，其中所述操作还包括执行第二工作流，该执行包括：从输入图像中选择roi；对所选择的roi应用图像过滤器的第一集合；以及基于图像过滤器的第一集合的应用，对输入图像的所选择的roi应用颜色效果以获得参考彩色图像。18.根据权利要求15所述的非暂态计算机可读介质，其中着色节点与软件插件对应，该软件插件包括用于执行第一工作流的程序指令。19.根据权利要求15所述的非暂态计算机可读介质，其中所述操作还包括：控制显示设备在图像/视频编辑应用的gui上显示着色节点的设置，其中该设置包括与基于神经网络的着色模型的集合对应的选项的集合；接收第二用户输入，第二用户输入包括对选项的集合中的第一选项的选择；以及基于第二用户输入，从基于神经网络的着色模型的集合当中选择基于神经网络的着色模型。20.根据权利要求15所述的非暂态计算机可读介质，其中基于神经网络的着色模型将参考彩色图像的roi上的颜色效果传递给第一图像馈送的所述一个或多个灰度图像中的每一个灰度图像中的至少第一物体，以输出包括所述一个或多个着色的图像的第二图像馈送。

技术总结
提供了用于基于神经网络的图像着色的计算系统和方法。计算系统通过输入图像的感兴趣区域上的颜色效果的选择性应用来获得参考彩色图像，并控制显示设备在图像/视频编辑应用程序的图形用户界面上显示第一节点图。第一节点图包括表示用于对第一图像馈送的灰度图像中的至少第一物体进行着色的第一工作流的着色节点。计算系统基于用户输入选择参考彩色图像，并通过将参考彩色图像和第一图像馈送作为输入馈送到基于神经网络的着色模型来执行与着色节点相关联的第一工作流。计算系统接收包括着色的图像的第二图像馈送作为基于神经网络的着色模型针对输入的输出。络的着色模型针对输入的输出。络的着色模型针对输入的输出。


技术研发人员：李钟和 M
受保护的技术使用者：索尼集团公司
技术研发日：2021.11.18
技术公布日：2022/12/2