一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像散景处理方法、电子设备和存储介质与流程

2022-05-21 05:26:26 来源:中国专利 TAG:
1.本技术涉及终端
技术领域
:,具体涉及一种图像散景处理方法、电子设备和存储介质。
背景技术
::2.散景图像将焦点集中在对象上,同时使背景散焦,这使图像看起来清晰且在视觉上吸引人。现在大多数智能手机也具有散景图像捕获功能。3.手机正常拍摄照片后一般不会直接得到散景图像。一般需要先经过散景处理。散景处理过程一般要先识别图像的前景和背景,然后使被称为前景的图像的主体保持清晰的焦点,并使背景逐渐模糊。散景图像的质量取决于前景和背景之间的边缘图案的成功分割。然而,实际散景处理时经常很难正确地分割,这使得用户在获得满意的散景图像前往往要拍摄很多张照片,进行多次的散景处理,不利于手机存储空间的维护和电池续航。技术实现要素:4.鉴于此,本技术提供一种图像散景处理方法、电子设备和存储介质,可以解决用户需要多次拍摄照片并多次进行散景处理才能获得满意散景图像的问题。5.本技术的实施例提供的一种图像散景处理方法,包括:6.获取源图像的散景优良度,所述源图像为待散景处理的图像,所述散景优良度与基于所述源图像生成的散景图像的质量正相关;7.当所述散景优良度大于或等于所述预设阈值时,对所述源图像进行散景处理,获得散景图像。8.本技术的实施例还提供一种电子设备,包括存储器和处理器,所述存储器存储有程序,所述程序用于被所述处理器运行以执行上述任一项所述的图像散景处理方法。9.本技术的实施例还提供一种可读存储介质,所述可读存储介质中存储有程序,所述程序用于被处理器运行以执行如上述任一项所述的图像散景处理方法。10.本技术提供的图像散景处理方法、装置和存储介质,在基于源图像生成的散景图像之前,先对源图像的散景优良度进行评估,当散景优良度大于或等于预设阈值时,对源图像进行散景处理,获得散景图像。因为散景优良度与基于源图像生成的散景图像的质量正相关,当散景优良度大于或等于预设阈值,说明基于源图像生成的散景图像的质量满足一定要求(该要求通过预设阈值反应出来),才对源图像进行散景处理。这样可以避免对散景优良度不高的照片进行不必要的散景处理,节省拍摄时间,解决用户需要多次拍摄照片多次进行散景处理才能获得满意散景图像的问题,有助于节省设备的计算能力、存储空间并提高电池的续航能力。附图说明11.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。12.图1为实现本技术各个实施例的一种移动终端的硬件结构示意图;13.图2是本技术实施例提供的一种图像散景处理方法的流程图;14.图3是本技术实施例提供的散景优良度获取的流程图;15.图4是本技术实施例提供的另一种图像散景处理方法的流程图;16.图5是本实施例的作为源图像的彩色图像;17.图6是图5中前景、背景和边缘图案的示意图;18.图7是本技术实施例提供的电子设备的示意图;19.图8是本技术实施例提供的手机涉及图像散景处理的硬件结构示意图;20.图9是本技术实施例提供的另一种手机拍摄散景图像的流程图。具体实施方式21.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。22.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。23.应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一边缘图像也可以被称为第二边缘图像,类似地,第二边缘图像也可以被称为第一边缘图像。24.应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。25.应该理解的是,虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。26.需要说明的是,在本文中,采用了诸如s101、s102等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行s104后执行s101等,但这些均应在本技术的保护范围之内。27.在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明,其本身没有特定的意义。28.下面描述中的设备可以是需要图像散景处理的任何电子设备。一般地,上述描述中的设备可以是移动终端。移动终端可以以各种形式来实施。例如,本技术中描述的移动终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant,pda)、便捷式媒体播放器(portablemediaplayer,pmp)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字tv、台式计算机等固定终端。29.后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本技术的实施方式的构造也能够应用于固定类型的终端或者其它电子设备。30.请参阅图1,其为实现本技术各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:rf(radiofrequency,射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。31.下面结合图1对移动终端的各个部件进行具体的介绍:32.射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于gsm(globalsystemofmobilecommunication,全球移动通讯系统)、gprs(generalpacketradioservice,通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000,码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess,时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution,频分双工长期演进)和tdd-lte(timedivisionduplexing-longtermevolution,分时双工长期演进)等。33.wifi属于短距离无线传输技术,移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。34.音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。35.a/v输入单元104用于接收音频或视频信号。a/v输入单元104可以包括图形处理器(graphicsprocessingunit,gpu)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。36.移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别设备姿态的应用(比如手机横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。37.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。38.用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再发送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。39.进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。40.接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。41.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。42.处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。43.移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。44.尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。45.基于上述移动终端硬件结构,提出本技术各个实施例。46.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。还应当理解,此处所描述移动终端硬件结构仅仅用以帮助理解本技术,并不用于限定本技术。下述中的设备如智能手机、平板电脑和任何其他类似设备具有一个或多个摄像头传感器。可选地,所述设备可以具有深度传感器,例如深度摄像头。可选地,所述设备可以具有显示设备和处理器。47.本技术的实施例提供的一种图像散景处理方法,如图2所示,该方法包括:48.s1、获取源图像的散景优良度,所述源图像为待散景处理的图像,所述散景优良度与基于所述源图像生成的散景图像的质量正相关。49.所述源图像为待散景处理的图像,可以设备存储的已有图像,也可以是设备摄像头初步采集的图像。在一些实施例中,所述源图像包含待处理图像的颜色信息和深度信息。例如,所述源图像包括彩色图像和深度图像;再例如,所述源图像虽然包括一张彩色图像,但经过图像处理、信息提取等步骤可以获得其包含的颜色信息和深度信息。50.本步骤中,在对源图像进行散景处理前,先对基于源图像生成的散景图像的质量进行预先评估。该预先评估的结果通过散景优良度来表示。所述散景优良度与基于所述源图像生成的散景图像的质量正相关。如果所述散景优良度相对较高,则可以预见基于所述源图像生成的散景图像的质量较好,用户满意的概率较大;如果所述散景优良度相对较低,则可以预见基于所述源图像生成的散景图像的质量较差,用户不满意的概率较大。散景图像的质量即散景图像的优良度,一般包括前景是否清晰度、背景的虚化效果如何以及前景与背景是否成功分割等。51.可以理解的是,本领域技术人员可以根据散景处理的具体方法,选择影响散景处理后所生成的散景图像的质量或者说散景效果的一个或多个参数,或者该些参数的组合作为本步骤中的散景优良度。本技术对散景优良度包含的具体参数不做具体限定,所述散景优良度应能反映基于源图像生成的散景图像的质量(或者散景效果),一般选择影响散景处理效果的关键性的一个或多个参数。52.例如当源图像包含待处理图像的颜色信息和深度信息时,通常情况下,散景图像的质量取决于前景和背景之间边缘图案的成功分割,因此,所述深度图像的准确度以及,所述彩色图像中前景和背景之间的边缘图案与所述深度图像中前景和背景之间的边缘图案的重叠程度会较大程度上是影响散景处理效果的关键性参数,散景处理后所生成的散景图像的质量正相关。其中,所述深度图像的准确度指从深度图像获得的拍摄对象到摄像装置的距离(或深度)信息的可靠程度,一般用像素深度值的置信度来描述。所述彩色图像的边缘图案与所述深度图像的边缘图案的重叠程度,定义为使用不同方式或设备采集的边缘信息的一致性。所述彩色图像的边缘图案与所述深度图像的边缘图案的重叠程度可以反映源图像的聚焦情况。53.我们已经知道散景图像是将背景与前景适当地分离。这会在拍摄对象(即前景)和背景都很好地分开,且前景距离相机很近(自拍条件下)的非常理想情况下发生。54.本领域技术人员应当理解,深度图像中深度信息的准确度其与摄像头的距离有关,距离摄像头越远,对应采集的深度信息的准确度(即可靠性)越低。反之,深度图像的准确程度越高,表示拍摄对象越靠近相机。55.彩色图像中前景和背景之间的边缘图案,与深度图像中前景和背景之间的边缘图案的重叠程度(为描述方便简称为重叠程度)可以衡量聚焦情况。重叠程度越大,表示聚焦越良好,即图像中适当的细节没有发生移动或模糊掉。56.当度图像的准确程度越高,彩色图像中的边缘图案与深度图像中的边缘图案的重叠程度越大,则表示拍摄对象距离相机很近,且聚焦情况良好,相应地,基于源图像生成的散景图像的质量也较好。57.因此,在一些实施例中,所述散景优良度至少包括反应深度图像准确度的参数,以及反应彩色图像中前景和背景之间的边缘图案与所述深度图像中前景和背景之间的边缘图案的重叠程度的参数。58.图5所示为作为源图像的彩色图像。图6为前景和背景的分割示意图,其中,白色区域(对应人像区域)为前景,黑色区域为背景,前景和背景之间灰色区域(对应人像边缘)为前景与背景之间的边缘图案。59.s2、当散景优良度大于或等于预设阈值时,对源图像进行散景处理,获得散景图像。60.本步骤中的预设阈值可以根据实际应用的需要进行预先设定。所述预设阈值可以根据实际散景效果进行设置,例如预先通过试验确定。还可以参照用户的喜好设置,例如,可以向用户提供多张散景图像供用户挑选,所述多张散景图像具有不同的图像参数,再根据用户选择的结果提取用户对图像散景效果的偏好,并将该种偏好转化为图像参数,然后再在此基础上生成所述预设阈值。61.在一些实施例中,所述源图像可以包括彩色图像和深度图像。彩色图像例如可以通过彩色摄像头或类似设备获得。深度图像可以通过专业的深度测量传感器例如深度摄像头获得。深度测量传感器例如可以使用激光雷达深度成像法、结构光法、飞行时间法、双目立体视觉、单目图像深度估计算法等。62.在一些实施例中,所述源图像包括彩色图像的边界框区域和深度图像的边界框区域,如图3所示,所述获取源图像的散景优良度,包括:63.s11、提取彩色图像的边界框区域的边缘图案,并根据提取结果生成第一边缘图像;64.在所述彩色图像的边界框区域(boundingboxregion)提取边缘图案,提取结果以第一边缘图像的形式体现。彩色图像的边界框区域在此指彩色图像中包围称为前景的图像主体的最小区域,例如在图5中,该彩色图像的边界框区域为图中的虚线框。本步骤中在彩色图像的边界框区域提取边缘图案图案,即彩色图像中前景的轮廓线,记作第一边缘图像。本步骤提取第一边缘图像的方法,一般通过像素灰阶的比较与筛选。示例性的边缘图像提取方法包括例如微分算子法、拉普拉斯高斯算子法、canny算子、拟合法、松弛法、神经网络法、小波变换法、小波包分解法、形态学法(分形理论)等。65.s12、提取所述深度图像的边界框区域的边缘图案,并根据提取结果生成第二边缘图像;66.在所述深度图像的边界框区域提取边缘图案,提取结果以第二边缘图像的形式存在。所述深度图像的边界框区域,指所述深度图像中包围称为前景的图像主体的最小区域。本步骤中在深度图像的边界框区域提取边缘图案,记作第二边缘图像,即本步骤获取了深度图像中前景的边缘轮廓线。本步骤提取第一边缘图像的方法,一般包括像素深度值的比较与筛选。示例性地包括例如微分算子法、拉普拉斯高斯算子法、canny算子、拟合法、松弛法、神经网络法、小波变换法、小波包分解法、形态学法(分形理论)等。67.s13、筛选出在第一边缘图像和第二边缘图像中均表现为边缘的像素,根据筛选结果生成重叠边缘图像;68.本步骤中筛选出在第一边缘图像和第二边缘图像中均表现为边缘的像素,以去除第一、第二边缘图像中实际上不与图像主体的轮廓线对应的像素以及图像噪声。筛选结果以重叠边缘图像的形式存在。例如,可以对第一边缘图像和第二边缘图像按像素进行逻辑“与”运算,运算结果记作重叠边缘图像。这种计算方法将在下文提供的应用于手机的图像散景处理方法的实施例中进一步进行说明。69.s14、在深度图像的边界框区域中提取与重叠边缘图像的边缘对应的多个像素的深度值和该些深度值的置信度;70.本步骤在深度图像的边界框区域中筛选出与步骤s13得到的重叠边缘图像的边缘对应的多个像素,并获取其对应的深度信息和该些深度信息的置信度。置信度,又称置信水平,指被测量参数的测量值(如与重叠边缘图像的边缘对应的多个像素的深度值)的可信程度。71.示例性地,考虑到计算量以及响应速度,本步骤可以选择获取与图像主体的轮廓线对应的若干具有代表性的像素的深度信息和置信度。例如,可以沿图像主体的轮廓线等间距地选择若干具有代表性的像素,并获取这些具有代表性的像素的深度信息和该些深度信息的置信度。72.通过例如激光雷达深度成像法、结构光法、飞行时间法、双目立体视觉、单目图像深度估计算法等方法获取深度图像时,同时这些方法针对图像中的每个像素提供置信度值(或可靠性分数)。所述置信度值表示图像的每个像素的深度测量值的正确可靠性。通常,深度测量的误差随着拍摄场景与深度传感器的距离的增加而渐进地变化。置信度值信息可以直接由深度传感器提供,也可以通过内置的计算模块根据深度传感器的深度图像获取方法计算出来。置信度值一般介于0和1之间。73.在一些实施例中,深度图像中包括每个像素的深度信息,还包括每个像素深度信息的置信度信息。74.s15、计算所述多个像素的所述深度和所述置信度的加权平均值x;75.其中,可选地,所述计算置信度和边缘位置距离的加权平均值x为:[0076][0077]其中,ci为与所述重叠边缘图像中的边缘对应的第i个像素(xi,yi)的深度信息对应的置信度,di为第i个像素的深度,n为与所述重叠边缘图像对应的多个像素的数目,i和n均为自然数。(xi,yi)为第i个像素的坐标。[0078]s16、计算所述重叠边缘图像和所述第二边缘图像的像素数目比率y;[0079]s17、根据所述加权平均值x和所述像素数目比率y计算所述散景优良度g,所述散景优良度与所述加权平均值x、所述像素数目比率y成正比。[0080]本技术的所述像素数目比率y可以至少部分地代表所述彩色图像的边缘图案与所述深度图像的边缘图案的重叠程度。本技术的所述加权平均值x可以至少部分地代表所述深度图像的准确度。因此,可以通过所述加权平均值x和所述像素数目比率y衡量或者预测基于所述源图像生成的散景图像的质量。这样可以在对源图像进行散景效果处理之前提前获知散景图像的质量,解决了同一取景需要拍摄很多张照片才能获得满意的散景图像的问题,可提高设备用户友好度,还有利于手机存储空间的维护和电池续航。本技术的方案可以应用于图像处理或者电子设备的拍照过程中。[0081]在一些实施例中,所述散景优度g可以为所述加权平均值x与所述像素数目比率y的乘积,g=xy。在一些其它实施例中,所述加权平均值x与所述像素数目比率y还可以通过其它函数关系式得到所述散景优度g。本实施例对其它函数关系式不做限定。在给定所述散景优度g的取值范围情况下,也可以通过拟合给出其它函数关系式。[0082]在一些实施例中,所述散景优度g可以为所述加权平均值x与所述像素数目比率y的乘积,所述预设阈值为0.85~0.95。[0083]在一些实施例中,所述散景优度g可以为所述加权平均值x与所述像素数目比率y的乘积,其中,所述预设阈值为0.9。当所述散景优度g大于等于0.9时,基于所述源图像生成的散景图像的质量较高,散景效果较好。[0084]在一些实施例中,在所述彩色图像的边界框区域提取第一边缘图像之前,所述图像散景处理方法还包括:获取所述彩色图像的边界框区域;在所述深度图像的边界框区域提取第二边缘图像之前,所述图像散景处理方法还包括:获取所述深度图像的边界框区域。[0085]在一些实施例中,在所述获取源图像的散景优良度之前,所述图像散景处理方法还包括:获取所述彩色图像和所述深度图像;对所述彩色图像和所述深度图像进行视场匹配和像素对应匹配处理。[0086]本步骤中通过对彩色图像和深度图像进行视场匹配和像素对应匹配处理,校正畸变,视场匹配和像素对应匹配处理的具体方法并不影响本发明的实施效果,因此本技术对此不做限定。[0087]经过视场匹配和像素对应匹配处理的彩色图像和深度图像具有一一对应的像素对应关系,即彩色图像区域中的任何像素(x,y)将保存颜色信息,而对应到深度图像的相应像素将保存该像素的深度信息。[0088]在一些实施例中,如图4所示,所述图像散景处理方法,还包括:s3、当所述散景优良度小于所述预设阈值时,删除所述源图像,并发出提醒用户改变拍摄角度的信息。[0089]拍摄角度包括拍摄高度、拍摄方向和拍摄距离。拍摄高度分为平拍、俯拍和仰拍三种。拍摄方向分为正面角度、侧面角度、斜侧角度、背面角度等。用户的拍摄角度会影响源图像的光照分布以及深度分布等,也会影响最终基于所述源图像生成的散景图像的质量。当散景优良度小于所述预设阈值时,及时提示用户改变拍摄角度,直至所述散景优良度满足要求。提醒用户改变拍摄角度的信息可以在监视器或显示器上显示,也可以通过语音播报提醒。[0090]在一些实施例中,当所述散景优良度小于所述预设阈值时,所述图像散景处理方法还包括:[0091]检测设备是否改变了拍摄角度;[0092]当检测到设备改变了拍摄角度时,继续执行所述获取源图像的散景优良度的步骤。[0093]本步骤实时检测用户是否改变了拍摄角度,并当用户改变了拍摄角度时及时给予相应。例如,可以通过安装在设备上的传感器来实时检测设备是否改变了拍摄角度,例如,可以通过安装在设备上的位置传感器、速度传感器、陀螺仪传感器、光线传感器等测量设备的位置、倾斜程度等,来检测设备是否改变了拍摄角度。还可以通过检测新接收的源图像是否有变化来检测设备是否改变了拍摄角度。[0094]在一些实施例中,在评估所述源图像的散景优良度之后,所述图像散景处理方法还包括:将所述散景优良度提供给用户。例如,可以通过在监视器或显示器上显示所述散景优良度,也可以通过语音播报。[0095]本技术提供的图像散景处理方法,在基于所述源图像生成的散景图像之前,先对源图像的散景优良度进行评估,当所述散景优良度大于或等于预设阈值时,对所述源图像进行散景处理,获得散景图像。这样可以避免对散景优良度不高的照片进行不必要的散景处理,节省拍摄时间,解决用户需要多次拍摄照片并多次进行散景处理才能获得满意散景图像的问题,有助于节省设备的计算能力、存储空间并提高电池的续航能力。[0096]如图7所示,本技术的实施例还提供一种电子设备50,包括;[0097]获取单元51,用于获取源图像的散景优良度;[0098]散景处理单元52,用于当所述散景优良度大于或等于预设阈值时,对所述源图像进行散景处理,获得散景图像;所述散景优良度与基于所述源图像生成的散景图像的质量正相关。[0099]本技术的电子设备包括,但不限于,相机、手机、平板电脑、移动电脑、笔记本电脑、电子书播放器等,所述电子设备具有一个或多个附接的相机传感器。所述电子设备在对源图像进行散景处理前,通过散景优良度对基于源图像生成的散景图像的质量进行预测,只有源图像的散景优良度大于或等于预设阈值时才对所述源图像进行散景处理,否则将源图像删除,这样可以解决用户在捕获最终的满意的散景图像之前需要拍摄多张照片的问题。[0100]本技术的实施例还提供一种电子设备,包括存储器和处理器,所述存储器存储有程序,所述程序用于被所述处理器运行以执行上述实施例中任一项所述的图像散景处理方法。[0101]所述电子设备在对源图像进行散景处理前,通过散景优良度对基于源图像生成的散景图像的质量进行预测,只有源图像的散景优良度大于或等于预设阈值时才对所述源图像进行散景处理,否则将源图像删除,这样可以解决用户在捕获最终的满意的散景图像之前需要拍摄多张照片的问题。[0102]所述电子设备可以包括:彩色摄像头和深度摄像头,所述彩色摄像头用于获取彩色图像,所述深度摄像头用于获取深度图像,源图像包括至少部分的所述彩色图像和至少部分的所述深度图像。可选地,所述电子设备包括显示器。[0103]如果电子设备采用单目图像深度估计算法方法获取深度图像,则该电子设备也可以只有一个彩色摄像头或类似装置。[0104]在一些实施例中,本技术的电子设备可以为具有一个或多个附接的相机传感器、存储介质和显示器的手持设备,用于捕获散景图像。优选地,本技术的电子设备可以为具有一个或多个附接的相机传感器、深度测量传感器、存储介质和显示器的手持设备。[0105]本技术的实施例还提供一种可读存储介质,所述可读存储介质中存储有程序,所述程序用于被处理器运行以执行如上述任一项所述的图像散景处理方法。[0106]本技术的实施例还提供一种计算机程序,存储于可读存储介质中,所述计算机程序用于被处理器运行以执行如上述任一项所述的图像散景处理方法。[0107]下面以手机为例并且结合具体的实施例说明本技术的技术方案,本领域的技术人员将理解,本技术中描述的手机仅是实例,其他任何合适的电子设备均包括在本技术的范围内。本实施例的手机包括彩色摄像头和深度摄像头。[0108]图8是本技术实施例提供的手机涉及图像散景处理的硬件结构示意图。图9为本技术提供的一种手机的拍摄散景图像的流程图。[0109]通过彩色图像获取装置61获取彩色图像,通过深度图像获取装置62获取深度图像。然后,校准模块63对彩色图像和深度图像进行校准。校准模块63包括视场匹配模块631和像素校准模块632。校准过程是一个离线过程,该过程执行一次并存储为数学方程式。视场匹配模块631对彩色图像和深度图像进行视场匹配,像素校准模块632对彩色图像和深度图进行像素对应匹配后。经过视场匹配和像素对应匹配处理的彩色图像和深度图像具有一一对应的像素对应关系。转存模块64将经过匹配处理后的彩色图像和深度图像转存至缓存中,然后散景优良度检测模块65根据上文任一项提到的散景优良度测量方法预估的散景优良度并判断散景优良度是否大于或等于预设阈值。当散景优良度大于或等于预设阈值时,由散景处理模块66继续进行散景处理。抠图模块661识别彩色图像的前景和背景。抠图模块661的训练是离线完成的,并且将模型保存以供将来测试。然后模糊模块662使背景逐渐模糊,同时被称为前景的图像的主体保持清晰的焦点,然后输出模块67输出散景图像。当散景优良度小于预设阈值时,提醒用户改变相机的拍摄角度。拍摄角度检测模块68检测相机的拍摄角度是否改变。当检测到相机的拍摄角度已经改变时,指示彩色图像获取装置61和深度图像获取装置62重新获取彩色图像和深度图像,并继续进行视场匹配和像素对应匹配以及后续的散景优良度检测。[0110]另外,除处理图像以检测源图像(即上述的彩色图像和深度图像)的散景优良度;同时还可以在显示器上显示散景优良度,如果散景优良度大于或等于预设阈值,则将图像保存至存储器(非缓存),继续进行散景处理并输出。如果散景优良度小于所述预设阈值时,则从缓存中删除源图像,并提示用户改变拍摄角度。[0111]在一些实施例中,可以通过触控“拍照”或“散景拍摄”按键,触发将上述的将图像保存至存储器,并继续进行散景处理的后续步骤。[0112]在一些实施例中,可以通过触控“放弃”按键,触发删除源图像,即删除上面捕获的彩色图像和深度图像,并继续检测用户是否改变拍摄角度。[0113]在一些实施例中,如果散景优良度大于或等于预设阈值,则可以语音播报或者在用户的交互界面给出用于提醒用户选择触发“继续进行散景处理”按键的信息。例如,可以语音播报或者在显示器显示“散景效果优良,请继续散景拍摄”。如果散景优良度小于预设阈值,则语音播报或者在用户的交互界面给出用于提醒用户改变拍摄角度的信息,例如可以语音播报或者在显示器显示“散景效果不佳,请试试改变拍摄角度”。[0114]其中,散景优良度检测模块65可以通过以下步骤来计算或者获取散景优度,包括:[0115]步骤一、接收匹配的彩色图像的边界框区域和深度图像的边界框区域作为输入。[0116]实际上,输入的彩色图像的边界框区域和深度图像的边界框区域是两个尺寸相同的图像区域,彩色图像的边界框区域是从彩色图像裁剪而来,深度图像的边界框区域来自深度图像。这两个图像区域具有一一对应的像素对应关系,该种像素对应关系是通过校准模块离线建立的。其中,彩色图像的边界框区域中的像素将保存颜色信息,深度图像的边界框区域中的像素将保存对应的深度信息。[0117]步骤二、在深度图像的边界框区域中提取边缘信息,根据提取结果生成第一边缘图像。边缘图像是一种具有边缘信息的二值图像。[0118]步骤三、在彩色图像中的边界框区域提取边缘信息,根据提取结果生成第二边缘图像。[0119]步骤四、对步骤二和步骤三中获得的第一、第二边缘图像进行逻辑“与”运算,并将运算结果保存在重叠边缘图像。[0120]本步骤的逻辑“与”运算在第一、第二边缘图像中查找像素值为0或1(255)的像素,即选出在第一边缘图像和第二边缘图像中均表现为边缘的有效像素。具体查找0还是1(或255),取决于二值图像中使用的是那两个值以及边缘信息设置为所述两个值中的哪一个。[0121]重叠边缘图像中保存在第一边缘图像和第二边缘图像中均表现为边缘的像素的信息。重叠边缘图像也可以为二值图像。[0122]例如,如果第一边缘图像和第二边缘图像中边缘的像素值为1,其他像素的值为0。第一边缘图像和第二边缘图像中像素值为1的像素为有效像素。[0123]对第一边缘图像和第二边缘图像进行逻辑“与”运算,则是在第一边缘图像和第二边缘图像中查找像素值为1的像素。如果第一像素在第一边缘图像中的像素值为1,对应在第二边缘图像中的像素值也为1,则第一像素在第一、第二边缘图像中都表现为边缘,在重叠边缘图像中的对应像素保存这个第一像素的信息,例如将重叠边缘图像中的对应像素赋值为有效像素值1。如果第一像素在第一、第二边缘图像中的像素值有一个为零,则不满足在第一边缘图像和第二边缘图像中都表现为边缘的条件,第一像素的信息将不会保存或反映在重叠边缘图像中,例如可以将重叠边缘图像中的对应像素赋值为0。通过对第一边缘图像和第二边缘图像中的各像素进行类似的逻辑与运算,获得的重叠边缘图像。[0124]步骤五、提取深度图像中与步骤四中的重叠边缘图像中的边缘位置的各像素对应的深度值和置信度。其中的置信度由深度传感器给出,介于0和1之间。[0125]步骤六、计算边缘位置各像素的置信度和深度值的加权平均值x。[0126][0127]其中,ci为与所述重叠边缘图像的边缘位置对应的所述多个像素中第i个像素(xi,yi)的深度置信度,di为第i个像素的深度值,n为所述重叠边缘图像中所述多个像素的数目,i和n均为自然数。[0128]步骤七、计算重叠边缘图像和第二边缘图像中边缘像素的数目比率y。y=e/d。其中,e代表重叠边缘图像中边缘像素的数目,d表示第二边缘图像中边缘像素的数目。[0129]步骤八、散景优良度g是x和y的乘积。g=x×y。[0130]步骤九、预设阈值根据经验设置为0.9。如果g≥0.9,说明自拍散景效果将会很好,建议继续进行散景处理。对于g《0.9,说明自拍散景效果可能不太好,需要更改图像视点,建议用户改变拍摄角度。[0131]散景图像是将背景与前景适当地分离。如果源图像中背景与前景很容易地分开,且聚焦良好,基于源图像执行散景处理生成的散景图像优良,令人满意。[0132]需要x和y一起来判断散景优良度,单独的x或y将不能衡量散景优良度。考虑以下情况:[0133]第一种情况:y=0.9,x=0.3,此时散景优良度g=0.27。[0134]y的高值意味着在彩色图像中边缘信息显示得很好,但是x的低值表示被摄对象距离摄像头较远。在这种情况下,分离背景和前景非常困难,因为两者可能大致处于相同的距离。[0135]第二种情况:y=0.3,x=0.9,此时散景优良度g=0.27。[0136]在此,尽管拍摄对象相当接近(x值很高),但是由于缺少边缘细节(有些模糊),彩色图像可能拍摄得不好。因此这时对源图像执行散景处理,生成的散景图像不会是令人满意的结果。[0137]第三种情况x=0.99,y=0.99。此时散景优良度g=0.98。[0138]这表明拍摄对象离相机很近,并且图像聚焦良好且没有模糊,拍摄效果很好。[0139]x和y这两个值都较低的情况,散景优良度g更低。表示拍摄对象离相机很远,并且图像边缘模糊,这时对源图像执行散景处理,生成的散景图像也不好。[0140]本技术实施例提出了一种在实际处理图像之前确定散景图像的优良的方法,允许用户调整手机相机拍摄角度以获得更好的散景图像。该方法还可以应用于其它电子设备例如相机、摄像机、平板电脑等的拍照或摄像过程,该方法指导用户捕获良好的散景图像,从而节省计算能力,存储空间和电池。[0141]尽管已经相对于一个或多个实现方式示出并描述了本技术,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本技术包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本说明书的示范性实现方式中的功能的公开结构不等同。[0142]即,以上所述仅为本技术的实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,例如各实施例之间技术特征的相互结合,或直接或间接运用在其他相关的
技术领域
:,均同理包括在本技术的专利保护范围内。[0143]在本技术中,“示例性”“在一些实施例中”是用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”“在一些实施例中”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本技术,本技术给出了以上描述。在以上描述中,为了解释的目的而列出了各个细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本技术。在其它实施例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本技术的描述变得晦涩。因此,本技术并非旨在限于所示的实施例,而是与符合本技术所公开的原理和特征的最广范围相一致。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献