电子设备及其控制方法与流程

1.本公开涉及电子设备及其控制方法。更具体地，本公开涉及能够提供与图像相对应的功能的电子设备。


背景技术：

2.随着诸如智能手机、平板个人计算机、便携式多媒体播放器、个人数字助理、膝上型个人计算机和可穿戴设备等各种电子设备的广泛使用，对使用电子设备查看或编辑图像的技术的兴趣日益增长。
3.用户可以通过应用图像校正功能(例如校正肖像或插入文本)来生成期望的运动图像或静止图像。
4.上述信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何内容是否可以作为现有技术应用于本公开，还没有做出确定，也没有做出断言。


技术实现要素：

5.技术问题
6.当使用电子设备校正运动图像或静止图像时，用户可能会因为必须找到并确定适合于该图像的图像校正功能而感到不便。
7.问题的解决方案
8.根据本公开的一个方面，提供了一种电子设备。所述电子设备包括显示器、至少一个处理器和至少一个存储器，所述至少一个存储器被配置为存储指令，所述指令使得所述至少一个处理器：从包括在第一运动图像中的第一静止图像帧获得第一信息；从所述第一运动图像获得第二信息；基于所述第一信息或所述第二信息中的至少一个来识别至少一个图像功能；以及控制所述显示器显示用于执行所述至少一个图像功能的至少一个功能执行对象。
9.根据本公开的另一方面，提供了一种用于电子设备的控制方法。所述控制方法包括从包括：从包括在第一运动图像中的第一静止图像帧获得第一信息；从所述第一运动图像获得第二信息；基于所述第一信息或所述第二信息中的至少一个来识别至少一个图像功能；以及显示用于执行所述至少一个图像功能的至少一个功能执行对象。
10.本发明的有益效果
11.本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一个方面是提供一种能够提供与显示图像相对应的图像校正功能的电子设备。
12.附加的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。
13.根据本公开的各种实施例，电子设备可以识别适合于显示器上显示的静止图像的图像校正功能，并提供用于执行校正功能的对象。
14.根据本公开的各种实施例，当暂停运动图像的播放时，电子设备可以识别适合于显示器上显示的静止图像的图像校正功能，并提供用于执行校正功能的对象。
15.根据本公开的各种实施例，电子设备可以识别适合于显示器上显示的静止图像的图像校正功能，并提供用于与服务器协作执行校正功能的对象。
16.从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员来说将变得显而易见。
附图说明
17.从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
18.图1是示出根据本公开的实施例的电子设备显示功能执行对象的情况的画面显示；
19.图2是根据本公开的实施例的电子设备和服务器的示意框图；
20.图3是示出根据本公开的实施例的电子设备基于对象识别结果显示功能执行对象的情况的画面显示；
21.图4是示出根据本公开的实施例的电子设备基于静止图像中包括的对象的运动识别结果显示功能执行对象的情况的画面显示；
22.图5是示出根据本公开的实施例的电子设备基于静止图像中包括的对象的运动识别结果显示功能执行对象的另一种情况的画面显示；
23.图6是示出根据本公开的实施例的电子设备基于识别静止图像中的自然景观的结果显示功能执行对象的情况的画面显示；
24.图7是示出根据本公开的实施例的电子设备显示快捷功能执行对象的情况的画面显示；
25.图8是根据本公开的实施例的电子设备显示功能执行对象的过程的流程图；
26.图9是根据本公开的实施例的电子设备协同服务器显示功能执行对象的过程的时序图；
27.图10是根据本公开的实施例的网络环境中的电子设备的框图；以及
28.图11是根据实施例的显示设备的框图。
29.在所有附图中，应当注意，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
30.参考附图的以下描述被提供来帮助全面理解由权利要求及其等同物定义的本公开的各种实施例。其包括有助于理解的各种具体细节，但是这些仅仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和结构的描述。
31.在以下描述和权利要求中使用的术语和词语不限于书目意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说，很明显，提供
本公开的各种实施例的以下描述仅仅是为了说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。
32.应当理解，单数形式“一”、“一个”和“该”包括复数指代物，除非上下文另有明确规定。因此，例如，提及“组件表面”包括提及一个或更多个这样的表面。
33.在本公开中，诸如“包括”、“具有”、“可包括”或“可具有”的术语表示存在所陈述的元件、组件、操作、功能、特征等，但不排除存在或可能添加一个或更多个其他元件、组件、操作、功能、特征等。
34.在本公开中，表述“a或b”、“a和/或b中的至少一个”或“a和/或b中的一个或更多个”旨在包括列举项目的任何可能组合。例如，表达“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以表示以下所有情况：(1)包括至少一个a的情况；(2)包括至少一个b的情况；或(3)包括至少一个a和至少一个b的情况。
35.在本公开中，诸如“第1”或“第一”、“第2”或“第二”等表达可以表示各种元件，而不管其顺序和/或重要性，并且仅用于将一个元件与其他元件区分开。例如，第一用户设备和第二用户设备可以表示不同的用户设备，而不管其顺序或重要性。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，类似地，第二元件也可以被称为第一元件。
36.当提到某个(即，第一)元件与另一个(即，第二)元件“(可操作地或通信地)耦接/耦接至”或“连接至”另一个(即，第二)元件时，应当理解，第一元件直接或经由任何其他(即，第三)元件耦接或连接至第二元件。另一方面，当提到某个(即，第一)元件与另一个(即，第二)元件“直接耦接/耦接至”或“直接连接至”另一个(即，第二)元件时，任何其他(即，第三)元件不存在于某个元件于另一个元件之间。
37.在本公开中，表达“被配置为～”可以与其它表达“适合于～”、“具有能力～”、“被设计为～”、“适应于～”、“被制造为～”或“能够～”互换使用。在硬件中，“被配置为(或被设置为)～”可能不一定意味着“专门设计为～”。相反，在某些情况下，表达设备“配置为～”可能意味着该设备与其他设备或组件“能够～”。例如，“被配置(或设置为)执行a、b和c的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或通过执行存储在存储设备中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(cpu)或应用处理器(ap))。
38.本公开中使用的术语仅用于描述某些实施例，并不旨在限制其他实施例的范围。单数表达可以包括复数表达，除非上下文另有明确规定。这里使用的术语，包括技术术语或科学术语，可以具有与本领域普通技术人员通常理解的含义相同的含义。在这里使用的术语中，在通用词典中定义的术语可以被解释为具有与相关技术的上下文含义相同或相似的含义，并且除非在这里明确定义，否则不能被解释为理想的或过度正式的含义。在一些情况下，术语，即使在此定义，也不被解释为排除本公开的实施例。
39.根据本公开的各种实施例，电子设备可以包括智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器、医疗设备、相机或可穿戴设备中的至少一种。可穿戴设备可以包括附件型设备(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜和头戴式设备(hmd)、纺织品或衣服集成设备(例如，电子衣服)、身体附着设备(例如，皮肤垫和纹身)或生物可植入电路中的至
少一种。
40.在特定实施例中，电子设备可以是家用电器，包括电视(tv)、数字视频盘(dvd)播放器、音频播放器、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，三星homesync
tm
、苹果tv
tm
或谷歌tv
tm
)、游戏控制台(例如，xbox
tm
、playstation
tm
)、电子词典、电子钥匙、摄像机或电子相框中的至少一种。
41.现在，将参考附图详细描述根据各种实施例的电子设备。在本公开中，术语“用户”可以表示使用电子设备或使用该电子设备的设备(例如，人工智能电子设备)的人。
42.图1是示出根据本公开的实施例的电子设备显示功能执行对象的情况的画面显示。
43.参考图1，部分1-a示出了电子设备10可以在显示器11上再现运动图像100。
44.在一个实施例中，电子设备10可以通过使用先前存储在电子设备10的存储器中的运动图像文件来再现运动图像100。或者，电子设备10可以从连接的服务器接收流形式的运动图像文件，并再现运动图像100。
45.在一个实施例中，电子设备10可以在显示器11上显示控制播放的各种对象(即，图标)。例如，电子设备10可以在显示器11上显示进度条31、播放停止对象33、后退对象35或前进对象37，进度条31指示完整播放时间(例如，滑块)和当前播放点(例如，设置在滑块上的光标)。当电子设备10播放运动图像时，可以显示播放停止对象33，并且当播放暂停或停止时，可以显示播放开始对象39。
46.在一个实施例中，电子设备10可以响应于用于选择播放停止对象33的外部输入(例如，用户输入)来暂停运动图像100的播放。在这种情况下，电子设备10可以暂停运动图像100的播放，同时显示在接收到用于选择播放停止对象33的外部输入时在显示器11上输出的静止图像帧110。
47.参考图1的部分1-b，电子设备10可以响应于用于选择播放停止对象33的用户输入，暂停运动图像100的播放，并且在显示器11上显示静止图像帧110。当暂停运动图像100的播放时，电子设备10可以在显示器11上显示播放开始对象39来代替播放停止对象33。
48.在一个实施例中，当运动图像的播放停止时，电子设备10可以获得第一信息或第二信息。然而，电子设备10获得第一信息或第二信息的情况不限于此。
49.在一个实施例中，电子设备10可以从显示器11上显示的静止图像帧110获得第一信息。第一信息可以包括例如显示器11上输出的静止图像帧的场景识别结果。场景识别结果可以包括例如识别包括在静止图像帧中的人的人类识别结果、识别包括在静止图像帧中的形状的物体识别结果、或者识别包括在静止图像帧中的地理区域的地点识别结果。
50.第一信息还可以包括例如显示器11上输出的静止图像帧的拍摄时间，或者显示器11上输出的静止图像帧与显示器11上输出的静止图像帧之前的至少一个静止图像帧或者显示器11上输出的静止图像帧之后的至少一个静止图像帧之间的比较结果。比较结果可以指示例如在静止图像帧中检测到的人或物体的运动。然而，第一信息不限于此。
51.在一个实施例中，电子设备10可以从运动图像100获得第二信息。第二信息可以包括例如关于运动图像100的拍摄时间(例如，拍摄开始时间、拍摄结束时间)、拍摄位置、播放持续时间、拍摄格式、文件名、分辨率或帧速率的信息。然而，第二信息不限于此。
52.在一个实施例中，电子设备10可以通过使用第一信息或第二信息中的至少一个来
识别至少一个图像相关功能。电子设备10可以在显示器11上显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
53.例如，作为静止图像帧110的场景识别的结果，电子设备10可以识别人a。电子设备10可以在显示器11上显示用于执行图像校正功能以校正人a的面部的图像校正执行对象(人像校正执行对象(例如，美颜))51。电子设备10还可以在显示器11上显示图像生成执行对象(例如，自动剪辑)53，图像生成执行对象53可以通过从包括在运动图像100中的静止图像帧中提取人a存在的静止图像帧来生成新的运动图像。
54.在一个实施例中，电子设备10可以响应于用于选择功能执行对象的用户输入来执行相应的功能。参考图1的部分1-c，响应于用于选择人像校正执行对象(例如，美颜)51的用户输入，电子设备10可以在显示器11上显示用于详细调整人像校正的调整对象(或图标)。
55.例如，电子设备10可以在显示器11上显示校正水平设置条(例如，强度)61、眼睛校正对象(例如，大眼)63、面部校正对象(例如，瘦脸)65和肤色校正对象(例如，肤色)67。用户可以通过使用用于人像校正的调整对象61、63、65和67来容易地校正显示器11上输出的包括人a的静止图像帧110。
56.在各种实施例中，响应于用于选择人像校正执行对象(例如，美颜)51的用户输入，电子设备10可以直接将人像校正效果应用于静止图像帧110，而不显示用于详细调整人像校正的调整对象。例如，电子设备10可以显示对人a应用了肤色校正效果的图像。
57.在各种实施例中，电子设备10可以响应于用于选择人像校正执行对象(例如，美颜)51的用户输入，将人像校正效果应用于运动图像100。例如，电子设备10可以在包括在运动图像100中的静止图像帧中识别人a存在的静止图像帧。电子设备10可以识别其中人a存在而运动图像100未被播放的静止图像帧。或者，电子设备10可以识别其中正在播放运动图像100时人a存在的静止图像帧。电子设备10可以播放运动图像100，同时将人像校正效果应用于人a出现的每个静止图像帧中包括的人a的面部。
58.如上所述，根据本公开的实施例的电子设备10可以向用户提供功能执行对象，该功能执行对象可以基于人类识别结果对出现在静止图像帧中的人应用校正效果。
59.图2是根据本公开的实施例的电子设备和服务器的示意框图。
60.参考图2的部分2-a，电子设备10可以包括处理器210、显示器220和存储器230。然而，电子设备10不限于此。电子设备10可以进一步包括组件或者可以不包括组件之一。例如，电子设备10可以进一步包括通信电路240，以建立与服务器20的通信。
61.在一个实施例中，存储器230可以存储用于控制电子设备10的各种操作系统(os)、支持用户功能的各种软件程序(或应用)以及用于操作电子设备10的数据和指令。这些程序中的至少一些可以通过无线或有线通信从外部服务器下载。存储器230可以使用非易失性存储器、易失性存储器、闪存、硬盘驱动器或固态驱动器(ssd)来实现。存储器230由处理器210访问，并且其数据可以由处理器210的操作来处理，例如读、写、修改、删除和更新。
62.在一个实施例中，存储器230可以存储指令，该指令被配置为从包括在运动图像中的静止图像帧获得第一信息，从运动图像获得第二信息，通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能，以及显示用于执行所识别的图像相关功能的至少一个功能执行对象。
63.在一个实施例中，显示器220可以在处理器210的控制下显示各种内容。图2的显示
器220可以包括图1的显示器11。显示器220可以显示图像(例如，运动图像或静止图像)、文本和/或应用的执行画面。当显示器220被实现为触摸屏显示器时，除了输出设备之外，显示器220还可以用作输入设备。
64.在一个实施例中，处理器210可以控制上述电子设备10的组件。例如，处理器210可以使用存储在存储器230中的多个应用来获得图像的特征或修改(或校正)图像。
65.在一个实施例中，处理器210可以将存储在存储器230中的程序复制到随机存取存储器(ram)以执行各种操作。尽管处理器210被描述为仅包括一个cpu，但是处理器210可以使用多个cpu、数字信号处理器(dsp)或片上系统(soc)来实现。
66.处理器210可以使用处理数字信号的dsp、微处理器或定时控制器(tcon)来实现。处理器210可以包括但不限于cpu、微控制器单元(mcu)、微处理单元(mcu)、控制器、ap、通信处理器(cp)或高级精简指令集(risc)机器(arm)处理器或其组合。处理器210也可以使用嵌入了处理算法的soc或大规模集成电路(lsi)芯片来实现，或者可以使用现场可编程门阵列(fpga)来实现。
67.在一个实施例中，处理器210可以被配置为从包括在运动图像中的静止图像帧获得第一信息，从运动图像获得第二信息，通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能，以及显示用于执行所识别的图像相关功能的至少一个功能执行对象。
68.参考图2的部分2-b，服务器20可以包括数据获取器250、数据处理器260和数据输出器270。
69.在一个实施例中，数据获取器250可以从外部设备接收运动图像或运动图像中包括的静止图像帧。
70.在一个实施例中，数据处理器260可以从运动图像的静止图像帧获得第一信息。数据处理器260可以从运动图像获得第二信息。数据处理器260可以通过使用第一信息或第二信息中的至少一个来识别图像相关功能。
71.在一个实施例中，数据输出器270可以向外部设备发送关于所识别的图像相关功能的信息。
72.图3是示出根据本公开的实施例的电子设备基于对象识别结果显示功能执行对象的情况的画面显示。
73.参考图3的部分3-a，电子设备10可以在显示器11上播放运动图像300。
74.在一个实施例中，电子设备10可以在显示器11上显示用于播放控制的各种对象(例如，图标)。例如，电子设备10可以在显示器11上显示指示完整播放时间和当前播放点的进度条31、播放停止对象33、后退对象35或前进对象37。当电子设备10播放运动图像时，可以显示播放停止对象33，并且当播放暂停或停止时，可以显示播放开始对象39。
75.在一个实施例中，电子设备10可以响应于用于选择播放停止对象33的外部输入(或用户输入)来暂停运动图像300的播放。在这种情况下，电子设备10可以暂停运动图像300的播放，同时显示在接收到用于选择播放停止对象33的外部输入时在显示器11上输出的静止图像帧310。
76.参考图3的部分3-b，电子设备10可以响应于用于选择播放停止对象33的用户输入，暂停运动图像300的播放，并且在显示器11上显示静止图像帧310。当暂停运动图像300
的播放时，电子设备10可以在显示器11上显示播放开始对象39来代替播放停止对象33。
77.在一个实施例中，当运动图像的播放停止时，电子设备10可以获得第一信息或第二信息。电子设备10可以从显示器11上输出的静止图像帧310获得第一信息，并且可以从运动图像300获得第二信息。
78.在一个实施例中，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。电子设备10可以在显示器11上显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
79.例如，电子设备10可以基于静止图像帧310的场景识别结果来识别人a做出的“比心”手势。电子设备10可以在显示器11上显示图标推荐执行对象(例如，标签)320，其可以推荐对应于所识别的手势的图标。
80.在一个实施例中，响应于用于选择图标推荐执行对象320的用户输入，电子设备10可以执行相应的功能。参考图3的部分3-c，响应于用于选择图标推荐执行对象(例如，标签)320的用户输入，电子设备10可以在显示器11上显示可以被添加到静止图像帧的图标330。例如，电子设备10可以基于所识别的对象是“比心”来在显示器11上显示心形图标330。电子设备10可以将用户选择的图标添加到静止图像帧，以显示修改后的静止图像帧。
81.如上所述，根据本公开的实施例的电子设备10可以向用户提供功能执行对象，该功能执行对象可以基于静止图像帧的对象识别结果，将与检测到的对象相关的图标添加到静止图像帧或运动图像。
82.图4是示出根据本公开的实施例的电子设备基于静止图像中包括的对象的运动识别结果显示功能执行对象的情况的画面显示。
83.参考图4的部分4-a，电子设备10可以在显示器11上播放运动图像400。
84.在一个实施例中，电子设备10可以在显示器11上显示用于播放控制的各种对象(或图标)。例如，电子设备10可以在显示器11上显示指示完整播放时间和当前播放点的进度条31、播放停止对象33、后退对象35或前进对象37。当电子设备10播放运动图像时，可以显示播放停止对象33，并且当播放暂停或停止时，可以显示播放开始对象39。
85.在一个实施例中，电子设备10可以响应于用于选择播放停止对象33的外部输入(或用户输入)来暂停运动图像400的播放。在这种情况下，电子设备10可以暂停运动图像400的播放，同时显示在接收到用于选择播放停止对象33的外部输入时在显示器11上输出的静止图像帧410。
86.参考图4的部分4-b，电子设备10可以响应于用于选择播放停止对象33的用户输入，暂停运动图像400的播放，并在显示器11上显示静止图像帧410。当暂停运动图像400的播放时，电子设备10可以在显示器11上显示播放开始对象39来代替播放停止对象33。
87.在一个实施例中，当运动图像的播放停止时，电子设备10可以获得第一信息或第二信息。电子设备10可以从显示器11上输出的静止图像帧410获得第一信息，并且可以从运动图像400获得第二信息。在一个实施例中，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。电子设备10可以在显示器11上显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
88.例如，电子设备10可以基于静止图像帧410与静止图像帧410之前的至少一个静止图像帧或静止图像帧410之后的至少一个静止图像帧之间的比较结果来识别出人b正在执
行连续动作。电子设备10可以根据场景识别结果显示至少一个功能执行对象。
89.在图4的部分4-b中，电子设备10可以在显示器11上显示图形交换格式(gif)生成执行对象(例如，自动gif)420，其可以使用多个静止图像帧生成gif文件。
90.在一个实施例中，响应于用于选择gif生成执行对象(例如，自动gif)420的用户输入，电子设备10可以执行相应的功能。例如，电子设备10可以通过使用显示器11上输出的静止图像帧410、静止图像帧410之前的两至四个静止图像帧以及静止图像帧410之后的两至四个静止图像帧来生成gif文件。然而，由电子设备10提取以生成gif文件的静止图像帧的数量不限于此。例如，电子设备10可以基于运动图像文件的分辨率、编解码器信息和帧速率以及静止图像帧的分辨率来确定为生成gif文件而提取的静止图像帧的数量。
91.参考图4的部分4-c，电子设备10可以在显示器11上显示用于播放生成的gif文件的gif执行对象430。响应于用于选择gif执行对象430的用户输入，电子设备10可以在显示器11的一部分或全部上播放gif文件。
92.如上所述，根据本公开的实施例的电子设备10可以向用户提供功能执行对象，该功能执行对象可以通过使用多个静止图像帧的场景识别结果和从运动图像获得的信息来生成gif文件。
93.图5是示出根据本公开的实施例的电子设备基于包括在静止图像中的对象的运动识别结果显示功能执行对象的另一种情况的画面显示。
94.图5的部分5-a对应于图4的部分4-a，并且省略了对其的描述。
95.参考图5的部分5-b，响应于用于选择播放停止对象33的用户输入，电子设备10可以暂停运动图像500的播放，并且在显示器11上显示静止图像帧510。当暂停运动图像500的播放时，电子设备10可以在显示器11上显示播放开始对象39来代替播放停止对象33。
96.在一个实施例中，当运动图像的播放停止时，电子设备10可以获得第一信息或第二信息。电子设备10可以从显示器11上输出的静止图像帧510获得第一信息，并且可以从运动图像500获得第二信息。在一个实施例中，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。电子设备10可以在显示器11上显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
97.例如，电子设备10可以将人b识别为静止图像帧510的场景识别结果。电子设备10可以在显示器11上显示图像生成执行对象(例如，自动剪辑)520，图像生成执行对象520可以通过提取人b出现的多个静止图像帧来生成新的运动图像。
98.在一个实施例中，响应于用于选择图像生成执行对象(例如，自动剪辑)520的用户输入，电子设备10可以执行相应的功能。例如，电子设备10可以通过使用显示器11上输出的静止图像帧510和人b出现的运动图像500的静止图像帧来生成运动图像文件。电子设备10可以基于运动图像文件的分辨率、编解码器信息和帧速率以及静止图像帧的分辨率来确定提取出以生成新的运动图像文件的静止图像帧的数量。
99.在各种实施例中，电子设备10可以通过使用从外部电子设备(例如，服务器)接收的静止图像来生成新的运动图像文件。例如，电子设备10可以使用通信电路(例如，图2中的通信电路240)来与至少一个服务器建立通信。电子设备10可以请求服务器从存储的运动图像或静止图像中选择包括人b的静止图像。电子设备10可以从服务器接收包括人b的静止图像，以生成新的运动图像文件。
100.参考图5的部分5-c，电子设备10可以在显示器11上显示用于播放生成的运动图像文件的图像执行对象530。响应于用于选择图像执行对象530的用户输入，电子设备10可以在显示器11的一部分或全部上播放运动图像文件。
101.如上所述，根据本公开的实施例的电子设备10可以向用户提供功能执行对象，该功能执行对象可以通过使用静止图像帧的人类识别结果和从运动图像获得的信息来生成运动图像文件。
102.图6是示出根据本公开的实施例的电子设备基于识别静止图像中的自然景观的结果来显示功能执行对象的情况的画面显示。
103.图6的部分6-a对应于图4的部分4-a，并且省略了对其的描述。
104.参考图6的部分6-b，电子设备10可以响应于用于选择播放停止对象33的用户输入，暂停运动图像600的播放，并在显示器11上显示静止图像帧610。当暂停运动图像600的播放时，电子设备10可以在显示器11上显示播放开始对象39来代替播放停止对象33。
105.在一个实施例中，当运动图像的播放停止时，电子设备10可以获得第一信息或第二信息。电子设备10可以从显示器11上输出的静止图像帧610获得第一信息，并且可以从运动图像600获得第二信息。在一个实施例中，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。电子设备10可以在显示器11上显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
106.例如，作为静止图像帧610的场景识别结果，电子设备10可以识别出静止图像帧610是风景图像。基于静止图像帧610是风景图像，电子设备10可以在显示器11上显示能够向静止图像帧610添加文本的文本输入执行对象(例如，添加文本)620。
107.在一个实施例中，响应于用于选择文本输入执行对象(例如，添加文本)620的用户输入，电子设备10可以执行相应的功能。参考图6的部分6-c，电子设备10可以在显示器11的一部分上显示用于文本输入的键盘630。电子设备10还可以在显示器11的另一部分上显示文本输入框640。
108.在一个实施例中，电子设备10可以根据用户输入将文本输入添加到正在显示的静止图像帧610。电子设备10可以根据用户输入来改变文本输入框640的位置、大小或形状。电子设备10还可以根据用户输入来改变输入到文本输入框640的文本的字体或大小。
109.如上所述，根据本公开的实施例的电子设备10可以向用户提供功能执行对象，该功能执行对象可以基于静止图像帧的场景识别结果向静止图像帧添加文本。
110.图7是示出根据本公开的实施例的电子设备显示快捷功能执行对象的情况的画面显示。
111.参考图7的部分7-a，电子设备10a可以在显示器11a上播放运动图像700。电子设备10可以不在显示器11a上显示用于播放控制的各种对象(或图标)。
112.在一个实施例中，电子设备10a可以在显示器11a的区域上显示快捷功能执行对象720。
113.例如，电子设备10a可以在显示器11a上以半透明图标的形式显示快捷功能执行对象720。电子设备10a可以响应于用于触摸和拖动快捷功能执行对象720的用户输入，在显示器11a上移动快捷功能执行对象720。
114.在一个实施例中，响应于用于选择快捷方式功能执行对象720的用户输入，电子设
备10a可以在显示器11a上显示可以提供给用户的至少一个功能执行对象。
115.参考图7的部分7-b，响应于用于选择快捷方式功能执行对象720的用户输入，电子设备10a可以在显示器11a上显示功能执行对象，例如文本输入执行对象731和图像生成执行对象733。
116.例如，响应于用于选择快捷功能执行对象720的用户输入，电子设备10a可以暂停运动图像700的播放，并且在显示器11a上显示静止图像帧710。电子设备10a可以从显示器11a上输出的静止图像帧710获得第一信息，并且可以从运动图像700获得第二信息。
117.例如，电子设备10a可以将智能手机形状的对象715识别为静止图像帧710的对象识别结果。电子设备10a可以在显示器11a上显示文本输入执行对象731，该文本输入执行对象731允许关于所识别的智能手机形状的对象715的文本输入。
118.作为另一示例，电子设备10a可以将智能手机形状的对象715识别为静止图像帧710的对象识别结果。电子设备10a可以在显示器11a上显示图像生成执行对象733，该图像生成执行对象733可以通过提取其中有所识别的智能手机形状的对象715出现的多个静止图像帧来生成新的运动图像。
119.如上所述，根据本公开的实施例的电子设备10a可以在显示器11a上以简化的形式显示多个功能执行对象，以便将显示器11a上输出的内容被对象隐藏或阻挡的现象降至最低。
120.图8是根据本公开的实施例的电子设备显示功能执行对象的过程的流程图。
121.参考图8，在操作810，电子设备10可以从包括在运动图像中的静止图像帧获得第一信息。
122.在一个实施例中，电子设备10可以在显示器(例如，图1中的显示器11)上播放运动图像。响应于外部输入，电子设备10可以停止运动图像的播放，并且在显示器11上显示静止图像帧。例如，当运动图像的播放停止时，电子设备10可以从显示器11上输出的静止图像帧获得第一信息。
123.第一信息可以包括例如显示器11上输出的静止图像帧的场景识别结果。场景识别结果可以包括例如识别包括在静止图像帧中的人的人类识别结果、识别包括在静止图像帧中的形状的物体识别结果、或者识别包括在静止图像帧中的地理区域的地点识别结果。
124.第一信息还可以包括例如显示器11上输出的静止图像帧的拍摄时间，或者显示器11上输出的静止图像帧与显示器11上输出的静止图像帧之前的至少一个静止图像帧或者显示器11上输出的静止图像帧之后的至少一个静止图像帧之间的比较结果。比较结果可以指示例如在静止图像帧中检测到的人或物体的运动。
125.在操作820，电子设备10可以从运动图像获得第二信息。
126.在一个实施例中，当运动图像的播放停止时，电子设备10可以从运动图像获得第二信息。第二信息可以包括例如关于运动图像的拍摄时间(例如，拍摄开始时间、拍摄结束时间)、拍摄位置、播放持续时间、拍摄格式、文件名、分辨率或帧速率的信息。然而，第二信息不限于此。
127.在操作830，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。
128.例如，电子设备10可以使用基于第一信息获得的人类识别结果和基于第二信息获
得的运动图像的分辨率来识别图像生成功能，该图像生成功能可以通过从运动图像中提取其中所识别的人出现的静止图像帧来生成新的运动图像。
129.在操作840，电子设备10可以显示用于执行所识别的至少一个图像相关功能的至少一个功能执行对象。
130.例如，电子设备10可以在显示器11上显示用于执行图像生成功能的图像生成执行对象。
131.图9是根据本公开的实施例的电子设备协同服务器显示功能执行对象的过程的时序图。
132.参考图9，在操作910，电子设备10可以识别包括在运动图像中的静止图像帧。
133.在一个实施例中，当播放运动图像时，电子设备10可以接收用于停止运动图像的播放的外部输入。响应于用于停止播放的外部输入，电子设备10可以在显示显示器(例如，图1中的显示器11)上输出的静止图像帧的同时停止运动图像的播放。电子设备10可以在停止播放运动图像的同时将显示器11上输出的静止图像帧识别为用于获得第一信息的静止图像帧。
134.在操作920，电子设备10可以将所识别的静止图像帧发送到服务器20。
135.例如，电子设备10可以向服务器20发送所识别的静止图像帧、所识别的静止图像帧之前的两至十个静止图像帧以及所识别的静止图像帧之后的两至十个静止图像帧。或者，电子设备10可以向服务器20发送运动图像以及所识别的静止图像帧。
136.在操作930，服务器20可以从接收到的静止图像帧获得第一信息。
137.例如，服务器20可以通过对接收到的静止图像帧执行场景识别来获得第一信息。或者，服务器20可以通过分析接收到的静止图像帧、接收到的静止图像帧之前的两至十个静止图像帧以及识别出的静止图像帧之后的两至十个静止图像帧来检测运动中的物体或人作为第一信息。
138.在操作940，服务器20可以将获得的第一信息发送到电子设备10。
139.在操作950，电子设备10可以从运动图像获得第二信息。
140.在一个实施例中，当服务器20从电子设备10接收到运动图像时，服务器20可以从运动图像获得第二信息，并将第二信息发送到电子设备10。在这种情况下，电子设备10可以跳过从运动图像获得第二信息的操作950。
141.在操作960，电子设备10可以通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能。
142.在操作970，电子设备10可以显示用于执行所识别的图像相关功能的至少一个功能执行对象。
143.图10是根据本公开的实施例的网络环境中的电子设备的框图。
144.参考图10，网络环境1000中的电子设备1001可以由图1所示的电子设备实现。电子设备1001可以经由第一网络1098(例如，短程无线通信网络)与另一电子设备1002通信，或者经由第二网络1099(例如，远程无线通信网络)与电子设备1004或服务器1008通信。根据实施例，电子设备1001可以经由服务器1008与电子设备1004通信。根据实施例，电子设备1001可以包括处理器1020、存储器1030、输入设备1050、声音输出设备1055、显示设备1060、音频模块1070、传感器模块1076、接口1077、触觉模块1079、相机模块1080、电力管理模块
1088、电池1089、通信模块1090、用户识别模块(sim)1096或天线模块1097。在一些实施例中，可以从电子设备1001中省略至少一个组件(例如，显示设备1060或相机模块1080)，或者可以在电子设备1001中添加一个或更多个其他组件。在一些实施例中，一些组件可以实现为单个集成电路。例如，传感器模块1076(例如，指纹传感器、虹膜传感器或照度传感器)可以被实现为嵌入在显示设备1060(例如，显示器)中。
145.处理器1020可以执行例如软件(例如，程序1040)来控制与处理器1020耦接的电子设备1001的至少一个其他组件(例如，硬件组件或软件组件)，并且可以执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少一部分，处理器1020可以将从另一组件(例如，传感器模块1076或通信模块1090)接收的命令或数据加载到易失性存储器1032中，处理存储在易失性存储器1032中的命令或数据，并将结果数据存储在非易失性存储器1034中。根据实施例，处理器1020可以包括主处理器1021(例如，cpu或ap)和辅助处理器1023(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器集线器处理器或cp)，辅助处理器1023可以独立于主处理器1021运行或与主处理器1021结合运行。附加地或替代地，辅助处理器1023可以适于比主处理器1021消耗更少的电力，或者专用于特定功能。辅助处理器1023可以被实现为独立于主处理器1021或者作为主处理器1021的一部分。
146.辅助处理器1023可以在主处理器1021处于非活动(例如，睡眠)状态时代替主处理器1021控制电子设备1001的组件中的至少一个组件(例如，显示设备1060、传感器模块1076或通信模块1090)相关的至少一些功能或状态，或者在主处理器1021处于活动状态(例如，执行应用)时与主处理器1021一起控制电子设备1001的组件中的至少一个组件(例如，显示设备1060、传感器模块1076或通信模块1090)相关的至少一些功能或状态。根据实施例，辅助处理器1023(例如，图像信号处理器或通信处理器)可以被实现为功能上与辅助处理器1023相关的另一组件(例如，相机模块1080或通信模块1090)的一部分。
147.存储器1030可以存储由电子设备1001的至少一个组件(例如，处理器1020或传感器模块1076)使用的各种数据。各种数据可以包括例如软件(例如，程序1040)和与其相关的命令的输入数据或输出数据。存储器1030可以包括易失性存储器1032或非易失性存储器1034。
148.程序1040可以作为软件存储在存储器1030中，并且可以包括例如os1042、中间件1044或应用1046。
149.输入设备1050可以从电子设备1001的外部(例如，用户)接收要由电子设备1001的其他组件(例如，处理器1020)使用的命令或数据。输入设备1050可以包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
150.声音输出设备1055可以向电子设备1001的外部输出声音信号。声音输出设备1055可以包括例如扬声器或接收器。扬声器可以用于一般用途，例如播放多媒体或播放唱片，接收器可以用于来电。根据实施例，接收器可以被实现为与扬声器分离，或者作为扬声器的一部分。
151.显示设备1060可以在视觉上向电子设备1001的外部(例如，用户)提供信息。显示设备1060可以包括例如显示器、全息设备或投影仪以及控制显示器、全息设备和投影仪中相应的一个的控制电路。根据实施例，显示设备1060可以包括适于检测触摸的触摸电路，或者适于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
152.音频模块1070可以将声音转换成电信号，反之亦然。根据实施例，音频模块1070可以经由输入设备1050获得声音，或者经由声音输出设备1055或与电子设备1001直接(例如，有线)或无线耦接的外部电子设备(例如，电子设备1002)的耳机输出声音。
153.传感器模块1076可以检测电子设备1001的操作状态(例如，电力或温度)或电子设备1001外部的环境状态(例如，用户的状态)，然后生成对应于检测到的状态的电信号或数据值。根据实施例，传感器模块1076可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
154.接口1077可以支持电子设备1001直接(例如，有线地)或无线地与外部电子设备(例如，电子设备1002)耦接所使用的一个或更多个指定协议。根据实施例，接口1077可以包括例如高清晰度多媒体接口、通用串行总线接口、安全数字卡接口或音频接口。
155.连接端1078可以包括连接器，电子设备1001可以经由该连接器与外部电子设备(例如，电子设备1002)物理连接。根据实施例，连接端1078可以包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
156.触觉模块1079可以将电信号转换成可以由用户通过他的触觉或动觉来识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1079可以包括例如电机、压电元件或电刺激器。
157.相机模块1080可以捕捉静止图像或运动图像。根据实施例，相机模块1080可以包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
158.电力管理模块1088可以管理提供给电子设备1001的电力。根据实施例，电力管理模块1088可以被实现为例如电力管理集成电路(pmic)的至少一部分。
159.电池1089可以向电子设备1001的至少一个组件供电。根据实施例，电池1089可以包括例如不可充电的一次电池、可充电的二次电池或燃料电池。
160.通信模块1090可以支持在电子设备1001与外部电子设备(例如，电子设备1002、电子设备1004或服务器1008)之间建立直接(例如，有线)通信信道或无线通信信道，并经由所建立的通信信道执行通信。通信模块1090可以包括一个或更多个可独立于处理器1020(例如，ap)操作的通信处理器，并且支持直接(例如，有线)通信或无线通信。根据实施例，通信模块1090可以包括无线通信模块1092(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块1094(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中相应的一个可以经由第一网络1098(例如，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda)的短程通信网络)或第二网络1099(例如，诸如蜂窝网络、互联网或计算机网络(例如，lan或广域网(wan))的远程通信网络)与外部电子设备通信。这些不同类型的通信模块可以实现为单个组件(例如，单个芯片)，或者可以实现为彼此分离的多组件(例如，多芯片)。无线通信模块1092可以使用存储在sim 1096中的用户信息(例如，国际移动用户身份(imsi))来识别和认证通信网络(例如，第一网络1098或第二网络1099)中的电子设备1001。
161.天线模块1097可以向或从电子设备1001的外部(例如，外部电子设备)发送或接收信号或电力。根据实施例，天线模块1097可以包括天线，该天线包括由形成在基板(例如，印刷电路板(pcb))中或基板上的导电材料或导电图案组成的辐射元件。根据实施例，天线模
块1097可以包括多个天线。在这种情况下，例如，通信模块1090(例如，无线通信模块1092)可以从多个天线中选择适合于通信网络(例如，第一网络1098或第二网络1099)中使用的通信方案的至少一个天线。然后，信号或电力可以经由所选择的至少一个天线在通信模块1090与外部电子设备之间发送或接收。根据实施例，除了辐射元件之外的另一个组件(例如，射频集成电路(rfic))可以另外形成为天线模块1097的一部分。
162.至少一些上述组件可以相互耦接，并通过外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))在它们之间进行信号(例如，命令或数据)通信。
163.根据实施例，可以经由与第二网络1099耦接的服务器1008在电子设备1001与外部电子设备1004之间发送或接收命令或数据。电子设备1002和1004中的每一个可以是与电子设备1001相同类型或不同类型的设备。根据实施例，要在电子设备1001处执行的所有或一些操作可以在外部电子设备1002、1004或1008中的一个或更多个处执行。例如，如果电子设备1001应该自动执行功能或服务，或者响应于来自用户或另一设备的请求，电子设备1001可以代替执行功能或服务，或者除了执行功能或服务之外，请求一个或更多个外部电子设备执行功能或服务的至少一部分。接收请求的一个或更多个外部电子设备可以执行所请求的功能或服务的至少一部分，或者与请求相关的附加功能或附加服务，并且将执行的结果传送到电子设备1001。电子设备1001可以在对结果进行或不进行进一步处理的情况下提供结果，作为对请求的答复的至少一部分。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
164.图11是根据本公开的实施例的显示设备的框图。
165.参考图11，示出了框图1100或示例显示设备1060。显示设备1060可以包括显示器1110和控制显示器1110的显示驱动器集成电路(ddi)1130。显示器1110包括图1的显示器11。ddi 1130可以包括接口模块1131、存储器1133(例如，缓冲存储器)、图像处理模块1135或映射模块1137。ddi 1130可以经由接口模块1131从电子设备1001的另一组件接收包含图像数据或对应于控制图像数据的命令的图像控制信号的图像信息。例如，根据实施例，可以从独立于主处理器1021的功能运行的处理器1020(例如，主处理器1021(例如，应用处理器))或辅助处理器1023(例如，图形处理单元)接收图像信息。例如，ddi 1130可以通过接口模块1131与输入设备1050或传感器模块1076通信。ddi 1130还可以例如在逐帧的基础上将至少部分接收到的图像信息存储在存储器1133中。
166.图像处理模块1135可以对图像数据的至少一部分执行预处理或后处理(例如，分辨率、亮度或大小的调整)。根据实施例，预处理或后处理可以例如至少部分基于图像数据的一个或更多个特征或显示器1110的一个或更多个特征来执行。
167.映射模块1137可以生成对应于由图像处理模块1135预处理或后处理的图像数据的电压值或电流值。根据实施例，电压值或电流值的生成可以例如至少部分地基于像素的一个或更多个属性(例如，像素的阵列，例如红、绿、蓝(rgb)条纹或分层结构，或者每个子像素的大小)来执行。例如，可以至少部分地基于电压值或电流值来驱动显示器1110的至少一些像素，使得可以经由显示器1110显示对应于图像数据的视觉信息(例如，文本、图像或图标)。
168.根据实施例，显示设备1060可以进一步包括触摸电路1150。触摸电路1150可以包
括触摸传感器1151和控制触摸传感器1151的触摸传感器集成电路1153。触摸传感器ic 1153可以控制触摸传感器1151感测相对于显示器1110上某个位置的触摸输入或悬停输入。为了实现这一点，例如，触摸传感器1151可以检测(例如，测量)对应于显示器1110上的某个位置的信号(例如，电压、光量、电阻或一个或更多个电荷的量)的变化。触摸电路1150可以向处理器1020提供指示经由触摸传感器1151检测到的触摸输入或悬停输入的输入信息(例如，位置、面积、压力、或时间)。根据实施例，触摸电路1150的至少一部分(例如，触摸传感器ic 1153)可以形成为显示器1110或ddi 1130的一部分，或者形成为设置在显示设备1060外部的另一组件(例如，辅助处理器1023)的一部分。
169.根据实施例，显示设备1060可以进一步包括传感器模块1176的至少一个传感器(例如，指纹传感器、虹膜传感器、压力传感器或照度传感器)或者用于至少一个传感器的控制电路。在这种情况下，至少一个传感器或用于至少一个传感器的控制电路可以嵌入在显示设备1060的组件(例如，显示器1110、ddi 1130或输入设备1050)的一部分中。例如，当嵌入在显示设备1060中的传感器模块1176包括生物特征传感器(例如，指纹传感器)时，生物特征传感器可以获得对应于经由显示器1110的一部分接收的触摸输入的生物特征信息(例如，指纹图像)。作为另一示例，当嵌入在显示设备1060中的传感器模块1176包括压力传感器时，压力传感器可以获得与经由显示器1110的部分或整个区域接收的触摸输入相对应的压力信息。根据实施例，触摸传感器1151或传感器模块1176可以设置在显示器1110的像素层中的像素之间，或者在像素层之上或之下。
170.如本文所使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与其他术语互换使用，例如，“逻辑”、“逻辑块”、“部分”或“电路”。模块可以是适于执行一个或更多个功能的单个整体组件，或其最小单元或部分。例如，根据实施例，模块可以以专用集成电路(asic)的形式实现。
171.本文阐述的各种实施例可以实现为软件(例如，程序1040)，包括存储在机器(例如，电子设备1001)可读的存储介质(例如，内部存储器1036或外部存储器1038)中的一个或更多个指令。例如，机器(例如，电子设备1001)的处理器(例如，处理器1020)可以调用存储在存储介质中的一个或更多个指令中的至少一个，并在处理器的控制下使用或不使用一个或更多个其他组件来对其执行。这允许根据所调用的至少一个指令来操作机器以执行至少一个功能。一个或更多个指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。术语“非暂时性”仅表示存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语不区分数据半永久存储在存储介质中的位置和数据临时存储在存储介质中的位置。
172.根据实施例，根据本公开的某些实施例的方法可以被包括并提供在计算机程序产品中。计算机程序产品可以作为卖方与买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(cd-rom))的形式分发，或者经由应用商店(例如，playstore
tm
)在线分发(例如，下载或上传)，或者直接在两个用户设备(例如，智能电话)之间分发。如果在线分发，计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，例如制造商的服务器的存储器、应用商店的服务器或中继服务器。
173.在一个实施例中，计算机程序产品可以包括包含一个或更多个指令的计算机可读存储介质，该一个或更多个指令被配置为：从包括在运动图像中的静止图像帧获得第一信
息；从运动图像获得第二信息；通过使用第一信息或第二信息中的至少一个来识别至少一个图像相关功能；以及在显示器上显示至少一个用于执行所识别的图像相关功能的功能执行对象。
174.根据某些实施例，上述组件的每个组件(例如，模块或程序)可以包括单个实体或多个实体。根据某些实施例，可以省略一个或更多个上述组件，或者可以添加一个或更多个其他组件。替代地或附加地，多个组件(例如，模块或程序)可以集成到单个组件中。在这种情况下，根据某些实施例，集成组件仍然可以以与它们在集成之前由多个组件中的相应一个执行的方式相同或相似的方式执行多个组件中的每一个的一个或更多个功能。根据某些实施例，由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者一个或更多个操作可以以不同的顺序执行或省略，或者可以添加一个或更多个其他操作。
175.虽然已经参照本公开的各种实施例显示和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。