一种合照生成方法与流程

1.本技术涉及合照生成技术领域，尤其涉及一种合照生成方法、显示设备、装置、电子设备及介质。


背景技术：

2.与相隔两地的亲朋好友、同事、客户等通过虚拟合照的方式，生成包含多个用户的合照，给用户的工作和生活带来了很多便利和趣味。其中，虚拟合照主要是应用了图像分割和图像合成技术实现的，例如针对当前进行视频通话的每个用户，可以先对包含该用户的视频流的视频帧进行人像分割，得到该用户的人像(将不包含背景只包含用户的图像称为人像)，然后使用图像合成算法将多个用户的人像合成到一张预设的背景图像中，生成一幅新的图像，即生成包含进行视频通话的多个用户的人像的合照。
3.然而如果每个用户距离摄像头的远近等不同时，如果将基于每个视频帧得到的人像直接合成到合照中时，通常会影响合照效果的真实性。


技术实现要素：

4.本技术提供了一种合照生成方法、显示设备、装置、电子设备及介质，用以保证合照效果的真实性，提高用户体验。
5.第一方面，本技术提供了一种合照生成方法，所述方法包括：
6.根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
7.根据保存的用户与身高信息的对应关系，确定所述目标用户对应的身高信息，根据所述身高信息，确定所述目标用户之间的身高比例；
8.根据所述身高比例，对所述目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
9.第二方面，本技术还提供了一种合照生成方法，所述方法包括：
10.根据接收到的合照请求指令，将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
11.将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
12.确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
13.根据所述目标人像生成合照。
14.第三方面，本技术还提供了一种合照生成方法，所述方法包括：
15.根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
16.根据为所述目标用户设定的在合照中的显示位置的纵坐标，确定所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
17.基于所述显示位置，生成合照。
18.第四方面，本技术提供了一种显示设备，所述显示设备包括：
19.显示器，所述显示器用于显示合照；
20.控制器，所述控制器用于执行：
21.根据待生成合照的目标用户之间的身高比例，对视频帧中所述目标用户的目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
22.第五方面，本技术还提供了一种显示设备，所述显示设备包括：
23.显示器，所述显示器用于显示合照；
24.控制器，所述控制器用于执行：
25.确定基准人像关键点，根据所述基准人像关键点，对待生成合照的视频帧中包含的目标用户的人像进行调整；将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
26.根据所述目标人像生成合照。
27.第六方面，本技术还提供了一种显示设备，所述显示设备包括：
28.显示器，所述显示器用于显示合照；
29.控制器，所述控制器用于执行：
30.根据为待生成合照的目标用户设定的在合照中的显示位置的纵坐标，确定视频帧中所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
31.基于所述显示位置，生成合照。
32.第七方面，本技术提供了一种合照生成装置，所述装置包括：
33.第一确定模块，用于根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
34.第二确定模块，用于根据保存的用户与身高信息的对应关系，确定所述目标用户对应的身高信息，根据所述身高信息，确定所述目标用户之间的身高比例；
35.第一生成模块，用于根据所述身高比例，对所述目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
36.第八方面，本技术还提供了一种合照生成装置，所述装置包括：
37.第一输入模块，用于根据接收到的合照请求指令，将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
38.第二输入模块，用于将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
39.调整模块，用于确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
40.第二生成模块，用于根据所述目标人像生成合照。
41.第九方面，本技术还提供了一种合照生成装置，所述装置包括：
42.第三确定模块，用于根据接收到的合照请求指令，确定待生成合照的视频帧中包
含的目标用户的满足设定要求的目标人像；
43.第四确定模块，用于根据为所述目标用户设定的在合照中的显示位置的纵坐标，确定所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
44.第三生成模块，用于基于所述显示位置，生成合照。
45.第十方面，本技术提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述合照生成方法的步骤。
46.第十一方面，本技术还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述合照生成方法的步骤。
47.本技术可以根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像，并可以根据保存的用户与身高信息的对应关系，确定每个目标用户对应的身高信息，根据每个目标用户对应的身高信息，确定每个目标用户之间的身高比例；并可以根据每个目标用户之间的身高比例，对每个目标用户的目标人像的尺寸进行调整，进而可以根据尺寸调整后的每个目标人像生成合照。由于本技术中尺寸调整后的每个目标人像的尺寸比例与每个用户之间的身高比例相同，根据尺寸调整后的目标人像生成合照时，可以保证生成的合照效果的真实性，并可以提高用户体验。
附图说明
48.为了更清楚地说明本技术实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
49.图1示出了一些实施例提供的第一种合照生成过程示意图；
50.图2示出了一些实施例提供的第二种合照生成过程示意图；
51.图3示出了一些实施例提供的第三种合照生成过程示意图；
52.图4示出了一些实施例提供的第四种合照生成过程示意图；
53.图5示出了一些实施例提供的一种电子设备示意图；
54.图6示出了一些实施例提供的第五种合照生成过程示意图；
55.图7示出了一些实施例提供的第一种显示设备示意图；
56.图8示出了一些实施例提供的第一种合照生成装置示意图；
57.图9示出了一些实施例提供的第六种合照生成过程示意图；
58.图10示出了一些实施例提供的第二种显示设备示意图；
59.图11示出了一些实施例提供的第二种合照生成装置示意图；
60.图12示出了一些实施例提供的第七种合照生成过程示意图；
61.图13示出了一些实施例提供的第三种显示设备示意图；
62.图14示出了一些实施例提供的第三种合照生成装置示意图；
63.图15示出了一些实施例提供的一种电子设备结构示意图。
具体实施方式
64.为了保证合照效果的真实性，提高用户体验，本技术提供了一种合照生成方法、显
示设备、装置、电子设备及介质。
65.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
66.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
67.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
68.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
69.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
70.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
71.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
72.在实际使用过程中，电子设备可以根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像，并可以根据保存的用户与身高信息的对应关系，确定每个目标用户对应的身高信息，根据每个目标用户对应的身高信息，确定每个目标用户之间的身高比例；并可以根据每个目标用户之间的身高比例，对每个目标用户的目标人像的尺寸进行调整，进而可以根据尺寸调整后的每个目标人像生成合照。由于本技术中尺寸调整后的每个目标人像的尺寸比例与每个用户之间的身高比例相同，根据尺寸调整后的目标人像生成合照时，可以实现保证生成的合照效果的真实性及提高用户体验的目的。
73.图1示出了一些实施例提供的一种合照生成过程示意图，该过程包括以下步骤：
74.s101：根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像。
75.本技术实施例提供的合照生成方法应用于电子设备，该电子设备例如可以是pc、移动终端等设备，也可以是服务器、家庭大脑、社交电视等。
76.在一种可能的实施方式中，待生成合照的视频帧可以是当前进行视频通话的用户
的视频流中的视频帧，也可以是用户提供的任意视频帧等，本技术对此不做具体限定，可以根据需求灵活选择。无论哪种形式的视频帧，均可以基于本技术实施例提供的合照生成方法生成合照。为方便理解，下面以待生成合照的视频帧为当前进行视频通话的每个用户的每个视频流中的视频帧为例，对本技术实施例提供的合照生成过程进行举例说明。
77.在一种可能的实施方式中，电子设备可以包含摄像头等图像采集模块，用户可以基于该电子设备进行视频通话。在视频通话过程中，进行视频通话的任一用户可以通过点击“邀请合照”按钮等触发合照请求指令，其他用户可以通过点击“确定”按钮等接受合照邀请，其中，本技术对进行视频通话的用户的数量不做具体限定，例如其他用户可以为一个也可以为多个，可以根据需求灵活设置。为方便描述，将点击邀请合照的用户(发起方)称为第一用户，将点击确定按钮等接受合照邀请的用户(被邀请方)称为第二用户，同时，将第一用户所用的电子设备称为第一电子设备，将第二用户所用的电子设备称为第二电子设备。在一种可能的实施方式中，电子设备(如第一电子设备)在接受到合照请求指令后，可以从视频云端服务器中获取进行视频通话的每个用户的视频流，示例性的，第一电子设备可以根据点击邀请合照按钮的第一用户的用户标识信息以及点击确定按钮的第二用户的用户标识信息，从视频云端服务器中获取第一用户和第二用户对应的视频流。其中，每个用户分别对应一个视频流，例如，第一用户对应第一视频流，第二用户对应第二视频流。
78.电子设备获取到进行视频通话的每个用户的视频流后，可以确定每个视频流的视频帧中包含的用户(目标用户)的满足设定要求的目标人像。在一种可能的实施方式中，在确定目标用户的满足设定要求的目标人像时，可以将待生成合照的进行视频通话的每个视频流的视频帧分别输入到预先训练完成的人像分割模型，将得到的每个人像，分别确定为满足设定要求的目标人像。
79.s102：根据保存的用户与身高信息的对应关系，确定所述目标用户对应的身高信息，根据所述身高信息，确定进行视频通话的所述目标用户之间的身高比例。
80.在一种可能的实施方式中，为了获知用户的身高信息，电子设备中可以预先保存用户与身高信息的对应关系，示例性的，用户在第一次使用电子设备中的可以生成合照的应用程序app时，电子设备可以通过人脸识别等确定该用户是哪个用户(用户标识信息)，并展示输入身高信息的提示信息，用户可以输入对应的身高信息，电子设备可以保存用户(用户标识信息)与身高信息的对应关系。在一种可能的实施方式中，电子设备(如第二电子设备等)可以将其保存的用户与身高信息的对应关系上传至视频云端服务器，电子设备(如第一电子设备)可以通过视频云端服务器获取到其他电子设备(第二电子设备)的用户与身高信息的对应关系并保存。当接收到合照请求指令时，电子设备(如第一电子设备)可以通过图像识别等确定待生成合照的视频帧中包含的用户(目标用户)是哪个用户(用户标识信息)，从而可以根据保存的用户与身高信息的对应关系，确定每个目标用户对应的身高信息。确定了每个目标用户的身高信息后，电子设备(如第一电子设备)可以根据每个目标用户的身高信息，确定进行视频通话的每个目标用户之间的身高比例。示例性的，将第一用户的身高用a表示，第二用户的身高用b表示，则第一用户和第二用户之间的身高比例为a/b。
81.s103：根据所述身高比例，对所述目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
82.为了保证合照效果的真实性，电子设备(如第一电子设备)可以根据目标用户之间
的身高比例，对目标人像的尺寸进行调整，尺寸调整后的每个目标人像的尺寸比例与目标用户之间的身高比例相同。示例性的，参阅图2，图2示出了一些实施例提供的第二种合照生成过程示意图，如图2所示，仍以上述实施例为例，如果第一用户a的身高用a表示，第二用户b的身高用b表示，例如第一用户与第二用户的身高比例a/b为2:1，假设第一用户和第二用户距离摄像头的距离不同，使得第一用户的人像(目标人像)a’与第二用户的人像(目标人像)b’的尺寸比例并不是2:1，即存在人像尺寸比例与用户身高比例失真的情况，如果将该人像直接合成到合照中时，通常会影响合照效果的真实性。为了提高合照效果的真实性，本技术中可以根据进行视频通话的所述目标用户之间的身高比例，对每个目标人像的尺寸进行调整，例如尺寸调整后的目标人像a’与b’的比值与身高比例a/b相同，也为2:1，由于尺寸调整后的每个目标人像的尺寸比例与每个用户之间的身高比例相同，根据尺寸调整后的目标人像生成虚拟合照时，可以保证生成的合照效果的真实性，并可以提高用户体验。
83.具体的，电子设备中还可以包括显示器等显示终端，生成的合照可以通过显示终端进行显示，用户可以通过显示终端查看到生成的合照。在一种可能的实施方式中，电子设备(如第一电子设备)还可以将生成的合照发送给目标用户中的其他目标用户(第二用户)对应的终端(第二电子设备)，示例性的，第一电子设备可以将生成的合照发送给视频云端服务器，第二电子设备可以从视频云端服务器中获取到该合照，使第二用户可以通过第二电子设备查看到该合照。可以理解的，其中其他目标用户(第二用户)为与当前登录的目标用户(第一用户)进行视频通话的用户。
84.本技术可以根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像，并可以根据保存的用户与身高信息的对应关系，确定每个目标用户对应的身高信息，根据每个目标用户对应的身高信息，确定每个目标用户之间的身高比例；并可以根据每个目标用户之间的身高比例，对每个目标用户的目标人像的尺寸进行调整，进而可以根据尺寸调整后的每个目标人像生成合照。由于本技术中尺寸调整后的每个目标人像的尺寸比例与每个用户之间的身高比例相同，根据尺寸调整后的目标人像生成合照时，可以保证生成的合照效果的真实性，并可以提高用户体验。
85.在实际使用过程中，以人像中包含头部、胸部、腹部、膝盖部、足部等5个人像关键点为例，如果进行视频通话的每个用户距离摄像头的远近距离不同时，每个用户的人像中包含的人像关键点可能不同，例如距离摄像头较近的用户的人像中包含的人像关键点可能较少，例如可能只包含上半身中的头部、胸部、腹部共3个关键点，而距离摄像头较远的用户的人像中包含的人像关键点可能较多，例如可能包含膝盖以上的头部、胸部、腹部、膝盖部共4个关键点。如果根据包含人像关键点不同的人像生成合照时，可能会影响合照效果的美观性。为了提高合照效果的美观性，在上述实施例的基础上，在本技术实施例中，所述确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像包括：
86.将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
87.将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
88.确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的所述目标人像；其中所述调整后的人像中包含的人像关键点为
所述基准人像关键点。
89.在一种可能的实施方式中，电子设备(如第一电子设备)在确定满足设定要求的目标人像时，针对进行视频通话的每个视频流，可以先将该视频流的视频帧输入到预先训练完成的人像分割模型，得到视频帧中包含的目标用户的人像。另外，可以将该视频帧也输入到预先训练完成的人像关键点检测模型，确定该视频帧的人像中包含的人像关键点。
90.在一种可能的实施方式中，训练所述人像分割模型的过程包括：
91.获取样本集中任一包含有人像的第一样本图像，所述第一样本图像的每个像素点对应有该像素点是否为人像的像素点的样本类别标签；
92.通过原始人像分割模型，确定所述第一样本图像的每个像素点的识别类别标签；
93.根据所述样本类别标签和所述识别类别标签，对原始人像分割模型进行训练，得到训练完成的人像分割模型。
94.在本技术实施例中，样本集中包含多个第一样本图像，针对每个第一样本图像中包含的每个像素点，该像素点对应有样本类别标签，该样本类别标签用于标识该像素点是否为人像的像素点。
95.在对原始人像分割模型进行训练时，可以获取样本集中任一包含有人像的第一样本图像，该第一样本图像的每个像素点对应有样本类别标签。将该获取到的任一第一样本图像输入原始人像分割模型，通过原始人像分割模型，获取该第一样本图像的每个像素点的识别类别标签。
96.具体实施中，确定了输入的第一样本图像的每个像素点的识别类别标签后，因为预先保存了该第一样本图像的每个像素点的样本类别标签，因此可以根据样本类别标签与识别类别标签是否一致，确定该人像分割模型的识别结果是否准确。具体实施中，若不一致，说明该人像分割模型的识别结果不准确，则需要对该人像分割模型的参数进行调整，从而对人像分割模型进行训练。
97.具体实施中，对人像分割模型中的参数进行调整时，可以采用梯度下降算法，对人像分割模型的参数的梯度进行反向传播，从而对人像分割模型进行训练。
98.在一种可能的实施方式中，可以对样本集中的每个第一样本图像都进行上述操作，当满足预设的收敛条件时，确定该人像分割模型训练完成。
99.其中，满足预设的收敛条件可以为样本集中的第一样本图像通过该原始人像分割模型，被正确识别的第一样本图像的个数大于设定数量，或对人像分割模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
100.在一种可能的实施方式中，在进行原始人像分割模型训练时，可以把样本集中的第一样本图像分为训练第一样本图像和测试第一样本图像，先基于训练第一样本图像对原始人像分割模型进行训练，再基于测试第一样本图像对上述已训练的人像分割模型的可靠程度进行验证。
101.在一种可能的实施方式中，训练所述人像关键点检测模型的过程包括：
102.获取样本集中任一包含有人像关键点的第二样本图像，所述第二样本图像对应有人像关键点样本类别标签、以及所述人像关键点样本类别标签对应的人像关键点在所述第二样本图像中的样本位置信息；其中所述人像关键点样本类别标签用于标识所述第二样本图像中包含的人像关键点的类别；
103.通过原始人像关键点检测模型，确定所述第二样本图像中包含的人像关键点的人像关键点识别类别标签以及对应的识别位置信息；
104.根据所述人像关键点样本类别标签和所述人像关键点识别类别标签，以及所述样本位置信息和所述识别位置信息，对原始人像关键点检测模型进行训练，得到训练完成的人像关键点检测模型。
105.为了可以准确确定人像关键点，在本技术中，样本集中包含多个第二样本图像，每个包含有人像关键点的第二样本图像都对应有该人像关键点对应的人像关键点样本类别标签，该人像关键点样本类别标签用于标识该第二样本图像中包含的人像关键点的类别，其中人像关键点的类别可以是头部、胸部、腹部、膝盖部、足部等。
106.为了可以获取人像关键点的位置信息，第二样本图像还对应有每个人像关键点样本类别标签对应的人像关键点在该第二样本图像中的样本位置信息。样本位置信息可以包括该人像关键点的目标框的左下角、右下角、左上角、右上角或中心点等像素点在第二样本图像中的坐标位置等。
107.在对原始人像关键点检测模型进行训练时，可以获取样本集中任一包含有人像关键点的第二样本图像，该第二样本图像对应有人像关键点样本类别标签、以及该人像关键点样本类别标签对应的人像关键点在该第二样本图像中的样本位置信息。将该获取到的任一第二样本图像输入原始人像关键点检测模型，通过原始人像关键点检测模型，获取该第二样本图像对应的人像关键点的人像关键点识别类别标签以及对应的识别位置信息。
108.具体实施中，确定了输入的第二样本图像的人像关键点识别类别标签和对应的识别位置信息后，因为预先保存了该第二样本图像的人像关键点样本类别标签、以及该人像关键点样本类别标签对应的人像关键点在第二样本图像中的样本位置信息，因此可以根据人像关键点样本类别标签与人像关键点识别类别标签是否一致，以及样本位置信息与识别位置信息是否一致，确定该人像关键点检测模型的识别结果是否准确。具体实施中，若不一致，说明该人像关键点检测模型的识别结果不准确，则需要对该人像关键点检测模型的参数进行调整，从而对人像关键点检测模型进行训练。
109.具体实施中，对人像关键点检测模型中的参数进行调整时，可以采用梯度下降算法，对人像关键点检测模型的参数的梯度进行反向传播，从而对人像关键点检测模型进行训练。
110.在一种可能的实施方式中，可以对样本集中的每个第二样本图像都进行上述操作，当满足预设的收敛条件时，确定该人像关键点检测模型训练完成。
111.其中，满足预设的收敛条件可以为样本集中的第二样本图像通过该原始人像关键点检测模型，被正确识别的第二样本图像的个数大于设定数量，或对人像关键点检测模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
112.在一种可能的实施方式中，在进行原始人像关键点检测模型训练时，可以把样本集中的第二样本图像分为训练第二样本图像和测试第二样本图像，先基于训练第二样本图像对原始人像关键点检测模型进行训练，再基于测试第二样本图像对上述已训练的人像关键点检测模型的可靠程度进行验证。
113.为了提高合照效果的美观性，电子设备(如第一电子设备)可以确定基准人像关键
点，根据该基准人像关键点，对上述基于人像分割模型得到的人像进行调整，使调整后的每个人像中包含的人像关键点均为该基准人像关键点，然后将调整后的人像作为满足设定要求的目标人像，并基于该调整后的人像(满足设定要求的目标人像)进行后续根据目标用户之间的身高比例，对目标人像的尺寸进行调整的步骤。
114.为了准确确定基准人像关键点，在上述各实施例的基础上，在本技术中，所述确定基准人像关键点包括：
115.根据设定的人像关键点，确定所述基准人像关键点；或，
116.将进行视频通话的目标用户的人像中包含人像关键点最少的最少人像关键点，确定为所述基准人像关键点。
117.在一种可能的实施方式中，为了快捷的确定基准人像关键点，可以预先设定一个或多个人像关键点，将设定的人像关键点，确定为基准人像关键点。示例性的，可以预先设定上半身中的头部、胸部等为基准人像关键点。根据该设定的基准人像关键点，从而可以快捷的对进行视频通话的每个用户(目标用户)的人像进行调整。
118.在一种可能的实施方式中，为了提高确定基准人像关键点的灵活性，可以基于当前进行视频通话的每个用户的人像中包含的人像关键点灵活的确定适合当前每个用户的人像的基准人像关键点。具体的，可以将进行视频通话的每个目标用户的人像中包含人像关键点最少的最少人像关键点，确定为基准人像关键点，根据该基准人像关键点，可以灵活的对进行视频通话的每个用户(目标用户)的人像进行调整。
119.为方便理解，下面通过一个具体实施例对本技术提供的确定基准人像关键点的过程进行说明。以预先设定的人像关键点包括头部、胸部、腹部、膝盖部、足部等5个人像关键点为例，如果第一用户和第二用户的人像中包含的人像关键点相同，例如均为该5个人像关键点，则基准人像关键点为头部、胸部、腹部、膝盖部、足部等5个人像关键点，可以认为第一用户和第二用户的人像均为包含完整人像关键点的人像，则可以直接将该人像作为满足设定要求的目标人像。
120.如果第一用户和第二用户的人像中包含的人像关键点不同，参阅图3，图3示出了一些实施例提供的第三种合照生成过程示意图，如图3所示，例如第一用户(用户a)的人像中包含头部、胸部、腹部共3个关键点，而第二用户(用户b)的人像中包含头部、胸部、腹部、膝盖部共4个关键点，可以将头部、胸部、腹部这3个关键点作为基准人像关键点，对第二用户的人像中的人像关键点进行人像关键点匹配，即根据该基准人像关键点，将第二用户的人像中腹部人像关键点以下、膝盖部人像关键点以上的图像进行舍弃，执行对第二用户的人像的调整，调整后的第二用户的人像即为满足设定要求的目标人像，调整后的第二用户的人像与第一用户的人像均为包含头部、胸部、腹部这3个基准人像关键点的人像。以第一用户和第二用户之间的身高比例为1：1为例，可以根据目标用户(第一用户和第二用户)之间的身高比例，将满足设定要求的目标人像的尺寸比例调整为1：1，根据该尺寸调整后的目标人像生成合照时，不仅可以保证合照效果的真实性，还可以提高合照效果的美观性。
121.为了保证合照效果的真实性和美观性，在上述各实施例的基础上，在本技术中，所述根据尺寸调整后的目标人像生成合照包括：
122.确定尺寸调整后的目标人像在合照中的显示位置；
123.基于所述显示位置，生成合照。
124.具体的，电子设备在生成合照时，可以先确定尺寸调整后的每个目标人像在合照中的显示位置，然后将每个目标人像放置在各自对应的显示位置处，以生成合照。在一种可能的实施方式中，在确定目标人像在合照中的显示位置时，可以是基于目标人像在该目标人像所属的视频帧中的横坐标和纵坐标，确定其在合照中的横坐标和纵坐标。示例性的，可以基于目标人像所在的目标框的左下角、右下角、左上角、右上角、中心点等像素点在该目标人像所属的视频帧中的横坐标和纵坐标，确定目标人像在合照中的横坐标和纵坐标。可以理解的，当基于目标人像在该目标人像所属的视频帧中的横坐标和纵坐标，确定其在合照中的横坐标和纵坐标时，用户可以通过前后移动来控制其目标人像在合照中的纵坐标，同时可以通过左右移动来控制其目标人像在合照中的横坐标。
125.在一种可能的实施方式中，在基于目标人像在该目标人像所属的视频帧中的横坐标和纵坐标，确定其在合照中的横坐标和纵坐标时，如果每个用户的目标人像在视频帧中的位置比较杂乱的话，每个用户的目标人像在合照中的显示位置可能也会比较杂乱，从而影响合照效果的美观性和真实性。为了提高合照效果的美观性和真实性，在上述各实施例的基础上，在本技术中，所述确定尺寸调整后的目标人像在合照中的显示位置包括：
126.根据为所述目标用户设定的在合照中的纵坐标，确定所述目标用户的尺寸调整后的目标人像在所述合照中的纵坐标。
127.在一种可能的实施方式中，可以预先为每个目标用户设定其目标框的左下角、右下角、左上角、右上角、中心点等像素点在合照中的纵坐标，针对每个目标用户的目标人像，可以根据预先设定的纵坐标，确定该目标人像在合照中的纵坐标。其中为每个目标用户设定的纵坐标可以相同，也可以不同，可以根据需求灵活设置。示例性的，可以为每个目标用户设定相同的纵坐标，使每个目标用户的目标人像在合照中并列排成一排等。参阅图4，图4示出了一些实施例提供的第四种合照生成过程示意图，如图4所示，图中左侧(图中所示左右)为基于目标人像在该目标人像所属的视频帧中的横坐标和纵坐标，确定其在合照中的横坐标和纵坐标(显示位置)的合照效果示意图，可以看出，每个目标用户的纵坐标(显示位置)比较杂乱，合照效果真实性和美观性较差。图中右侧(图中所示左右)是为每个目标用户设定相同的纵坐标，使每个目标用户的目标人像在合照中并列排成一排的合照效果示意图，可以看出，每个目标用户的显示位置比较齐整，合照效果真实性和美观性较好。
128.其中，每个目标用户在合照中的纵坐标可以根据需求灵活设置，本技术对此不做具体限定。在设置每个目标用户在合照中的纵坐标时，可以先设置其中一个目标用户在合照中的纵坐标，如先设置第一用户在合照中的纵坐标，然后将第二用户在合照中的纵坐标设置为与第一用户的纵坐标相同，或与第一用户的纵坐标间隔设定的距离等，从而完成对第二用户在合照中的纵坐标的设置。
129.在一种可能的实施方式中，可以基于目标人像在该目标人像所属的视频帧中的横坐标，确定其在合照中的横坐标，在此不再赘述。为了保证合照效果的美观性和真实性，在上述各实施例的基础上，在本技术实施例中，所述确定尺寸调整后的目标人像在合照中的显示位置包括：
130.判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
131.在一种可能的实施方式中，在确定尺寸调整后的目标人像在合照中的显示位置时，可以判断纵坐标相同的目标人像的像素点之间是否有重叠，如果有重叠，可以认为合照中位于同一排(纵坐标相同)的目标用户的目标人像之间可能会有遮挡，为了保证合照效果的美观性和真实性，可以根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，使调整后的目标人像之间的横间距为该设定的横间距，从而可以使得纵坐标相同的目标人像之间不互相遮挡。示例性的，参阅图4，将右图中位于左边的人像称为第一人像，将右图中位于右边的人像称为第二人像，可以先确定第一人像所在的目标框的右下角像素点的横坐标、第二人像所在的目标框的左下角像素点的横坐标，调整后的第一人像所在的目标框的右下角像素点的横坐标与调整后的第二人像所在的目标框的左下角像素点的横坐标之间的距离为该设定的横间距。其中横间距可以根据需求灵活设置，例如横间距可以为不小于0的任一数值，本技术对此不做具体限定。
132.为方便理解，下面通过一个具体实施例对本技术提供的合照生成过程进行说明。参阅图5，图5示出了一些实施例提供的一种电子设备结构示意图，如图5所示，电子设备可以为社交电视，电子设备中的摄像头等图像采集模块可以用于采集进行视频通话的用户的视频流，电子设备中的家庭主机接收到合照请求指令后，可以从视频云端服务器中获取进行视频通话的每个视频流，并确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像。电子设备中的家庭主机可以根据保存的用户与身高信息的对应关系，确定进行视频通话的每个目标用户对应的身高信息，根据该身高信息，确定进行视频通话的每个目标用户之间的身高比例；并根据该身高比例，对每个目标人像的尺寸进行调整，进而根据尺寸调整后的目标人像生成合照，并控制电子设备中的显示器(显示终端)显示(播放)生成的合照。在一种可能的实施方式中，电子设备中的家庭主机可以将生成的合照通过视频云端服务器发送给目标用户中的其他目标用户对应的终端，其中其他目标用户为与电子设备中当前登录的目标用户进行视频通话的用户。
133.为方便理解，下面通过一个具体实施例对本技术提供的合照生成过程进行说明。参阅图6，图6示出了一些实施例提供的第五种合照生成过程示意图，如图6所示，该过程包括以下步骤：
134.s601：用户在第一次使用电子设备中的可以生成合照的应用程序app时，电子设备可以通过人脸识别等确定该用户的用户标识信息，并展示输入身高信息的提示信息，用户可以输入对应的身高信息，电子设备可以保存用户(用户标识信息)与身高信息的对应关系。同时，电子设备可以将其保存的用户与身高信息的对应关系上传至视频云端服务器。同时，电子设备可以通过视频云端服务器获取到其他电子设备的用户与身高信息的对应关系并保存。
135.s602：当接收到合照请求指令时，电子设备可以确定进行视频通话的每个用户(目标用户)的用户标识信息，从而可以根据保存的用户与身高信息的对应关系，确定每个目标用户对应的身高信息，并根据每个目标用户的身高信息，确定进行视频通话的每个目标用户之间的身高比例。
136.s603：电子设备将从视频云端服务器中获取的待生成合照的进行视频通话的每个视频流的视频帧输入到预先训练完成的人像分割模型，得到每个视频流的视频帧中包含的目标用户的人像；并将待生成合照的进行视频通话的每个视频流的视频帧输入到预先训练
完成的人像关键点检测模型，确定每个视频流的视频帧中包含的目标用户的人像中包含的人像关键点；确定基准人像关键点，根据该基准人像关键点，对每个人像进行调整，将调整后的人像作为满足设定要求的目标人像，其中调整后的人像中包含的人像关键点为基准人像关键点。
137.s604：电子设备根据进行视频通话的所述目标用户之间的身高比例，对每个满足设定要求的目标人像的尺寸进行调整。
138.s605：电子设备确定尺寸调整后的每个目标人像在合照中的显示位置；基于该显示位置，生成包含尺寸调整后的每个目标人像的合照。
139.s606：电子设备通过视频云端服务器将生成的合照发送给目标用户中的其他目标用户对应的终端，其中其他目标用户为与当前登录的目标用户进行视频通话的用户。
140.基于相同的技术构思，本技术还提供了一种显示设备，图7示出了一些实施例提供的第一种显示设备示意图，如图7所示，该显示设备包括：
141.显示器71，所述显示器71用于显示合照；
142.控制器72，所述控制器72用于执行：
143.根据待生成合照的目标用户之间的身高比例，对视频帧中所述目标用户的目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
144.在一种可能的实施方式中，该显示设备可以完成上述方法中电子设备执行相应功能的步骤，在此不再赘述。
145.基于相同的技术构思，本技术还提供了一种合照生成装置，图8示出了一些实施例提供的第一种合照生成装置示意图，如图8所示，该装置包括：
146.第一确定模块81，用于根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
147.第二确定模块82，用于根据保存的用户与身高信息的对应关系，确定所述目标用户对应的身高信息，根据所述身高信息，确定所述目标用户之间的身高比例；
148.第一生成模块83，用于根据所述身高比例，对所述目标人像的尺寸进行调整，并根据尺寸调整后的目标人像生成合照。
149.在一种可能的实施方式中，所述第一确定模块81，具体用于将待生成合照的视频帧输入到预先训练完成的人像分割模型，将得到的人像，确定为满足设定要求的目标人像。
150.在一种可能的实施方式中，所述第一确定模块81，具体用于将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
151.将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
152.确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的所述目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点。
153.在一种可能的实施方式中，所述第一确定模块81，具体用于根据设定的人像关键点，确定所述基准人像关键点；或，
154.将进行视频通话的目标用户的人像中包含人像关键点最少的最少人像关键点，确定为所述基准人像关键点。
155.在一种可能的实施方式中，所述第一生成模块83，具体用于确定尺寸调整后的目标人像在合照中的显示位置；
156.基于所述显示位置，生成合照。
157.在一种可能的实施方式中，所述第一生成模块83，具体用于根据为所述目标用户设定的在合照中的纵坐标，确定所述目标用户的尺寸调整后的目标人像在所述合照中的纵坐标。
158.在一种可能的实施方式中，所述第一生成模块83，具体用于判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
159.在一种可能的实施方式中，所述装置还包括：
160.第一发送模块，用于将生成的所述合照发送给目标用户中的其他目标用户对应的终端，其中所述其他目标用户为与当前登录的目标用户进行视频通话的用户。
161.在一种可能的实施方式中，在上述各实施例的基础上，本技术还提供了一种合照生成方法，参阅图9，图9示出了一些实施例提供的第六种合照生成过程示意图，如图9所示，该过程包括以下步骤：
162.s901：根据接收到的合照请求指令，将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
163.s902：将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
164.s903：确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
165.s904：根据所述目标人像生成合照。
166.本技术实施例提供的合照生成方法应用于电子设备，该电子设备例如可以是pc、移动终端等设备，也可以是服务器、家庭大脑、社交电视等。
167.由于本技术可以基于确定的基准人像关键点，对目标用户的人像进行调整，调整后的人像中包含的人像关键点均为基准人像关键点，基于调整后的人像(目标人像)生成合照时，相比基于未调整的人像生成合照，可以提高合照效果的美观性及真实性。
168.在一种可能的实施方式中，所述确定基准人像关键点包括：
169.根据设定的人像关键点，确定所述基准人像关键点；或，
170.将进行视频通话的目标用户的人像中包含人像关键点最少的最少人像关键点，确定为所述基准人像关键点。
171.在一种可能的实施方式中，所述根据所述目标人像生成合照包括：
172.确定所述目标人像在合照中的显示位置；
173.基于所述显示位置，生成合照。
174.在一种可能的实施方式中，所述确定所述目标人像在合照中的显示位置包括：
175.根据为所述目标用户设定的在合照中的纵坐标，确定所述目标用户的目标人像在所述合照中的纵坐标。
176.在一种可能的实施方式中，所述确定所述目标人像在合照中的显示位置包括：
177.判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
178.在一种可能的实施方式中，所述方法还包括：
179.将生成的所述合照发送给目标用户中的其他目标用户对应的终端，其中所述其他目标用户为与当前登录的目标用户进行视频通话的用户。
180.基于相同的技术构思，本技术还提供了一种显示设备，图10示出了一些实施例提供的第二种显示设备示意图，如图10所示，该显示设备包括：
181.显示器101，所述显示器101用于显示合照；
182.控制器102，所述控制器102用于执行：
183.确定基准人像关键点，根据所述基准人像关键点，对待生成合照的视频帧中包含的目标用户的人像进行调整；将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
184.根据所述目标人像生成合照。
185.在一种可能的实施方式中，该显示设备可以完成上述方法中电子设备执行相应功能的步骤，在此不再赘述。
186.基于相同的技术构思，本技术还提供了一种合照生成装置，图11示出了一些实施例提供的第二种合照生成装置示意图，如图11所示，该装置包括：
187.第一输入模块111，用于根据接收到的合照请求指令，将待生成合照的视频帧输入到预先训练完成的人像分割模型，得到所述视频帧中包含的目标用户的人像；
188.第二输入模块112，用于将所述视频帧输入到预先训练完成的人像关键点检测模型，确定所述视频帧的人像中包含的人像关键点；
189.调整模块113，用于确定基准人像关键点，根据所述基准人像关键点，对所述人像进行调整，将调整后的人像作为满足设定要求的目标人像；其中所述调整后的人像中包含的人像关键点为所述基准人像关键点；
190.第二生成模块114，用于根据所述目标人像生成合照。
191.在一种可能的实施方式中，所述调整模块113，具体用于根据设定的人像关键点，确定所述基准人像关键点；或，
192.将进行视频通话的目标用户的人像中包含人像关键点最少的最少人像关键点，确定为所述基准人像关键点。
193.在一种可能的实施方式中，所述第二生成模块114，具体用于确定所述目标人像在合照中的显示位置；基于所述显示位置，生成合照。
194.在一种可能的实施方式中，所述第二生成模块114，具体用于根据为所述目标用户设定的在合照中的纵坐标，确定所述目标用户的目标人像在所述合照中的纵坐标。
195.在一种可能的实施方式中，所述第二生成模块114，具体用于判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
196.在一种可能的实施方式中，所述装置还包括：
197.第二发送模块，用于将生成的所述合照发送给目标用户中的其他目标用户对应的
终端，其中所述其他目标用户为与当前登录的目标用户进行视频通话的用户。
198.在一种可能的实施方式中，在上述各实施例的基础上，本技术还提供了一种合照生成方法，参阅图12，图12示出了一些实施例提供的第七种合照生成过程示意图，如图12所示，该过程包括以下步骤：
199.s1201：根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
200.s1202：根据为所述目标用户设定的在合照中的显示位置的纵坐标，确定所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
201.s1203：基于所述显示位置，生成合照。
202.本技术实施例提供的合照生成方法应用于电子设备，该电子设备例如可以是pc、移动终端等设备，也可以是服务器、家庭大脑、社交电视等。
203.由于本技术可以根据为目标用户设定的在合照中的显示位置的纵坐标，确定目标用户的目标人像在合照中的显示位置的纵坐标，基于该显示位置生成合照时，相比相关技术中不为目标用户设定在合照中的显示位置的纵坐标而言，可以提高合照效果的美观性及真实性。
204.在一种可能的实施方式中，所述方法还包括：
205.判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
206.在一种可能的实施方式中，所述方法还包括：
207.将生成的所述合照发送给目标用户中的其他目标用户对应的终端，其中所述其他目标用户为与当前登录的目标用户进行视频通话的用户。
208.基于相同的技术构思，本技术还提供了一种显示设备，图13示出了一些实施例提供的第三种显示设备示意图，如图13所示，该显示设备包括：
209.显示器131，所述显示器131用于显示合照；
210.控制器132，所述控制器132用于执行：
211.根据为待生成合照的目标用户设定的在合照中的显示位置的纵坐标，确定视频帧中所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
212.基于所述显示位置，生成合照。
213.在一种可能的实施方式中，该显示设备可以完成上述方法中电子设备执行相应功能的步骤，在此不再赘述。
214.基于相同的技术构思，本技术还提供了一种合照生成装置，图14示出了一些实施例提供的第三种合照生成装置示意图，如图14所示，该装置包括：
215.第三确定模块141，用于根据接收到的合照请求指令，确定待生成合照的视频帧中包含的目标用户的满足设定要求的目标人像；
216.第四确定模块142，用于根据为所述目标用户设定的在合照中的显示位置的纵坐标，确定所述目标用户的目标人像在所述合照中的显示位置的纵坐标；
217.第三生成模块143，用于基于所述显示位置，生成合照。
218.在一种可能的实施方式中，所述装置还包括：
219.判断模块，用于判断纵坐标相同的目标人像的像素点之间是否有重叠，若是，则根据设定的横间距，对该纵坐标相同的目标人像的横坐标进行调整，基于调整后的横坐标，确定该目标人像在合照中的显示位置。
220.在一种可能的实施方式中，所述装置还包括：
221.第三发送模块，用于将生成的所述合照发送给目标用户中的其他目标用户对应的终端，其中所述其他目标用户为与当前登录的目标用户进行视频通话的用户。
222.基于相同的技术构思，本技术还提供了一种电子设备。图15示出了一些实施例提供的一种电子设备结构示意图，如图15所示，包括：处理器151、通信接口152、存储器153和通信总线154，其中，处理器151，通信接口152，存储器153通过通信总线154完成相互间的通信；
223.所述存储器153中存储有计算机程序，当所述程序被所述处理器151执行时，使得所述处理器151以完成上述方法中电子设备执行相应功能的步骤。
224.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
225.通信接口152用于上述电子设备与其他设备之间的通信。
226.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
227.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
228.基于相同的技术构思，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，计算机可执行指令用于使计算机执行前述方法部分所执行的流程。
229.上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd)等。
230.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
231.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到
通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
232.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
233.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
234.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。