一种多媒体内容生成方法、电子设备及存储介质与流程

本技术涉及人工智能领域，具体涉及一种多媒体内容生成方法、电子设备及存储介质。

背景技术：

1、在当前的电子阅读领域，用户对于听书和阅读体验的需求日益增长，传统的阅读方式已无法满足用户对于个性化和互动性的追求。在多角色文本阅读的场景中，例如终端设备上的阅读应用程序（application，app）中，会根据文本生成各个角色的语音和形象。

2、然而，现在的多媒体内容生成方法无法随着情节推进同步更新各个角色的语音和形象，导致多媒体内容与文本的信息不同步。

技术实现思路

1、本技术的目的在于提供一种多媒体内容生成方法、电子设备及存储介质。

2、第一方面，本技术提供一种多媒体内容生成方法， 包括：检测到用户浏览电子文档的第一文本单元，在第一界面显示第一角色的第一形象，其中第一形象对应于第一角色在第一文本单元中的第一人物特征；检测到用户浏览电子文档的第二文本单元，在第二界面显示第一角色的第二形象，其中第二文本单元不同于第一文本单元，第二形象不同于第一形象，第二形象对应于第一角色在第二文本单元中的第二人物特征。

3、即在本技术实施例中，第二文本单元不同于第一文本单元，例如第二文本单元在第一文本单元之后。例如，第一文本单元是第n章，第二文本单元是第n+1章。第一人物特征、第二人物特征在下文中又称文字特征，即第一人物特征为第一文本单元中描述第一角色的文字特征，第二人物特征为第二文本单元中描述第一角色的文字特征。通过本技术实施例，在用户浏览第一文本单元时显示第一文本单元中第一角色的第一形象，在用户浏览第二文本单元时显示第二文本单元中第一角色的第二形象，可以使第一角色的形象能够分别匹配该角色在文本单元中的人物特征，并且能够随着文本的推进而更新，从而使形象与文本的信息同步。

4、在上述第一方面的一种可能的实现中，第一形象是电子文档的配图中第一角色的形象，第二形象是电子文档的配图中第一角色的形象，并且配图包括封面图、人物介绍图或插图中的至少一种。

5、在上述第一方面的一种可能的实现中，第一界面和第二界面相同，并且在第二界面显示第一角色的第二形象，包括：将第一界面中的第一形象更新为第二形象。

6、即在本技术实施例中，第一界面、第二界面可以是封面图，例如电子书的封面图。通过本技术实施例，可以随着用户的阅读进度，实时更新封面的角色形象，使封面图像与最新文本单元匹配，从而使用户在封面浏览和文本阅读上获得一致的阅读体验。

7、在上述第一方面的一种可能的实现中，方法还包括：检测到第二文本单元中的第一角色的第二人物特征与第一角色在第一文本单元中的第一人物特征不同，生成第二形象。

8、即在本技术实施例中，在第二文本单元中不存在第一角色的描述内容的情况下，第一角色的第二人物特征与第一角色的第一人物特征相同，此时无需生成第二形象，可以直接在第二界面显示第一角色的第一形象。在第二文本单元中存在第一角色的描述内容的情况下，若基于上述的描述内容确定的第二人物特征与第一文本单元中的第一人物特征相同，也无需生成第二形象。如此，可以避免模型进行多余的推理，节约算力。

9、在上述第一方面的一种可能的实现中，第一界面和第二界面不同，第一界面为第一文本单元的浏览界面，第二界面为第二文本单元的浏览界面。

10、即在本技术实施例中，可以基于各个文本单元中的人物特征生成各个文本单元中的角色形象，使各个文本单元的角色形象和角色在各个文本单元中的人物特征相匹配，从而使用户在角色形象浏览和文本阅读上获得一致的阅读体验。

11、在上述第一方面的一种可能的实现中，方法还包括：确定电子文档中描述第一角色的文本单元；基于文本单元中第一角色的人物特征，生成文本单元对应第一角色的形象。

12、即在本技术实施例中，可以预先生成第一角色在文本单元的形象。例如，在第一文本单元、第二文本单元、第三文本单元中，第一文本单元中存在描述第一角色的文本内容；则可以基于第一文本单元中描述第一角色的文本，确定第一角色在第一文本单元中的第一人物特征，从而生成第一文本单元、第二文本单元、第三文本单元中对应第一角色的第一形象。

13、在上述第一方面的一种可能的实现中，方法还包括：接收服务器发送的角色素材，其中，基于文本单元中第一角色的人物特征，生成文本单元对应第一角色的形象，包括：对第一文本单元中第一角色的第一人物特征进行特征转换，得到第一图像特征；将第一图像特征和角色素材进行形象合成，得到第一角色的第一形象。

14、即在本技术实施例中，服务器可以进行角色素材的搜集，或者基于端侧上传的角色形象、形象特征、人物特征等数据对角色素材进行扩展，并将角色素材下发至电子设备，用于端侧的形象合成。其中，在第一文本单元属于全部文本单元中第一个文本单元的情况下，可以直接在角色素材的基础上进行形象合成。

15、在上述第一方面的一种可能的实现中，方法还包括：对第二文本单元中第一角色的第二人物特征进行特征转换，得到第二图像特征；将第二图像特征和第一角色的第一形象进行形象合成，得到第一角色的第二形象。

16、即在本技术实施例中，对于第一个文本单元之后的文本单元，可以在前一个文本单元的形象的基础上进行形象合成，得到当前文本单元的角色形象。

17、在上述第一方面的一种可能的实现中，方法还包括：对应于得到第一角色的第一形象，向端侧数据库存储第一角色的第一形象；检测到用户浏览电子文档的第二文本单元，从端侧数据库中获取第一角色的第一形象。

18、即在本技术实施例中，生成第一角色的形象之后，可以将生成的形象作为历史形象存储在端侧的端侧数据库中。后续用户浏览到新的文本单元时，可以从端侧数据库中获取近期生成的历史形象，以基于历史形象合成新的文本单元中第一角色的新形象。

19、在上述第一方面的一种可能的实现中，方法还包括：接收服务器发送的特征提取模型和特征转化模型，其中，第一人物特征由特征提取模型从第一文本单元中提取得到，第二人物特征由特征提取模型从第二文本单元中提取得到，第一图像特征由特征转换模型对第一人物特征转换得到，第二图像特征由特征转换模型对第二人物特征转换得到。

20、即在本技术实施例中，特征提取和特征转换所使用的模型可以由云端下发至端侧的电子设备，以节约端侧的算力。

21、在上述第一方面的一种可能的实现中，方法还包括：在端侧数据库中存储端侧数据，其中端侧数据包括第一图像特征、第一人物特征、第一形象、第二图像特征、第二人物特征、第二形象；建立端侧数据的数据关联关系，其中数据关联关系包括第一图像特征、第一人物特征、第一形象的关联关系，以及第二图像特征、第二人物特征、第二形象的关联关系；向服务器上传端侧数据和端侧数据的数据关联关系，其中端侧数据和端侧数据的数据关联关系用于使云服务器基于端侧数据更新角色素材，并基于端侧数据训练特征提取模型和特征转化模型。

22、即在本技术实施例中，云侧可以基于端侧上传的数据进行模型训练和素材扩展，以结合多个用户的个性化数据进行模型和素材的更新。例如，基于端侧每次合成的形象，以及合成形象所用到的图像特征，在云端不断训练更新特征转换模型。又例如，端侧数据还可以包括用户对角色形象的设置操作所对应的调整参数的数据，以及调整后生成的角色形象，云侧可以根据端侧上传的角色形象对素材进行更新，形成标准化的素材。云侧可以将模型和素材下发至各个端侧的电子设备，使各个端侧都能生成更贴合文本的形象，从而优化全体用户的阅读体验。

23、在上述第一方面的一种可能的实现中，方法还包括：基于第一角色的第一形象、第一图像特征对特征转换模型进行训练，得到更新后的特征转换模型；和/或；基于第一角色的第二形象、第二图像特征对特征转换模型进行训练，得到更新后的特征转换模型。

24、即在本技术实施例中，端侧可以利用端侧数据对特征转换模型进行训练，从而能够在离线状态下实现自训练和端侧模型更新。

25、在上述第一方面的一种可能的实现中，方法还包括：检测到用户对第二形象的修改操作，将第二形象更新为第三形象。

26、即在本技术实施例中，用户可以基于用户界面对第二形象执行修改操作，例如肤色调白一度，此时可以将第二形象更新为第三形象，例如第三形象相比于第二形象肤色亮白了一度。如此，用户可以在本地对形象进行个性化调整，以显示符合用户需求的角色形象。

27、在上述第一方面的一种可能的实现中，修改操作是基于修改界面的操作，方法还包括：响应于用户的第一操作，显示修改界面，其中，第一操作包括以下的至少一种：在第二界面对第二形象的点击操作；对阅读应用程序的设置控件的点击操作，其中用户通过阅读应用程序浏览电子文档。

28、即在本技术实施例中，用户可以通过点击设置控件以进入修改界面，或者直接通过点击角色形象，例如第一形象、第二形象等进入修改界面。

29、在上述第一方面的一种可能的实现中，方法还包括：接收到用户针对电子文档发表的第一评论；对应于第一评论包括对第二形象的调整意图信息，将第二界面中的第二形象更新为第四形象，其中第四形象和第二形象不同。

30、即在本技术实施例中，可以对用户在评论区发表的评论进行分析，确定其中的调整意图信息，例如将第一角色的形象年轻化的信息，然后将第二形象进行更新，得到年轻化的第四信息。

31、在上述第一方面的一种可能的实现中，第一文本单元和第二文本单元为章节或段落中的一种。

32、第二方面，本技术提供一种电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，当处理器执行存储器中的指令时，可使得电子设备执行上述任一项的方法。

33、第三方面，本技术实施例提供一种芯片系统，所述芯片系统包括处理电路、存储介质，所述存储介质中存储有指令；所述指令被所述处理电路执行时，实现上述的多媒体内容生成方法。

34、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的多媒体内容生成方法。

35、第五方面，本技术实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述的多媒体内容生成方法。