视频质量评价方法、装置、设备及存储介质与流程

本申请涉及人工智能，尤其涉及一种视频质量评价方法、装置、设备及存储介质。

背景技术：

1、随着人工智能、虚拟现实等新技术浪潮的发展，以虚拟主播、虚拟员工等为代表的数字人成功进入大众视野，并以多元的姿态在影视、游戏、传媒、文旅、金融或保险等众多领域大放异彩。语音驱动数字人形象技术是数字人应用的基础，其目标是根据输入的语音信息合成目标人物的视频，即数字人说话视频。目前，主要是由测试人员观看数字人说话视频，主观判断数字人说话视频的质量，效率和准确性较低。因此，如何提高确定数字人说话视频的质量的效率和准确性是目前亟待解决的问题。

技术实现思路

1、本申请实施例提供一种视频质量评价方法、装置、设备及存储介质，旨在提高确定数字人说话视频的质量的效率和准确性。

2、第一方面，本申请实施例提供一种视频质量评价方法，包括：

3、获取待评价的数字人说话视频，并从所述数字人说话视频中分离出数字人说话数据和数字人图像数据；

4、确定所述数字人说话数据的第一质量评分，并确定所述数字人图像数据的第二质量评分；

5、对所述数字人说话数据中的语音特征进行编码处理，得到语音特征向量，对所述数字人图像数据中的人脸特征进行编码处理，得到人脸特征向量；

6、确定所述语音特征向量与所述人脸特征向量之间的相似度，根据所述相似度，确定第三质量评分；

7、根据所述第一质量评分、所述第二质量评分和所述第三质量评分，确定所述数字人说话视频的目标质量评分。

8、第二方面，本申请实施例还提供一种视频质量评价装置，所述视频质量评价装置包括：

9、获取模块，用于获取待评价的数字人说话视频；

10、音视频分离模块，用于从所述数字人说话视频中分离出数字人说话数据和数字人图像数据；

11、评分确定模块，用于确定所述数字人说话数据的第一质量评分，确定所述数字人图像数据的第二质量评分；

12、编码模块，用于对所述数字人说话数据中的语音特征进行编码处理，得到语音特征向量，对所述数字人图像数据中的人脸特征进行编码处理，得到人脸特征向量；

13、相似度确定模块，用于确定所述语音特征向量与所述人脸特征向量之间的相似度；

14、所述评分确定模块，还用于根据所述相似度，确定第三质量评分；

15、质量评分模块，用于根据所述第一质量评分、所述第二质量评分和所述第三质量评分，确定所述数字人说话视频的目标质量评分。

16、第三方面，本申请实施例还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如第一方面所述的视频质量评价方法的步骤。

17、第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如第一方面所述的视频质量评价方法的步骤。

18、本申请实施例提供一种视频质量评价方法、装置、设备及存储介质，该方法通过从数字人说话视频中分离出数字人说话数据和数字人图像数据，并分别确定数字人说话数据的质量评分和数字人图像数据的质量评分，同时基于数字人说话数据中的语音特征对应的向量与数字人图像数据中的人脸特征对应的向量之间的相似度，确定第三质量评分，最后再综合数字人说话数据的质量评分、数字人图像数据的质量评分以及第三质量评分，能够得到数字人说话视频的准确质量评分，并且整个过程不需要测试人员参与，极大地提高了确定数字人说话视频的质量的效率和准确性。

技术特征：

1.一种视频质量评价方法，其特征在于，包括：

2.根据权利要求1所述的视频质量评价方法，其特征在于，所述数字人说话数据包括n个数字人语音片段，所述数字人图像数据包括与所述n个数字人语音片段对齐的n个数字人图像片段，每个所述数字人语音片段与对齐的所述数字人图像片段的时间轴相同，所述语音特征向量包括n个语音特征子向量，所述人脸特征向量包括与所述n个语音特征子向量对齐的n个人脸特征子向量，一个所述语音特征子向量与一个所述数字人语音片段对应，一个所述人脸特征子向量与一个所述数字人图像片段对应，n为大于或等于2的正整数；

3.根据权利要求2所述的视频质量评价方法，其特征在于，所述确定所述语音特征向量与所述人脸特征向量之间的相似度，包括：

4.根据权利要求3所述的视频质量评价方法，其特征在于，所述根据每个所述语音特征子向量与各自对齐的所述人脸特征子向量的余弦相似度，确定所述语音特征向量与所述人脸特征向量之间的相似度，包括：

5.根据权利要求1所述的视频质量评价方法，其特征在于，所述根据所述相似度，确定第三质量评分，包括：

6.根据权利要求1-4中任一项所述的视频质量评价方法，其特征在于，所述根据所述第一质量评分、所述第二质量评分和所述第三质量评分，确定所述数字人说话视频的目标质量评分，包括：

7.根据权利要求1-4中任一项所述的视频质量评价方法，其特征在于，所述根据所述第一质量评分、所述第二质量评分和所述第三质量评分，确定所述数字人说话视频的目标质量评分之后，还包括：

8.一种视频质量评价装置，其特征在于，所述视频质量评价装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的视频质量评价方法的步骤。

10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的视频质量评价方法的步骤。

技术总结本申请涉及人工智能领域，提供了一种视频质量评价方法、装置、设备及存储介质，该方法包括：获取待评价的数字人说话视频，并从数字人说话视频中分离出数字人说话数据和数字人图像数据；确定数字人说话数据的第一质量评分，并确定数字人图像数据的第二质量评分；对数字人说话数据中的语音特征进行编码处理，得到语音特征向量，对数字人图像数据中的人脸特征进行编码处理，得到人脸特征向量；确定语音特征向量与人脸特征向量之间的相似度，根据相似度，确定第三质量评分；根据第一质量评分、第二质量评分和第三质量评分，确定数字人说话视频的目标质量评分。本申请提高了确定数字人说话视频的质量的效率和准确性。技术研发人员：张旭龙,王健宗,程宁,史屹琛受保护的技术使用者：平安科技（深圳）有限公司技术研发日：技术公布日：2024/11/4