一种目标片段组合的确定方法、装置及电子设备与流程
- 国知局
- 2024-08-02 14:46:35
本发明涉及计算机,特别是涉及一种目标片段组合的确定方法、装置及电子设备。
背景技术:
1、在视频播放平台对电影、电视剧等视频进行管理的场景下,需要从一个视频中选取能够反映视频整体剧情的多个片段的组合,作为目标片段组合,用于后续的内容生产,例如,可以在视频播放端的进度条上,标记出目标片段组合中每一片段对应的播放进度,并添加相应的剧情描述,以便用户观看。
2、然而,目前仍需要工作人员观看视频并梳理剧情,才能从视频中挑选出多个片段得到目标片段组合,导致人力成本较大,效率较低,很难覆盖大量的影视剧。因此,如何提高从视频中确定能够反映视频整体剧情的目标片段组合的效率,是亟待解决的问题。
技术实现思路
1、本发明实施例的目的在于提供一种目标片段组合的确定方法、装置及电子设备,以实现提高从视频中确定能够反映视频整体剧情的目标片段组合的效率。具体技术方案如下:
2、在本发明实施的第一方面,首先提供了一种目标片段组合的确定方法,所述方法包括:
3、获取待处理视频所包含故事线的故事线描述,以及所述待处理视频的多个视频片段预设的片段剧情描述;
4、在所述待处理视频包含多条故事线的情况下,针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和所述待处理视频的多条故事线的故事线描述,确定该视频片段所属的故事线;其中,所述第一大语言模型为:基于第一样本视频的第一样本视频片段的片段剧情描述、所述第一样本视频的多条故事线的故事线描述,以及表示所述第一样本视频片段所属的故事线的真值,训练得到的;
5、从所述待处理视频的各个片段组合中,确定预测值最高的片段组合为目标片段组合;其中,每一片段组合包含所述待处理视频的至少一个视频片段,各个片段组合所包含视频片段的数目相同;每一片段组合的预测值为基于该片段组合所包含的各个视频片段所属故事线的第一数目确定的,且每一片段组合的预测值与该片段组合的第一数目正相关。
6、可选地,所述获取待处理视频所包含故事线的故事线描述,包括:
7、获取所述待处理视频预设的视频剧情描述;
8、组合所获取的视频剧情描述与预设的第二提示语模板,得到第二提示语;其中,组合所述第二提示语模板与一视频的视频剧情描述所得到的提示语,用于指示预先训练的第二大语言模型基于该视频剧情描述输出该视频所包含的故事线的故事线描述;第二大语言模型为:基于组合第二样本视频的视频剧情描述与所述第二提示语模板所得到的提示语,以及表示所述第二样本视频所包含故事线的故事线描述的真值,训练得到的;
9、利用所述预先训练的第二大语言模型,基于所述第二提示语,确定所述待处理视频所包含的多条故事线的故事线描述。
10、可选地,每一条故事线的故事线描述包括:该故事线中至少一个情节的情节描述;
11、所述针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和所述待处理视频的多条故事线的故事线描述,确定该视频片段所属的故事线,包括:
12、针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和每一条故事线中各个情节的情节描述,确定该视频片段所属的情节。
13、可选地,所述针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和每一条故事线中各个情节的情节描述,确定该视频片段所属的情节,包括:
14、对每一视频片段的片段剧情描述进行向量化处理,得到该视频片段对应的第一向量;
15、对所述待处理视频的各个情节的情节描述进行向量化处理,得到该情节对应的第二向量;
16、针对每一情节,确定与该情节对应的第二向量相似度最高的指定数目个第一向量所对应的视频片段,作为该情节当前对应的待利用视频片段,并利用预先训练的第一大语言模型,基于该情节当前对应的待利用视频片段的片段剧情描述,及该情节的情节描述,从该情节当前对应的待利用视频片段中确定与该情节匹配的视频片段,及匹配度;
17、针对每一视频片段,从与该视频片段匹配的情节中,确定匹配度最高的情节,作为该视频片段所属的情节。
18、可选地,所述利用预先训练的第一大语言模型,基于该情节当前对应的待利用视频片段的片段剧情描述,及该情节的情节描述,从该情节当前对应的待利用视频片段中确定与该情节匹配的视频片段,及匹配度,包括:
19、组合该情节当前对应的待利用视频片段的片段剧情描述、该情节的情节描述,以及预设的第一提示语模板,得到当前待利用的第一提示语;其中,组合所述第一提示语模板与一情节对应的待利用视频片段的片段剧情描述,及该情节的情节描述所得到的提示语,用于指示预先训练的第一大语言模型确定该情节中是否存在与该情节匹配的视频片段,并在存在的情况下,确定与该情节最匹配的视频片段;
20、将当前待利用的第二提示语输入所述第一大语言模型,从该情节当前对应的待利用视频片段中,确定与该情节最匹配的视频片段;
21、将与该情节最匹配的视频片段,从该情节当前对应的待利用视频片段中删除,并返回执行所述组合该情节当前对应的待利用视频片段的片段剧情描述、该情节的情节描述,以及预设的第一提示语模板,得到当前待利用的第一提示语的步骤,直至该情节当前对应的待利用视频片段中不存在与该情节匹配的视频片段;
22、按照属于该情节的视频片段的确定顺序,为属于该情节的各视频片段设置针对该情节的匹配度;其中,每一视频片段针对该情节的匹配度与该视频片段被确定为最匹配的视频片段的次序负相关。
23、可选地,在所述从所述待处理视频的各个片段组合中,确定预测值最高的片段组合为目标片段组合之前,所述方法包括:
24、针对每一片段组合,根据该片段组合所属故事线的第一数目和辅助信息,确定该片段组合的预测值;
25、其中,每一片段组合的辅助信息包括以下至少一种:该片段组合中各视频片段的总时长、该片段组合中各视频片段所覆盖的指定时刻的第二数目、该片段组合中各视频片段对应的播放进度在所述待处理视频中的离散程度;所述指定时刻包括:所述待处理视频中被观看次数大于第一预设阈值的时刻,和/或所述待处理视频中弹幕数目大于第二预设阈值的时刻;所述第一数目与预测值正相关;所述总时长与预测值正相关;所述第二数目与预测值正相关;所述离散程度与预测值负相关。
26、在本发明实施的第二方面,还提供了一种目标片段组合的确定装置,所述装置包括:
27、描述获取单元,用于获取待处理视频所包含故事线的故事线描述,以及所述待处理视频的多个视频片段预设的片段剧情描述;
28、故事线确定单元,用于在所述待处理视频包含多条故事线的情况下,针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和所述待处理视频的多条故事线的故事线描述,确定该视频片段所属的故事线;其中,所述第一大语言模型为:基于第一样本视频的第一样本视频片段的片段剧情描述、所述第一样本视频的多条故事线的故事线描述,以及表示所述第一样本视频片段所属的故事线的真值,训练得到的;
29、目标片段组合确定单元,用于从所述待处理视频的各个片段组合中,确定预测值最高的片段组合为目标片段组合;其中,每一片段组合包含所述待处理视频的至少一个视频片段,各个片段组合所包含视频片段的数目相同;每一片段组合的预测值为基于该片段组合所包含的各个视频片段所属故事线的第一数目确定的,且每一片段组合的预测值与该片段组合的第一数目正相关。
30、可选地,所述描述获取单元,包括:
31、视频剧情描述获取子单元,用于获取所述待处理视频预设的视频剧情描述;
32、第一组合子单元,用于组合所获取的视频剧情描述与预设的第二提示语模板,得到第二提示语;其中,组合所述第二提示语模板与一视频的视频剧情描述所得到的提示语,用于指示预先训练的第二大语言模型基于该视频剧情描述输出该视频所包含的故事线的故事线描述;第二大语言模型为:基于组合第二样本视频的视频剧情描述与所述第二提示语模板所得到的提示语,以及表示所述第二样本视频所包含故事线的故事线描述的真值,训练得到的;
33、故事线描述确定子单元,用于利用所述预先训练的第二大语言模型,基于所述第二提示语,确定所述待处理视频所包含的多条故事线的故事线描述。
34、在本发明实施的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
35、存储器,用于存放计算机程序;
36、处理器,用于执行存储器上所存放的程序时,实现上述任一所述的目标片段组合的确定方法。
37、在本发明实施的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的目标片段组合的确定方法。
38、在本发明实施的第五方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的目标片段组合的确定方法。
39、在本发明实施的第六方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的目标片段组合的确定方法。
40、本发明实施例提供的重要情节片段组合的确定方法,通过获取待处理视频的剧情所包含故事线的故事线描述,以及待处理视频的多个视频片段的片段剧情描述;在待处理视频包含多条故事线的情况下,针对每一视频片段,利用预先训练的第一大语言模型,基于该视频片段的片段剧情描述和待处理视频的多条故事线的故事线描述,能够确定该视频片段所属的故事线,并且每一片段组合的预测值为基于该片段组合所包含的各个视频片段所属故事线的第一数目确定的,每一片段组合的第一数目与该片段组合的预测值正相关;进而能够自动化地从待处理视频的各个片段组合中,确定预测值最高的片段组合作为目标片段组合,且所确定的目标片段组合也能够较好地反映待处理视频的整体剧情。因此,通过本方案能够提高从视频中确定能够反映视频整体剧情的目标片段组合的效率。
本文地址:https://www.jishuxx.com/zhuanli/20240801/243853.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表