基于深度学习的低俗直播行为监测方法与流程

1.本发明涉及在线视频监控的技术领域，特别涉及基于深度学习的低俗直播行为监测方法。


背景技术：

2.直播已经成为人们进行网络交流的一种重要方式。随着直播行业的发展，直播人员为了赚取流量，很可能在直播过程中做出一些低俗行为。现有技术通常是通过观众举报或者直播平台监管人员巡查等人工监督方式来对这些低俗行为进行举报。在同一时段内直播间的数量庞大，仅仅依靠人工监督方式无法对所有直播间进行全面化的覆盖监测，这不仅需要耗费大量的人力时间来完成直播间的全程监测，同时还不可避免发生低俗直播行为遗漏监测的情况，降低低俗直播行为监测的准确性和及时性。


技术实现要素：

3.针对现有技术存在的缺陷，本发明提供基于深度学习的低俗直播行为监测方法，其对不同直播平台的历史直播视频数据包含的视频画面数据和视频声音数据进行分析处理，得到低俗直播行为数据库；再从实时直播视频数据中提取得到直播画面数据和直播声音数据，将其与低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；将低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限，其通过构建低俗直播行为数据库的方式将直播过程中可能存在的低俗直播行为进行统计收集，这样为后续对目标直播平台进行监测提供可靠全面的判断基准，体能够有效避免发生低俗直播行为遗漏监测的情况，提高低俗直播行为监测的准确性和及时性。
4.本发明提供基于深度学习的低俗直播行为监测方法，其包括如下步骤：
5.步骤s1，获取不同直播平台的历史直播视频数据，对所述历史直播视频数据进行画面和声音分离处理，得到相应的视频画面数据和视频声音数据；将所述视频画面数据和所述视频声音数据分组保存到区块链中；
6.步骤s2，对所述视频画面数据和所述视频声音数据分别进行分析处理，得到直播平台在历史直播过程中直播人员的身体属性信息和语音属性信息，从而形成历史直播信息集合；并根据所述历史直播信息集合，生成低俗直播行为数据库；
7.步骤s3，获取目标直播平台的实时直播视频数据，从所述实时直播视频数据中提取得到直播画面数据和直播声音数据；将所述直播画面数据和所述直播声音数据与所述低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；
8.步骤s4，将所述低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限。
9.进一步，在所述步骤s1中，获取不同直播平台的历史直播视频数据，对所述历史直播视频数据进行画面和声音分离处理，得到相应的视频画面数据和视频声音数据具体包
括：
10.向直播管理平台发送历史直播视频数据获取请求，直播管理平台从历史直播视频数据获取请求中提取得到需要获取的历史直播视频数据对应的直播端口信息；
11.根据所述直播端口信息，从历史直播视频录屏数据库中选择相匹配的历史直播视频数据；
12.再对选择的历史直播视频数据进行画面与声音分离处理，得到相应的视频画面数据和视频声音数据。
13.进一步，在所述步骤s1中，将所述视频画面数据和所述视频声音数据分组保存到区块链中具体包括：
14.对所述视频画面数据和所述视频声音数据绑定所述直播端口信息后，将所述视频画面数据和所述视频声音数据分别保存在区块链的画面数据存储区间和声音数据存储区间。
15.进一步，在所述步骤s2中，对所述视频画面数据和所述视频声音数据分别进行分析处理，得到直播平台在历史直播过程中直播人员的身体属性信息和语音属性信息，从而形成历史直播信息集合具体包括：
16.对所述视频画面数据进行识别处理，得到在历史直播过程中直播人员的脸部特征信息、肢体动作信息和身体暴露区域信息；
17.对所述视频声音数据进行识别处理，得到在历史直播过程中直播人员的语音语义信息；
18.将所述脸部特征信息、所述肢体动作信息、所述身体暴露区域信息和所述语音语义信息共同组成历史直播信息集合。
19.进一步，在所述步骤s2中，根据所述历史直播信息集合，生成低俗直播行为数据库具体包括：
20.从所述脸部特征信息中提取得到直播人员存在的违规嘴部动作行为；
21.从所述肢体动作信息中提取得到直播人员存在的违规肢体动作行为；
22.从所述身体暴露区域信息中提取得到直播人员存在的违规身体暴露行为；
23.从所述语音语义信息中提取得到直播人员存在的违规说话行为；
24.将所述违规嘴部动作行为、所述违规肢体动作行为、所述违规身体暴露行为和所述违规说话行为，共同组成低俗直播行为数据库。
25.进一步，在所述步骤s3中，获取目标直播平台的实时直播视频数据，从所述实时直播视频数据中提取得到直播画面数据和直播声音数据具体包括：
26.对目标直播平台进行实时录屏监控，得到实时直播视频数据；对所述实时直播视频数据进行画面与声音分离处理，得到直播画面数据和直播声音数据。
27.进一步，在所述步骤s3中，将所述直播画面数据和所述直播声音数据与所述低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据具体包括：
28.从所述直播画面数据和所述直播声音数据中提取得到目标直播平台中直播人员的身体动作行为和说话语义内容；
29.将所述身体动作行为和所述说话语义内容与所述低俗直播行为数据库进行比对，当所述身体动作行为与所述违规嘴部动作行为、所述违规肢体动作行为或所述违规身体暴
露行为相匹配，或者所述说话语义内容与所述违规说话行为相匹配，则对所述身体动作行为进行截图，或者对所述说话语义内容进行录音，从而得到低俗直播行为截图证据或低俗直播行为录音证据。
30.进一步，在所述步骤s4中，将所述低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限具体包括：
31.将所述低俗直播行为截图证据或所述低俗直播行为录音证据上传至直播管理平台进行认证；若认证通过，则即时停止目标直播平台当前的直播状态，以及将目标直播平台的直播人员标识为禁止获得直播权限人员。
32.相比于现有技术，该基于深度学习的低俗直播行为监测方法对不同直播平台的历史直播视频数据包含的视频画面数据和视频声音数据进行分析处理，得到低俗直播行为数据库；再从实时直播视频数据中提取得到直播画面数据和直播声音数据，将其与低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；将低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限，其通过构建低俗直播行为数据库的方式将直播过程中可能存在的低俗直播行为进行统计收集，这样为后续对目标直播平台进行监测提供可靠全面的判断基准，体能够有效避免发生低俗直播行为遗漏监测的情况，提高低俗直播行为监测的准确性和及时性。
33.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
34.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明提供的基于深度学习的低俗直播行为监测方法的流程示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.参阅图1，为本发明实施例提供的基于深度学习的低俗直播行为监测方法的流程示意图。该基于深度学习的低俗直播行为监测方法包括如下步骤：
39.步骤s1，获取不同直播平台的历史直播视频数据，对该历史直播视频数据进行画面和声音分离处理，得到相应的视频画面数据和视频声音数据；将该视频画面数据和该视频声音数据分组保存到区块链中；
40.步骤s2，对该视频画面数据和该视频声音数据分别进行分析处理，得到直播平台
在历史直播过程中直播人员的身体属性信息和语音属性信息，从而形成历史直播信息集合；并根据该历史直播信息集合，生成低俗直播行为数据库；
41.步骤s3，获取目标直播平台的实时直播视频数据，从该实时直播视频数据中提取得到直播画面数据和直播声音数据；将该直播画面数据和该直播声音数据与该低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；
42.步骤s4，将该低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限。
43.上述技术方案的有益效果为：该基于深度学习的低俗直播行为监测方法对不同直播平台的历史直播视频数据包含的视频画面数据和视频声音数据进行分析处理，得到低俗直播行为数据库；再从实时直播视频数据中提取得到直播画面数据和直播声音数据，将其与低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；将低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限，其通过构建低俗直播行为数据库的方式将直播过程中可能存在的低俗直播行为进行统计收集，这样为后续对目标直播平台进行监测提供可靠全面的判断基准，体能够有效避免发生低俗直播行为遗漏监测的情况，提高低俗直播行为监测的准确性和及时性。
44.优选地，在该步骤s1中，获取不同直播平台的历史直播视频数据，对该历史直播视频数据进行画面和声音分离处理，得到相应的视频画面数据和视频声音数据具体包括：
45.向直播管理平台发送历史直播视频数据获取请求，直播管理平台从历史直播视频数据获取请求中提取得到需要获取的历史直播视频数据对应的直播端口信息；
46.根据该直播端口信息，从历史直播视频录屏数据库中选择相匹配的历史直播视频数据；
47.再对选择的历史直播视频数据进行画面与声音分离处理，得到相应的视频画面数据和视频声音数据。
48.上述技术方案的有益效果为：直播管理平台作为不同直播间的综合管理中心，其能够对下属的所有直播间的直播过程进行记录，从而得到相应的历史直播视频数据，并且每个历史直播视频数据分别对应直播间的直播端口信息，即直播间的房间号码信息。再对每个历史直播视频数据进行画面与声音分离处理，能够对视频画面部分和视频声音部分进行区分化处理。
49.优选地，在该步骤s1中，将该视频画面数据和该视频声音数据分组保存到区块链中具体包括：
50.对该视频画面数据和该视频声音数据绑定该直播端口信息后，将该视频画面数据和该视频声音数据分别保存在区块链的画面数据存储区间和声音数据存储区间。
51.上述技术方案的有益效果为：将视频画面数据和视频声音数据分别保存在区块链的画面数据存储区间和声音数据存储区间，可避免两种数据在存储过程中发生串扰混乱的情况。
52.优选地，在该步骤s2中，对该视频画面数据和该视频声音数据分别进行分析处理，得到直播平台在历史直播过程中直播人员的身体属性信息和语音属性信息，从而形成历史直播信息集合具体包括：
53.对该视频画面数据进行识别处理，得到在历史直播过程中直播人员的脸部特征信
息、肢体动作信息和身体暴露区域信息；
54.对该视频声音数据进行识别处理，得到在历史直播过程中直播人员的语音语义信息；
55.将该脸部特征信息、该肢体动作信息、该身体暴露区域信息和该语音语义信息共同组成历史直播信息集合。
56.上述技术方案的有益效果为：对视频画面数据和视频声音数据分别进行识别处理，得到直播人员的脸部特征信息、肢体动作信息、身体暴露区域信息和语音语义信息，能够从多方面对直播人员在直播过程中的行为和语言进行识别。
57.优选地，在该步骤s2中，根据该历史直播信息集合，生成低俗直播行为数据库具体包括：
58.从该脸部特征信息中提取得到直播人员存在的违规嘴部动作行为；
59.从该肢体动作信息中提取得到直播人员存在的违规肢体动作行为；
60.从该身体暴露区域信息中提取得到直播人员存在的违规身体暴露行为；
61.从该语音语义信息中提取得到直播人员存在的违规说话行为；
62.将该违规嘴部动作行为、该违规肢体动作行为、该违规身体暴露行为和该违规说话行为，共同组成低俗直播行为数据库。
63.上述技术方案的有益效果为：将提取得到的违规嘴部动作行为、违规肢体动作行为、违规身体暴露行为和违规说话行为，共同组成低俗直播行为数据库，这样能够保证低俗直播行为数据库可包括直播人员在行为和说话等多维度上的低俗行为，为后续判断举证直播人员是否做出低俗行为提供全面可靠的数据支持。
64.优选地，在该步骤s3中，获取目标直播平台的实时直播视频数据，从该实时直播视频数据中提取得到直播画面数据和直播声音数据具体包括：
65.对目标直播平台进行实时录屏监控，得到实时直播视频数据；对该实时直播视频数据进行画面与声音分离处理，得到直播画面数据和直播声音数据。
66.上述技术方案的有益效果为：对目标直播平台进行实时录屏监控，以及对监控得到所述实时直播视频数据进行画面与声音分离处理，这样可确保对目标直播平台监测的实时性与全面性。
67.优选地，在该步骤s3中，将该直播画面数据和该直播声音数据与该低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据具体包括：
68.从该直播画面数据和该直播声音数据中提取得到目标直播平台中直播人员的身体动作行为和说话语义内容；
69.将该身体动作行为和该说话语义内容与该低俗直播行为数据库进行比对，当该身体动作行为与该违规嘴部动作行为、该违规肢体动作行为或该违规身体暴露行为相匹配，或者该说话语义内容与该违规说话行为相匹配，则对该身体动作行为进行截图，或者对该说话语义内容进行录音，从而得到低俗直播行为截图证据或低俗直播行为录音证据。
70.上述技术方案的有益效果为：将该身体动作行为和该说话语义内容与该低俗直播行为数据库进行比对后，得到相应的低俗直播行为截图证据或低俗直播行为录音证据，这样能够为后续直播管理平台进行低俗行为认证提供可靠实时化的证据。
71.优选地，在该步骤s4中，将该低俗直播形成证据上传至直播管理平台进行认证，并
根据认证结果，改变目标直播平台的直播状态和直播权限具体包括：
72.将该低俗直播行为截图证据或该低俗直播行为录音证据上传至直播管理平台进行认证；若认证通过，则即时停止目标直播平台当前的直播状态，以及将目标直播平台的直播人员标识为禁止获得直播权限人员。
73.上述技术方案的有益效果为：将认证确定后低俗直播行为截图证据或低俗直播行为录音证据对应的目标直播平台进行即时停止直播和禁止相关直播人员获得直播权限，这样能够快速地制止低俗直播行为的进一步扩散传播。
74.从上述实施例的内容可知，该基于深度学习的低俗直播行为监测方法对不同直播平台的历史直播视频数据包含的视频画面数据和视频声音数据进行分析处理，得到低俗直播行为数据库；再从实时直播视频数据中提取得到直播画面数据和直播声音数据，将其与低俗直播行为数据库进行比对，得到目标直播平台的低俗直播行为证据；将低俗直播形成证据上传至直播管理平台进行认证，并根据认证结果，改变目标直播平台的直播状态和直播权限，其通过构建低俗直播行为数据库的方式将直播过程中可能存在的低俗直播行为进行统计收集，这样为后续对目标直播平台进行监测提供可靠全面的判断基准，体能够有效避免发生低俗直播行为遗漏监测的情况，提高低俗直播行为监测的准确性和及时性。
75.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。