一种基于模型的网络直播电商智能监控方法与系统与流程

本发明属于智能计算，具体涉及一种基于模型的网络直播电商智能监控方法与系统。

背景技术：

1、直播电商在蓬勃发展带来巨大社会、经济效益的同时，也给政府治理和市场监控/监管带来了前所未有的新挑战，关于网络平台、网络经营方面的宣传广告违法违纪违规（本发明统一用违规进行表述）、消费维权案件连年增加。但由于网络直播其实时性、虚拟性、跨区域性、多样性等特性，以及传播速度极快、覆盖面广等特点，传统的监控手段很难满足日益增长的监控需求。

2、另一方面，我国的人工智能技术包括机器视觉技术、语音识别技术和自然语言处理技术蓬勃发展。以人脸识别、车辆识别、事件监测、图像检索、双目立体视觉技术、视频拼接技术等为代表智能分析技术在政府监控和安防行业得到广泛应用，语音识别技术在生活服务、智能客服等领域得到充分应用，语义分析、大语言模型等关键技术在政务领域、数字经济领域也正在蓬勃发展。但机器视觉文本提取、语音识别文本转换、语义分析和大语言模型等技术在面向直播电商、网络广告等领域的监控/监管应用尚未充分展开，违法违纪违规内容甄别难、固证难、监控/监管业务模型构建不足等问题尚未得到解决，还不能满足日益增长的监控需求。

技术实现思路

1、针对上述问题，本发明通过构建合理的监控模型，并对网络直播视频信息进行实时或准实时分析，及时发现或查证违法违纪违规行为，为及时处置提供技术和信息支持。

2、为实现上述目的，本发明设计了一种基于模型的网络直播电商智能监控方法，通过构建合理的监控模型，利用智能识别技术实现对网络直播行为的监控，所述智能监控方法包括如下步骤：

3、s1、基础数据归集，所述基础数据包括直播平台数据、直播机构数据或网络电商数据，还包括主播数据，还包括投诉举报数据和/或舆情监测数据等，归集监控对象基础数据属于网络直播电商智能监控的基础性、共性工作；

4、s2、监控模型构建与维护，依据国家或地方政府法律、法规、规章制度明令禁止的行为，将自然语言的规则描述转换为数学逻辑表达式，建立计算机可自动执行的监控模型，即违法违纪违规（本发明统称为违规）网络直播行为的匹配规则，并根据新的规则或公序良俗实时维护监控模型，即添加新的匹配规则或修改完善已有的匹配规则；

5、所述监控模型包括违规促销模型（b-1）、禁限售模型（b-2）、假冒伪劣模型（b-3）、不正当价格行为模型（b-4，也称为价格违法模型）、虚假宣传模型（b-5）等中的至少一项；

6、所述步骤s1与s2无先后顺序之分；

7、s3、采样网络直播视频，采样结果包括视频帧和/或音频帧，所述采样的方法包括随机采样、定向采样、巡检采样或日常综合采样，所述日常综合采样包括随机采样与定向采样的结合；

8、s4、智能识别，通过对直播视频中的图像文字识别、语音识别、语义分析进行模型匹配与计算，从而完成对网络直播电商异常行为的甄别；所述异常行为包括违规促销行为、销售禁售商品行为、假冒伪劣行为、不正当价格竞争行为、虚假宣传行为等。

9、s5、存证固证，包括录播存档或图像抓取，记录直播间名称、直播视频地址、截取时间、截取时间在线人数、违规内容等信息，进行存档，并形成违规记录；

10、s6、线索处置，包括记录、汇总、显示违规信息，发出警示信号、提醒人工处置等。

11、进一步的，所述直播平台数据包括统一社会信用代码、企业名称、平台名称等；

12、所述直播机构数据包括统一社会信用代码、企业名称等；

13、所述网络电商数据包括统一社会信用代码、企业名称、网络经营备案信息、网店地址、强制性认证产品名称、认证信息等，以及地理标志产品信息，地理标志产品认证信息等；

14、所述主播数据包括直播平台名称、直播间信息、主播个人信息（包括姓名、身份证号、常住地等信息）等；

15、所述投诉举报数据包括投诉对象网络直播地址信息、投诉内容信息等；

16、所述舆情监测数据包括直播间信息、舆情内容信息等；

17、所述监控模型还包括显失公平模型和/或异常下单模型。

18、进一步的，所述违规促销模型至少包括下列模型中的一项：

19、（1）面向未成年人无底线营销食品营销识别公式：（直播宣传音视频∃违规词∈未成年人特征词样本包）∩（直播宣传音视频∃违规词∈恶搞低俗特征词样本包），其中，∃表示存在，∈表示属于，∩表示交集（指数据集，下同）；

20、（2）利用重大政治事件和活动营销识别公式：（直播宣传音视频∃违规词∈重大活动特征词样本包）∨（商品图片logo=重大活动官方标识）；其中，∨表示并集；

21、（3）违反公序良俗营销识别公式：直播宣传音视频∃违规词∈{x|x是公序良俗特征词}；

22、（4）违反七天无理由退换货营销识别公式：（直播宣传音视频∃违规词∈{x|x是七天无理由退换货特征词}）∨（直播宣传音视频∃违规词∈{x|x是不退不换特征词}）；

23、（5）违规最终解释权营销识别公式：直播宣传音视频∃违规词∈{x|x是解释权特征词}。

24、进一步的，所述禁限售模型至少包括下列模型中的一项：

25、（1）不符合保障人体健康和人身、财产安全的国家标准、行业标准产品的销售行为识别公式：直播展示产品质量标准∉{x|x是国家强制性标准、国家推荐性标准、行业标准}，其中，∉表示不属于；

26、（2）在产品中掺杂、掺假，以假充真，以次充好，或者以不合格产品冒充合格产品的销售行为识别公式：（商品logo=品牌注册商标）∩（商品实际售价＜同款商品品牌官方价*k1）；其中，同款商品比价系数k1取值范围为10%~50%之间；

27、（3）国家明令淘汰产品的销售行为识别公式：（直播宣传音视频∃违规词∈{x|x是禁售限售商品特征词}）∨（直播宣传音视频∃违规词∈{x|x是淘汰产品特征词}）；

28、（4）伪造产品产地的产品，伪造或者冒用他人厂名、厂址的产品，伪造或者冒用认证标志等质量标志产品的销售行为识别公式：（商品宣传产地区域∉标志批准区域）∨（实际销售商品≠认证标志备案商品）。

29、进一步的，所述假冒伪劣模型至少包括下列模型中的一项：

30、（1）虚构地理标志保护商品产地行为识别公式：商品宣传产地区域∉标志批准区域；

31、（2）销售侵犯注册商标专用权商品行为识别公式：（商品logo≈品牌注册商标）∩（商品类目∈注册商标核准类目）。

32、进一步的，所述不正当价格行为模型（也称为价格违法模型）至少包括下列模型中的一项：

33、（1）电商直播价格违规核心公式：直播带货价格与公允价格偏离度f=（当前价格-公允价格）/公允价格，根据公式进一步判断是属于哄抬价格，还是合理价格，还是利用垄断地位不正当竞争；

34、（2）直播“特价、批发价、出厂价、市场最低价”数据判定：原价、对比价格数据量=0；

35、（3）直播限时促销、限时特价：限时期限数据=0；

36、（4）直播买一送一、附送赠品：赠品数据=0；

37、（5）直播标注原价不正当公式：商品实际价格＜原价&近七日销量数据=0；

38、（6）直播促销活动公式：

39、先提再提涨价公式：直播活动价≥平台复采价＞平台首采价；

40、先提后降涨价公式：平台复采价>直播活动价>平台首采价；

41、先降后提涨价公式：首采价>复采价且活动价>复采价；

42、虚假降价公式：复采价>活动价=首采价；

43、虚假折扣公式：复采价>首采价>活动价；

44、抽奖式有奖销售公式：赠品价格≥k2，其中，k2为赠品价格门限。

45、进一步的，所述虚假宣传模型至少包括下列模型中的一项：

46、（1）产地虚构识别公式：直播宣称产地数据>商品已知产地数据；

47、（2）性能虚构识别公式：直播宣传性能数据＞商品已知性能标准；

48、（3）用途虚构识别公式：直播商品用途宣传＞商品已知用途或政府核准认证内容；

49、（4）荣誉虚构识别公式：直播商品号称荣誉＞相关荣誉数据库数据；

50、（5）虚假促销识别公式，直播虚假“特价、批发价、出厂价、市场最低价”公式：对比价格数据量=0，或直播商品价格 ≥ 对比价格数据；

51、（6）直播虚假限时促销、限时特价：限时期限数据=0，或限时期限 ＞ 宣传期限；

52、（7）原价虚构识别公式：直播宣称原价 ＞电商平台相同商品历史价格；

53、（8）许可虚构识别公式：直播宣称获批商品＞行政许可数据库数据；

54、（9）专利虚构识别公式：直播宣称专利内容＞专利数据库数据。

55、进一步的，所述随机采样包括对过往视频或实时传播的视频，根据随机规律抓取一定量的视频帧；所述定向采样包括根据市场或公众投诉举报信息或者舆情监测异常信息搜索匹配的视频源进行采样；所述巡检采样包括根据登记注册的直播平台、直播机构、网络电商或主播等主体信息按序对每个主体抽检一定量或全检所有的视频帧信息。

56、进一步的，步骤s4包括：

57、s41、视频图像中文字识别，包括基于改进crnn算法的视频图像中文字识别方法；

58、s42、语音识别，包括基于隐马尔可夫模型和高斯概率强度函数的语音识别方法；

59、s43、语义分析，针对视频图像中文字识别结果和或语音识别结果进行语义分析，所述语义分析方法包括基于transformer算法的大语言模型语义分析方法，使用字词联合嵌入向量，使共享字的词语之间产生联系；在词向量级别加入attention结构（attention结构在深度学习中主要指的是注意力机制，它允许模型在处理序列数据时动态地关注到与当前任务最相关的信息部分， 这种机制在自然语言处理、机器翻译等领域中得到了广泛应用），在捕获字粒度上下文关系的同时，加入词粒度的上下文关系；对融合后各个token（令牌）编码之后，进行均值池化（pooling-mean），再接分类器进行预测；

60、s44、模型匹配与计算（c-4），将语义分析结果，与步骤s2构建的模型进行相关性匹配，或者对应模型构建的数据集进行相关性匹配，或者对模型构建的训练评估函数进行条件匹配，从而计算出相应的匹配结果，即给出是否有违规现象和违反哪项规律的结论。

61、进一步的，步骤s5所述存证固证包括违规主体、违规关键词和违规匹配模型信息的记录存储；所述违规主体包括直播机构、网络电商、主播中的至少一项。

62、进一步的，所述智能监控方法包括基于动态关联的同类违法违纪违规行为识别方法（可以记作步骤s5a）；所述动态关联包括针对每一次新的违规记录，均进行一次与过往违规记录是否关联的分析，一般只对同类型违规记录（指违规记录匹配模型相同）进行关联分析，不同类型的违规记录无需关联；所述动态关联的对象包括违规主体关联、视频源关联、商品关联、视频内容关联中的至少一项，所述视频内容关联包括图像匹配关联、文字匹配关联、语音匹配关联中的至少一项，所述商品关联是指同一件商品或者本质上是同一件商品或者打包销售的关联商品等，所述打包销售的关联商品包括缺少其中任一商品或若干关件商品，其他商品的作用无法发挥或体现；所述匹配关联的计算技术均为现有技术，本发明用相关系数（或关联度）表征关联特性强弱；

63、所述同类违法违纪违规行为识别方法包括疑似同类识别法（即疑似同类违法违纪违规行为），所述疑似同类识别法包括违规主体、所涉及商品（根据商品关联计算结果）或视频源中至少一项相关系数不低于第三门限k3，k3≥90%，且图像匹配关联、文字匹配关联、语音匹配关联中的至少一项相关系数不低于第四门限k4，k4≥80%。

64、进一步的，所述同类违法违纪违规行为识别方法还包括确认同类识别法，所述确认同类识别法包括图像匹配关联、文字匹配关联、语音匹配关联中的至少2项相关系数乘积大于匹配第五门限k5，或三项相关系数乘积大于匹配第六门限k6，k5>k6，此时判断两个不同源视频紧相关，即属于同类违法违纪违规行为，当然同源视频平匹配度最高，做相关性分析意义不大，因为本就是同一件事。

65、另一方面，一种基于模型的网络直播电商智能监控系统，所述系统包括分别连接智能识别模块的采样模块、模型集和存证固证模块，以及与所述存证固证模块连接的线索处置模块，所述采样模块分别连接外部输入模块和采样规则模块；所述智能识别模块包括分别顺序连接的视频切片单元、图片文字识别单元、语义识别单元和模型匹配单元，以及顺序连接的另一支路语音识别单元、文本提取单元、语义识别单元和模型匹配单元，其中，语义识别单元和模型匹配单元共用；所述线索处置模块包括顺序连接的线索初审单元、移交监管单元和处置结果单元；所述模型集包括违规促销模型、禁限售模型、假冒伪劣模型、不正当价格行为模型、虚假宣传模型中的至少一项；所述外部输入模块包括直播平台数据、直播机构数据、网络电商数据、主播数据中的至少一项，还包括投诉举报数据和/或舆情监测数据。

66、进一步的，所述监控系统实现上述任意一项所述的基于模型的网络直播电商智能监控方法。

67、本发明的优点和有益效果在于：通过融合基于改进crnn算法的视频图像中文字识别方法、基于隐马尔可夫模型(hmm)和高斯概率强度函数的语音识别方法、基于transformer算法的大语言模型语义分析方法，结合新构建的业务监管/监控模型进行匹配，识别违法违纪违规行为，解决违规内容甄别难、固证难等问题，显著降低了人工监管的工作量和难度；同时通过对显失公平模型和异常下单模型的设计与应用，提高了所述监控方法与系统的普适性，进一步合理的维护了网络电商的公平经营环境；且分布式的架构设计和产品化的功能模块设计，可以适应不同规模、不同场景的监管需求。