基于多模态双通道注意力的营销电费回收预警方法及系统与流程

本发明属于营销电费回收预警数据处理，尤其涉及基于多模态双通道注意力的营销电费回收预警方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着智能电网和信息化建设，电力行业积累了海量数据，这些数据在数据量、多样性、速度和价值方面具有大数据的特征。现如今的电力企业内部积累了大量用户信息，在大数据时代下，需要考虑如何依托海量业务数据和用户信息，实现以用户为中心整合信息、挖掘数据、开展个性化营销。

3、电费回收管理是电力企业保持健康运营、实现可持续发展的关键环节。由于用户的支付能力和用电意愿存在差异，部分用户难免出现拖欠电费的情况，导致当今实行的“先用电后付费”的经营模式面临电费回收周期延长、催缴难度加大、回收率下降等挑战。随着大数据和深度学习技术的飞速发展，数据中台的建设为电力企业跨专业、跨层级的数据共享、分析挖掘和信息融合提供了有力支撑。电力公司的营销电费回收可以利用更加详细的客户用电数据与客户信息，对用户的用电行为、缴费记录等多维度数据进行深入分析，从而更准确地预警用户的电费拖欠风险，为制定差异化的风控和营销策略提供决策依据。

4、然而，先前提出的电费回收风险预警模型存在一定局限性。一方面，部分模型过度依赖人工经验判断，设计各类因子或风险评分，效率低下且易受主观因素影响；另一方面，传统机器学习模型如逻辑回归、主成分分析、决策树等，以及一些简单深度学习模型，存在鲁棒性差、非线性建模能力有限的不足。尽管取得了一定成果，但由于数据管理和技术限制，这些预警方法对用电数据趋势特征分析能力不足，且缺乏对用户非结构化信息(如用户档案、社会评价信息)的挖掘，导致风险预警性能较差，难以全面分析用电客户的信息画像，制定具有针对性的风险评估与营销策略。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于多模态双通道注意力的营销电费回收预警方法，获得用户特征画像，根据画像对用户的电费回收风险进行分级预警以给出相应的预警建议，从而为电力公司降低电费回收风险、提高营运效率提供有力支持。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、第一方面，公开了基于多模态双通道注意力的营销电费回收预警方法，包括：

4、获取用户历史的多模态用电数据，包括结构化数据以及非结构化数据；

5、将结构化数据输入结构化特征编码器，得到结构化特征编码，将非结构化数据输入非结构化特征编码器，得到非结构化特征编码；

6、针对结构化特征编码及非结构化特征编码，采用自注意力模块和卷积模块处理得到用户全局与局部信息的多模态融合特征，具体为：

7、用电客户全局-局部特征趋势提取层采用多头注意力机制与卷积模块结合的模型，分别捕获不同模态的全局和局部信息，加以耦合，减少用电客户异构语义的偏差；

8、基于结构化数据特征编码和非结构化数据特征编码组成给定的特征序列，输入全局-局部多模态特征融合层得到用户数据多模态融合的特征表示；

9、根据获得的多模态融合特征表示，采用双通道自注意力模块生成多模态数据间的正相关性特征和负相关性特征；

10、将获得的多模态融合特征、正相关性特征、负相关性特征连接作为用电客户的最终特征画像，根据特征画像计算输出用户电费回收预警结果等级标签。

11、作为进一步的技术方案，所述结构化数据包括时间序列数据，至少包括用户历史用电量、用户历史缴费金额及用户账户历史余额；

12、所述非结构化数据包括文本数据，至少包括用户档案信息文本及用户社会评价文本，其中，用户社会评价文本包含用户信息简介、用户征信报告、银行信用报告及司法裁判报告。

13、作为进一步的技术方案，还包括对结构化数据以及非结构化数据预处理的步骤，其中，对非结构化数据进行预处理的步骤包括：

14、分词、词语嵌入操作，分别得到用户档案信息嵌入表示和用户社会评价表示，之后，相加汇总用户档案信息嵌入表示和用户社会评价表示得到非结构化用户数据。

15、作为进一步的技术方案，所述对结构化数据进行预处理，包括：

16、对于时间序列数据表示为结构化用户数据，将结构化用户数据加入位置嵌入，以保留数据在序列中的位置信息，得到包含位置信息的结构化用户序列数据。

17、作为进一步的技术方案，所述非结构化特征编码器采用n层堆叠的transformer-encoder处理文本数据，进行初步特征提取；

18、基于融合用户档案信息嵌入和用户社会评价表示获取的非结构化用户数据，输入至非结构化编码器中得到非结构化数据特征编码，通过使用基于多头自注意力机制的transformer-encoder，捕捉用电客户文本数据之间的关联性和信息交互。

19、作为进一步的技术方案，所述结构化特征编码器使用深度卷积神经网络中的一维inception模块来提取用户用电数据流的时间依赖性与多尺度模式；

20、一维inception模块通过并行应用多种卷积核尺寸，能够同时捕获不同尺度的时间模式，基于得到的包含位置信息的结构化用户序列数据输入结构化特征编码器中，获得结构化数据特征编码。

21、作为进一步的技术方案，采用双通道自注意力模块生成多模态数据间的正相关性特征和负相关性特征，具体为：

22、双通道自注意力模块包括正通道和负通道，对于正通道，使用点积注意力；对于负通道，通过翻转键和查询之间的点积捕获负相关性；

23、通过正负双通道自注意力模块得到多模态融合的用户数据的正相关信息与负相关信息，通过线性层获得投影至同一空间的正相关性特征和负相关性特征。

24、第二方面，公开了基于多模态双通道注意力的营销电费回收预警系统，包括：

25、数据获取模块，被配置为：获取用户历史的多模态用电数据，包括结构化数据以及非结构化数据；

26、特征提取模块，被配置为：被将结构化数据输入结构化特征编码器，得到结构化特征编码，将非结构化数据输入非结构化特征编码器，得到非结构化特征编码；

27、趋势分析模块，被配置为：针对结构化特征编码及非结构化特征编码，采用自注意力模块和卷积模块处理得到用户全局与局部信息的多模态融合特征，具体为：

28、用电客户全局-局部特征趋势提取层采用多头注意力机制与卷积模块结合的模型，分别捕获不同模态的全局和局部信息，加以耦合，减少用电客户异构语义的偏差；

29、基于结构化数据特征编码和非结构化数据特征编码组成给定的特征序列，输入全局-局部多模态特征融合层得到用户数据多模态融合的特征表示；

30、关联计算模块，被配置为：根据获得的多模态融合特征表示，采用双通道自注意力模块生成多模态数据间的正相关性特征和负相关性特征；

31、预警输出模块，被配置为：将获得的多模态融合特征、正相关性特征、负相关性特征连接作为用电客户的最终特征画像，根据特征画像计算输出用户电费回收预警结果等级标签。

32、以上一个或多个技术方案存在以下有益效果：

33、本发明技术方案为基于多模态双通道注意力的营销电费回收预警方案，将用户历史数据中结构化用电数据以及非结构化文本数据多个模态的数据，分别采用深度卷积网络中的inception模块和基于多头自注意力的transformer-encoder模块针对结构化和非结构化数据进行特征编码，针对编码后的多模态数据采用自注意力与卷积结合的方式进行全局-局部趋势提取，从而获得用户全局-局部信息耦合的多模态融合特征表示，这一过程能够更好的分析用电客户历史数据中全局和局部窗口视角下的趋势特征，描绘更为全面的用户特征画像，最后根据画像对用户的电费回收风险进行分级预警以给出相应的预警建议，从而提高供电企业电费回收率。

34、本发明技术方案基于多模态双通道注意力的营销电费回收预警方案，采用双通道自注意力模块对结构化和非结构化数据间的正负相关性建模，学习两种模态数据间的关联信息，这能够深入挖掘与建模用电客户时序数据与文本信息的相关性，从而帮助供电企业实现精细化运营。

35、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。