一种基于反诈一体机的反欺诈半身姿态估计方法与流程

本发明涉及计算机视觉，特别涉及了一种基于反诈一体机的反欺诈半身姿态估计方法。

背景技术：

1、在当前的金融环境中，电信诈骗活动形式多样且手段不断更新。银行和其他金融机构是打击和预防电诈活动的前线成员。由于银行账户通常是诈骗分子转移非法所得的工具，因此银行在识别和阻止疑似诈骗交易方面扮演着重要角色。

2、现有姿态估计模型旨在从图像或视频中检测人的关键点，并预测关节的位置，以估计人体的姿态。这些模型在处理全身图像时通常效果较好，因为完整的身体信息有助于模型理解各个部位之间的空间关系。然而，现有姿态估计模型大多通过全身特征进行，当面对半身图像或者部分遮挡的情况时，姿态估计模型可能会遇到一些缺陷，手部和脸部的特征分辨率较小。

3、在本方法研究的利用广角摄像头进行客户半身姿态估计辅助判定欺诈真实性的方法中，就存在该问题。现有的姿态估计模型不能较好的识别出客户的真实姿态，导致预测不准确。同时，大多数姿态估计训练数据集包含全身的姿态，这可能导致在训练中半身图像样本较少，从而使得模型在处理半身图像时性能下降。

技术实现思路

1、本发明的目的是克服现有技术中存在的姿态估计模型半身姿态估计不准确，无法准确进行防欺诈预测，且在处理半身图像时性能较差的问题，提供了一种基于反诈一体机的反欺诈半身姿态估计方法，利用特征重构，将手部及脸部的特征单独剪裁，形成局部特征，结合局部交叉注意力机制，将局部特征与全身的全局特征进行融合，提高姿态估计准确性，更加准确地识别客户是否存在诈骗行为。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，包括下列步骤：

4、s1：获取用户办理不同业务的半身图像，并对半身图像进行人体姿态骨骼关键点标注；

5、s2：对半身图像进行人体网格点重构，对图像帧进行上采样，输出骨骼图；

6、s3：在多层图卷积神经网络中增加局部交叉注意力机制，构建改进的st-gcn网络，获取每个关键点的特征信息；

7、s4：基于改进的st-gcn模型，在用户办理业务期间进行持续时空建模获取姿态信息，利用输出客户欺诈标签。

8、本发明姿态估计模型的主要架构沿用st-gcn网络提出的时序图卷积网络，并在其中使用一种新的局部交叉注意力模块mca，局部交叉注意力模块可以识别出骨骼图中关键点并将不重要的信息掩去，同时识别出不相连的关键点间是否存在着关联并对关联点间进行特征的增强学习。本发明还利用了真实银行业务场景采集的数据集进行半身网格重构用于姿态估计模型输入，增加姿态估计模型在实际场景运用下的识别准确率。更加准确地识别客户是否存在诈骗行为，辅助柜员进行反欺诈业务办理。

9、作为优选，所述s3包括：

10、s3.1：将骨骼图按照时间顺序排列，并将骨骼图上相同关键点前后相连，得到网络图；

11、s3.2：在多层图卷积神经网络中，引入注意力机制，得到改进后的st-gcn网络；

12、s3.3：利用改进后的st-gcn网络处理时序骨骼图，得到每个关键点的特征信息，生成关键点特征向量。

13、作为优选，所述得到每个关键点的特征信息包括：在网络图的邻接矩阵中，加上表示网络图中特征点之间的联系强弱的权重参数，再乘以注意力机制权重，得到加权邻接矩阵；将加权邻接矩阵输入到多层图卷积神经网络中，每层图卷积网络聚合当前关键点信息，经多层图卷积神经网络处理，得到每个关键点的特征信息。

14、作为优选，所述s2包括：

15、s2.1：将半身图像切割成若干小图并提取图片特征，生成图片特征向量；

16、s2.2：将生成的图片特征向量和预设好的姿态向量拼接，进行注意力机制编码；

17、s2.3：将注意力机制编码得到的局部精细特征进行特征放大，得到不同分辨率的特征图；

18、s2.4：将局部精细特征以及势和脸部局部骨骼点参数输入到注意力网络中，学习细微姿态特征；

19、s2.5：将局部骨骼点和总体骨骼点输入到回归分类器中，得到骨骼图。

20、作为优选，所述s3.3包括：对关键点特征向量进行归一化，得到特征点图；对特征点图进行全局池化及聚合，得到每个图序列的图特征向量；对图特征向量进行加权求和，得到分类特征向量；对分类特征向量进行分类，得到姿态分类标签结果。

21、作为优选，所述s1包括：从公共数据集筛选半身图像和视频，通过实际业务场景进行半身图像和视频采集补充，分别进行预处理；选择人体关键点并在半身图像中标注；对半身图像进行数据增强。

22、作为优选，标注人体关键点时，对公共数据集筛选出的图像和视频进行标注关键点补充，对采集的实际业务场景半身图像和视频进行全面标注；标注完成后，对已标注的数据进行复核，若发现错误或不一致则进行修正。

23、作为优选，所述s4包括：

24、s4.1：采集用户办理不同业务的半身图像，构建半身数据集，将半身数据集分为训练集和测试集，训练改进的st-gcn姿态估计模型；

25、s4.2：采集用户办理不同业务时的连续图像帧数据，基于改进的st-gcn网络的处理和分类，将用户分为不同的欺诈标签并输出。

26、作为优选，注意力机制编码后的特征向量包括总体特征和局部精细特征，总体特征包括整体身体信息和姿态信息，局部精细特征包括脸部特征和手部特征。

27、作为优选，所述骨骼图中包括人体半身的总体特征点以及人体面部特征。

28、因此，本发明具有如下有益效果：

29、1、利用特征重构技术，将手部及脸部的特征单独剪裁，形成局部特征，与全身的全局特征进行融合，区别于传统的全身特征采集，能够识别出更加丰富的人脸及手部关键点信息。

30、2、通过改进后的st-gcn模型对连续时间序列的图像帧进行客户姿态估计，其中改进后的st-gcn模型增加局部交叉注意力机制，可以更好地利用关键数据的特征信息，将关键点的重点特征信息融合到现有特征表示中，增强模型对特征的捕获能力，更加准确地识别客户是否存在诈骗行为，辅助柜员进行反欺诈业务办理。

技术特征：

1.一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，包括：

2.根据权利要求1所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述s3包括：

3.根据权利要求2所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述得到每个关键点的特征信息包括：在网络图的邻接矩阵中，加上表示网络图中特征点之间的联系强弱的权重参数，再乘以注意力机制权重，得到加权邻接矩阵；将加权邻接矩阵输入到多层图卷积神经网络中，每层图卷积网络聚合当前关键点信息，经多层图卷积神经网络处理，得到每个关键点的特征信息。

4.根据权利要求1所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述s2包括：

5.根据权利要求2或3所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述s3.3包括：对关键点特征向量进行归一化，得到特征点图；对特征点图进行全局池化及聚合，得到每个图序列的图特征向量；对图特征向量进行加权求和，得到分类特征向量；对分类特征向量进行分类，得到姿态分类标签结果。

6.根据权利要求1或2或3或4所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述s1包括：从公共数据集筛选半身图像和视频，通过实际业务场景进行半身图像和视频采集补充，分别进行预处理；选择人体关键点并在半身图像中标注；对半身图像进行数据增强。

7.根据权利要求6所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，标注人体关键点时，对公共数据集筛选出的图像和视频进行标注关键点补充，对采集的实际业务场景半身图像和视频进行全面标注；标注完成后，对已标注的数据进行复核，若发现错误或不一致则进行修正。

8.根据权利要求1或2或3或4所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述s4包括：

9.根据权利要求4所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，注意力机制编码后的特征向量包括总体特征和局部精细特征，总体特征包括整体身体信息和姿态信息，局部精细特征包括脸部特征和手部特征。

10.根据权利要求1或2或3或4所述的一种基于反诈一体机的反欺诈半身姿态估计方法，其特征在于，所述骨骼图中包括人体半身的总体特征点以及人体面部特征。

技术总结本发明公开了一种基于反诈一体机的反欺诈半身姿态估计方法，克服了现有技术中姿态估计模型半身姿态估计不准确，且在处理半身图像时性能较差的问题，包括：获取用户办理不同业务的半身图像，并对半身图像进行人体姿态骨骼关键点标注；对半身图像进行人体网格点重构，对图像帧进行上采样，输出骨骼图；在多层图卷积神经网络中增加局部交叉注意力机制，构建改进的ST‑GCN网络，获取每个关键点的特征信息；基于改进的ST‑GCN模型，在用户办理业务期间进行持续时空建模获取姿态信息，利用输出客户欺诈标签。将特征重构与局部交叉注意力机制结合，将局部特征与全身的全局特征进行融合，提高姿态估计准确性，更加准确地识别客户是否存在诈骗行为。技术研发人员：李法来,陶雯雯,陆衡,王尹达,章佳飞受保护的技术使用者：中国农业银行股份有限公司浙江省分行技术研发日：技术公布日：2024/9/9