行为分析方法及相关装置与流程

1.本发明涉及大数据领域以及金融领域，特别涉及一种行为分析方法及相关装置。


背景技术：

2.随着互联网的发展，银行业务不断推出线上办理流程，网点工作人员人数缩减，但选择去网点办理业务的客户相对员工人数还是较多的。特别是业务办理高峰期，经常会出现大堂工作人员不能及时为所有客户提供帮助，出现很多服务遗漏的现象，比如：会在人多时遗忘等待咨询的先到客户，会疏于提醒智能柜台和网点内自动取款机的安全距离，会注意不到老人和小孩儿等需要特殊照顾的对象。即，靠人工的服务，由于无法及时快速地掌握客户的意图，经常导致服务效率低，服务不及时的问题。


技术实现要素：

3.鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种行为分析方法及相关装置。
4.第一方面，一种行为分析方法，包括：
5.获得多个摄像头拍摄的多个视频；
6.基于跨镜追踪技术reid，对各所述视频里出现的人物进行识别，从而得到至少一个所述人物的行为轨迹信息、逗留时间信息以及与所述行为轨迹信息对应的完整视频；
7.基于人体动作识别技术，对所述完整视频中所述人物的动作姿态进行识别，从而得到所述人物的动作姿态信息；
8.根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图。
9.结合第一方面，在某些可选的实施方式中，所述获得多个摄像头拍摄的多个视频，包括：
10.获得多个摄像头拍摄的同一个场景下不同区域的多个视频。
11.结合第一方面，在某些可选的实施方式中，所述根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图，包括：
12.根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析所述人物的人体关键点，从而得到所述人物的特征集合；
13.将所述特征集合与预先训练的特征集合库进行特征比对，从而确定所述特征集合对应的所述人物的行为意图，其中，所述特征集合库中预先建立不同的特征集合对应的行为意图。
14.结合第一方面，在某些可选的实施方式中，在所述根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图之后，所述方法还包括：
15.根据所述行为意图，通过麦克风或者显示屏发出相应的告警提示。
16.第二方面，一种行为分析装置，包括：视频获得单元、人物追踪单元、姿态识别单元
和意图确定单元；
17.所述视频获得单元，用于获得多个摄像头拍摄的多个视频；
18.所述人物追踪单元，用于基于跨镜追踪技术reid，对各所述视频里出现的人物进行识别，从而得到至少一个所述人物的行为轨迹信息、逗留时间信息以及与所述行为轨迹信息对应的完整视频；
19.所述姿态识别单元，用于基于人体动作识别技术，对所述完整视频中所述人物的动作姿态进行识别，从而得到所述人物的动作姿态信息；
20.所述意图确定单元，用于根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图。
21.结合第二方面，在某些可选的实施方式中，所述视频获得单元，包括：视频获得子单元；
22.所述视频获得子单元，用于获得多个摄像头拍摄的同一个场景下不同区域的多个视频。
23.结合第二方面，在某些可选的实施方式中，所述意图确定单元，包括：特征集合分析子单元和意图分析子单元；
24.所述特征集合分析子单元，用于根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析所述人物的人体关键点，从而得到所述人物的特征集合；
25.所述意图分析子单元，用于将所述特征集合与预先训练的特征集合库进行特征比对，从而确定所述特征集合对应的所述人物的行为意图，其中，所述特征集合库中预先建立不同的特征集合对应的行为意图。
26.结合第二方面，在某些可选的实施方式中，所述装置还包括：告警提示单元；
27.所述告警提示单元，用于在所述根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图之后，根据所述行为意图，通过麦克风或者显示屏发出相应的告警提示。
28.第三方面，一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的行为分析方法。
29.第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的行为分析方法。
30.借由上述技术方案，本发明提供的行为分析方法及相关装置，通过获得多个摄像头拍摄的多个视频；基于跨镜追踪技术reid，对各所述视频里出现的人物进行识别，从而得到至少一个所述人物的行为轨迹信息、逗留时间信息以及与所述行为轨迹信息对应的完整视频；基于人体动作识别技术，对所述完整视频中所述人物的动作姿态进行识别，从而得到所述人物的动作姿态信息；根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图。由此可以看出，本发明可以通过识别得到客户的行为意图，以便于有针对性地向客户提供相应的自动服务，从而提高服务效率。
31.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够
更明显易懂，以下特举本发明的具体实施方式。
附图说明
32.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
33.图1示出了本发明提供的第一种行为分析方法的流程图；
34.图2示出了本发明提供的第二种行为分析方法的流程图；
35.图3示出了本发明提供的第三种行为分析方法的流程图；
36.图4示出了本发明提供的第四种行为分析方法的流程图；
37.图5示出了本发明提供的第一种行为分析装置的结构示意图；
38.图6示出了本发明提供的第二种行为分析装置的结构示意图；
39.图7示出了本发明提供的一种电子设备的结构示意图。
具体实施方式
40.需要说明的是，本发明提供的行为分析方法及相关装置可用于大数据领域以及金融领域。上述仅为示例，并不对本发明提供的行为分析方法及相关装置的应用领域进行限定。
41.本发明提供的行为分析方法及相关装置可用于金融领域或其他领域，例如，可用于金融领域中的大数据应用场景。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的行为分析方法及相关装置的应用领域进行限定。
42.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
43.如图1所示，本发明提供了一种行为分析方法，包括：s100、s200、s300和s400；
44.s100、获得多个摄像头拍摄的多个视频；
45.可选的，目前的银行网点一般都安装了许多摄像头，拍摄区域可以覆盖银行网点的各个区域。因此，本发明可以基于目前银行网点已安装的摄像头，改进使用本发明的方法来识别客户的意图。当然，本发明也可以根据实际需要，安装和部署新的摄像头拍摄得到相应的视频。
46.可选的，各个摄像头可以连续采集不同区域的视频，不同摄像头采集的区域可能有重叠部分。因此，本发明可以获得各个摄像头采集到的视频，以便于针对视频中出现的任何一个人，本发明可以通过后续过程对各个视频进行识别，得到相应人物在视频中的整个过程表现出来的完整信息，包括整个过程的行为轨迹信息、整个过程的逗留时间信息和整个过程的动作姿态信息等。
47.可选的，本发明对于获得的视频的数量和时长均不做具体限制，可以根据实际需要进行设定。例如，用户1在前10分钟出现在视频1里、在中间10分钟出现在视频2里、在最后10分钟出现在视频3里，这种情况下，本发明可以获得视频1、视频2和视频3，以便于后续识
别用户1的各个信息。
48.例如，如图2所示，结合图1所示的实施方式，在某些可选的实施方式中，所述s100，包括：s110；
49.s110、获得多个摄像头拍摄的同一个场景下不同区域的多个视频。
50.可选的，本发明所说的同一个场景可以理解为银行网点的大厅，本发明对此不做限制。
51.s200、基于跨镜追踪技术reid，对各所述视频里出现的人物进行识别，从而得到至少一个所述人物的行为轨迹信息、逗留时间信息以及与所述行为轨迹信息对应的完整视频；
52.可选的，跨镜追踪技术reid(英文名：person re-identification，简称：reid)属于本领域的公知技术，本发明对此不做过多描述，具体请参见本领域的相关说明。需要说明的是：跨镜追踪技术是现在计算机视觉研究的方向，主要解决跨摄像头跨场景下行人的识别与检索。近年来，虽然单个摄像头视频序列分析技术已经取得了长足的进步，但单个摄像头无法覆盖到所有区域。为解决摄像头网络下的广域行人分析，近年来众多的研究工作开始转向跨视域多摄像头下的行人再识别问题，这里隐含地假设行人图像是在相近的时间段内被拍摄到的，其衣服或体型没有太大的变化。该技术能够根据行人的穿着、体态和发型等信息认知行人。
53.可选的，本发明所说的行为轨迹信息可以表征相应人物在整个场景下的移动轨迹；逗留时间信息可以表征相应人物在整个场景下的各个区域的逗留时长。
54.可选的，完整视频可以是由多个视屏拼接得到的，视频中记录了相应人物在整个场景下的完整过程，以便于后续对完整视频中识别得到相应人物的动作姿态信息。
55.s300、基于人体动作识别技术，对所述完整视频中所述人物的动作姿态进行识别，从而得到所述人物的动作姿态信息；
56.可选的，人体动作识别技术属于本领域的公知技术，本发明对此不做过多描述，具体请参见本领域的相关说明。需要说明的是：给定一幅图像或一段视频，通过人体动作识别技术可以对其中人物的行为动作进行分析判断，可以应用在智能视频监控。
57.可选的，动作姿态信息可以表征相应人物在整个场景下，依次分别做了哪些动作，以及所做动作的持续时间等。本发明可以预先设置不同的动作分类，例如踢腿、抱头、握拳、跺脚、跃起、下蹲、探头、举拳、迈步和东张西望等动作分类，以便于识别完整视频中按时间顺序依次出现哪些动作，从而得到对应的动作姿态信息。
58.s400、根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图。
59.可选的，如前所述，不同信息可以表征用户不同的状态，通过综合这些信息进行分析，可以得到相应的人物的行为意图，以便于向相应人物提供相应的服务或者措施。
60.可选的，本发明对于分析人物的行为意图的过程不做具体限制。例如，如图3所示，结合图1所示的实施方式，在某些可选的实施方式中，所述s400，包括：s410和s420；
61.s410、根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析所述人物的人体关键点，从而得到所述人物的特征集合；
62.可选的，人体关键点属于本领域的公知概念，本发明对此不做过多描述，具体请参
见本领域的相关说明。需要说明的是：通过分析人体关键点，确定人物的特征集合，包括轨迹特征、时间特征和姿态特征等。
63.s420、将所述特征集合与预先训练的特征集合库进行特征比对，从而确定所述特征集合对应的所述人物的行为意图，其中，所述特征集合库中预先建立不同的特征集合对应的行为意图。
64.可选的，本发明可以预先通过大数据计算的方式，计算不同的特征集合对应的行为意图，然后将不同特征集合和相应的行为意图对应存储在特征集合库，以便于在需要时直接根据特征集合库进行特征比对。
65.可选的，为了提高本发明的准确性，本发明还可以监控相应人物的真实意图。即，通过相应人物最终完成的行为，确定相应人物的真实意图。然后本发明可以将真实意图与上述通过特征比对确定的行为意图进行比对，若不一致，则将真实意图与上述人物的特征集合对应存储在特征集合库，从而更新特征集合库。
66.如图4所示，结合图1所示的实施方式，在某些可选的实施方式中，在所述s400之后，所述方法还包括：s500；
67.s500、根据所述行为意图，通过麦克风或者显示屏发出相应的告警提示。
68.可选的，本发明可以针对不同的行为意图设置不同的处置方式。例如，针对排队使用atm机的场景，则对于在排队的人员，本发明在识别到距离太近或者越线等行为意图时，则本发明可以通过麦克风提醒相应人员保持距离，不准越线。
69.又例如，针对进入银行网点大厅的人员，若本发明识别到有人员存在暴力的行为意图时，则本发明可以通过麦克风提醒相应工作人员及时处置，也可以通过在现实屏上发出告警，以提醒相应工作人员及时处置。
70.如图5所示，本发明提供了一种行为分析装置，包括：视频获得单元100、人物追踪单元200、姿态识别单元300和意图确定单元400；
71.所述视频获得单元100，用于获得多个摄像头拍摄的多个视频；
72.所述人物追踪单元200，用于基于跨镜追踪技术reid，对各所述视频里出现的人物进行识别，从而得到至少一个所述人物的行为轨迹信息、逗留时间信息以及与所述行为轨迹信息对应的完整视频；
73.所述姿态识别单元300，用于基于人体动作识别技术，对所述完整视频中所述人物的动作姿态进行识别，从而得到所述人物的动作姿态信息；
74.所述意图确定单元400，用于根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图。
75.可选的，结合图5所示的实施方式，在某些可选的实施方式中，所述视频获得单元100，包括：视频获得子单元；
76.所述视频获得子单元，用于获得多个摄像头拍摄的同一个场景下不同区域的多个视频。
77.可选的，结合图5所示的实施方式，在某些可选的实施方式中，所述意图确定单元400，包括：特征集合分析子单元和意图分析子单元；
78.所述特征集合分析子单元，用于根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析所述人物的人体关键点，从而得到所述人物的特征集合；
79.所述意图分析子单元，用于将所述特征集合与预先训练的特征集合库进行特征比对，从而确定所述特征集合对应的所述人物的行为意图，其中，所述特征集合库中预先建立不同的特征集合对应的行为意图。
80.如图6所示，结合图5所示的实施方式，在某些可选的实施方式中，所述装置还包括：告警提示单元500；
81.所述告警提示单元500，用于在所述根据所述行为轨迹信息、所述逗留时间信息和所述动作姿态信息，分析确定所述人物的行为意图之后，根据所述行为意图，通过麦克风或者显示屏发出相应的告警提示。
82.本发明提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的行为分析方法。
83.如图7所示，本发明提供了一种电子设备70，所述电子设备70包括至少一个处理器701、以及与所述处理器701连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述任一项所述的行为分析方法。
84.在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
85.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
86.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。
87.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。