基于人脸识别与智能称重的超市收银防损方法及相关设备与流程

本技术属于收银防损领域，尤其涉及一种基于人脸识别与智能称重的超市收银防损方法及相关设备。

背景技术：

1、在零售行业，特别是超市管理中，商品损耗一直是一个难以忽视的问题。随着超市规模的不断扩大和自助购物模式的普及，商品盗窃、漏扫等现象日益严重，给超市经营带来了巨大的经济损失。

2、在相关技术中，通常在超市出口处安装扫描机器，当未结账的商品经过该扫描机器时，会触发报警机制，以提示工作人员有未结账的商品离开超市。

3、然而，有些顾客可能会将用于识别未结账商品的条形码或其他物品损毁，藏于人眼难以发现的位置带出超市，这样一来扫描机器也难以检测到未结账商品，顾客就将没有结算的商品带出超市，造成了超市的损失，从而降低了超市的防损率。

技术实现思路

1、本技术提供了一种基于人脸识别与智能称重的超市收银防损方法及相关设备，用于提高超市的防损率。

2、第一方面，本技术提供了一种基于人脸识别与智能称重的超市收银防损方法，接收入口监控设备发送的入口监控视频及入口称重设备发送的进入体重，进入体重为顾客进入超市时的体重；

3、识别入口监控视频中的顾客人脸数据，并将顾客人脸数据与对应的进入体重绑定；

4、实时接收出口称重设备发送的离开体重，并根据出口监控设备拍摄得到的出口监控视频确定目标顾客人脸数据；

5、根据目标顾客人脸数据确定对应的目标顾客进入体重及结算商品信息；

6、根据结算商品信息确定已结算商品重量；

7、判断离开体重与目标顾客进入体重的差值是否大于已结算商品重量；

8、若不大于，则确定目标顾客的结算状态为正常结算商品；

9、若大于，则向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端。

10、通过采用上述技术方案，接收入口称重设备发送的目标顾客的进入体重，并在入口监控视频中识别出目标顾客的人脸数据，将目标顾客的人脸数据和进入体重绑定，能够使目标顾客的所有信息一体化，方便调用和读取。在目标顾客离开超市时，会测量其离开体重，计算目标顾客离开体重与进入体重的差值可以计算出目标顾客携带了多少重量的商品，再结合收银设备录入的已结算商品信息，获得已结算商品重量，根据已结算商品重量与上述差值进行对比，当差值大于已结算商品重量时说明目标顾客有夹带未结算商品的嫌疑，那么立即进行报警，提醒安保人员存在异常，能够降低超市的损耗率，进而提高超市的防损率。如果差值不大于已结算商品重量时说明目标顾客是正常结算，无需进行进一步检查，能够提高超市防损的效率。

11、结合第一方面的一些实施例，在一些实施例中，接收入口监控设备发送的入口监控视频及入口称重设备发送的进入体重，具体包括：

12、向入口称重设备发送第一指令使数据采集单元以预设频率采集入口称重设备的称重数据，入口称重设备中安装有若干个沿进入超市方向排列的称重传感器；

13、接收称重数据并利用图像识别技术识别每个顾客；

14、使用步态分析确定每个顾客的位置信息及移动轨迹；

15、根据位置信息及移动轨迹使用空间滤波算法计算每个顾客对称重传感器的影响值；

16、根据称重数据及影响值计算得到每个顾客对应的进入体重。

17、通过采用上述技术方案，入口称重设备包含多个沿进入超市方向排列的称重传感器，能够跟随顾客进入超市的方向对顾客称重，且数据采集单元按照预设频率采集称重数据，能够在顾客经过入口称重设备的时间段内采集到足够数量的重量信息，再使用步态分析确定每个顾客的位置信息及移动轨迹，这样能得到顾客的行走习惯，更好地计算出顾客的体重，最后使用空间滤波算法计算每个顾客对称重传感器的影响值，根据称重数据及影响值计算得到每个顾客对应的进入体重，能够使称量得到的重量数据更加准确。

18、结合第一方面的一些实施例，在一些实施例中，在若大于，则向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端之后，方法还包括：

19、在确定目标顾客经过可进食区域的情况下，获取可进食区域对应的进食区称重设备的体重数据和进食区监控设备的监控数据；

20、根据体重数据及监控数据确定目标顾客的体重差值；

21、计算进入体重与体重差值的和值，得到目标顾客更新后的进入体重；

22、计算离开体重与更新后的进入体重的差值是否大于已结算商品重量；

23、若大于已结算商品重量，则执行向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端的步骤；

24、若不大于已结算商品重量，则确定目标顾客的结算状态为正常结算商品。

25、通过采用上述技术方案，还需要考虑到顾客是否在进食区进食，在进食区进食会小幅度增加顾客的体重，而增加的体重会体现在离开体重上，这样会使得离开体重与进入体重的差值变大，这个误差就会被错误认为是顾客夹带未结算商品。所以首先要判断顾客是否经过可进食区域，若确定顾客经过可进食区域，则计算出增加的体重，计算得到这个变量之后，再根据之前的计算方式判断差值是否大于已结算商品重量。这样一来，就能够降低顾客进食带来的误差影响，使目标顾客的体重数据更加准确。

26、结合第一方面的一些实施例，在一些实施例中，若大于，则向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端，具体包括：

27、获取可进食区域对应的收银设备的收银信息；

28、在收银信息中确定目标顾客对应的购买食品信息；

29、确定购买食品信息的重量数据；

30、判断离开体重与目标顾客进入体重的差值是否大于已结算商品重量与重量数据的和值；

31、若不大于，则确定目标顾客的结算状态为正常结算商品；

32、若大于，则向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端。

33、通过采用上述技术方案，在确定顾客经过可进食区域的情况下，获取可进食区域对应的收银设备的收银信息，在收银信息中确定目标顾客对应的购买食品信息，然后确定购买食品信息的重量数据，最后计算得到增加的体重，能够使目标顾客的重量计算更加准确，进而降低顾客进食带来的误差影响。

34、结合第一方面的一些实施例，在一些实施例中，在若不大于已结算商品重量，则确定目标顾客的结算状态为正常结算商品之后，方法还包括：

35、根据入口监控视频判断目标客户是否携带额外物品；

36、若携带了额外物品，则判断额外物品的类别，类别包括消耗物品及盛装物品；

37、若类别为消耗物品，则根据出口监控视频判断目标顾客是否携带消耗物品；

38、若携带消耗物品，则判断离开体重与目标顾客进入体重的差值是否大于已结算商品重量；

39、若不大于已结算商品重量，则确定目标顾客的结算状态为正常结算商品；

40、若大于已结算商品重量，则执行向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端的步骤；

41、若不携带消耗物品，则判断离开体重与目标顾客进入体重的差值与已结算商品重量的差值的绝对值是否在预设区间内；

42、若在预设区间内，则确定目标顾客的结算状态为正常结算商品；

43、若不在预设区间内，则执行向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端的步骤。

44、通过采用上述技术方案，能够降低目标顾客自身携带物品对体重计算结果的影响。目标顾客可能在进入超市时携带一些额外物品，额外物品可能是消耗物品或盛装物品，消耗物品可能会被目标顾客丢弃在超市内部，那么其离开体重与进入体重的差值会出现偏差，这个误差值就是消耗物品的重量。当判断额外物品是消耗物品时，则根据出口监控视频判断顾客在离开超市时是否还携带该消耗物品，若还携带，则不需要考虑消耗物品带来的影响。若不携带，说明顾客在超市内部已经丢弃，此时判断离开体重与目标顾客进入体重的差值与已结算商品重量的差值的绝对值是否在预设区间内，若在预设区间内，说明存在的误差是在允许范围之内的，那么可以忽略消耗物品带来的影响。反之，说明目标顾客夹带了未结算商品。这样一来，可以降低目标顾客自身携带物品对体重计算结果的影响，使得判断目标顾客是否为正常结算商品的步骤更加准确，进而降低超市的损耗率。

45、结合第一方面的一些实施例，在一些实施例中，在若不在预设区间内，则执行向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端的步骤之后，方法还包括：

46、若类别为盛装物品，则获取包含目标顾客的所有监控视频；

47、根据监控视频判断目标顾客是否存在预设异常行为，预设异常行为包括向盛装物品中放置商品；

48、若存在预设异常行为，则判断离开体重与目标顾客进入体重的差值是否等于已结算商品重量；

49、若不等于已结算商品重量，则执行向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端的步骤；

50、若等于已结算商品重量，则确定目标顾客的结算状态为正常结算商品；

51、若不存在预设异常行为，则确定目标顾客的结算状态为正常结算商品。

52、通过采用上述技术方案，若额外物品为盛装物品，则目标顾客有可能会将未结算商品放置在盛装物品中，这样是难以使用目视的方式去检测的。那么获取包含目标顾客的所有监控视频，根据监控视频判断目标顾客是否存在预设异常行为，预设异常行为包括向盛装物品中放置商品，如果存在该异常行为，那么判断离开体重与目标顾客进入体重的差值是否等于已结算商品重量，如果不等于，说明目标顾客存在夹带未结算商品的情况，如果等于，说明顾客可能是先将商品放置在盛装物品中，结算时拿出，那么就不存在夹带未结算商品的行为。降低了额外物品对防损检测的影响，提高了收银防损率。

53、结合第一方面的一些实施例，在一些实施例中，在若大于，则向安保人员对应的安保终端发送警报信息，并将目标顾客人脸数据发送给安保终端之后，方法还包括：

54、确定未结算商品信息；

55、实时接收收银设备的收银信息，判断是否存在未结算商品信息；

56、若存在，则向安保终端发送解除警报信息；

57、若不存在，则将未结算商品信息发送给预设工作人员终端，未结算商品信息包括商品原始位置信息。

58、通过采用上述技术方案，在检测到存在未结算商品时，确定目标顾客是否将其结算，如果仍然没有结算，那么就将未结算商品信息发送给预设工作人员终端，使相应的工作人员将未结算商品重新放置在对应的位置，如果已经结算，那么解除警报，这样可以提高收银防损的工作效率。

59、本技术实施例提供了一种基于人脸识别与智能称重的超市收银防损相关设备，该相关设备包括系统、存储介质及计算机产品程序。

60、第二方面，本技术实施例提供了一种基于人脸识别与智能称重的超市收银防损系统，该基于人脸识别与智能称重的超市收银防损系统包括：一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

61、第三方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在系统上运行时，使得上述系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

62、第四方面，本技术实施例提供一种计算机程序产品，其特征在于，当计算机程序产品在系统上运行时，使得系统执行如第一方面中任一可能的实现方式描述的方法。

63、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

64、1、本技术提供了一种基于人脸识别与智能称重的超市收银防损方法，接收入口称重设备发送的目标顾客的进入体重，并在入口监控视频中识别出目标顾客的人脸数据，将目标顾客的人脸数据和进入体重绑定，能够使目标顾客的所有信息一体化，方便调用和读取。在目标顾客离开超市时，会测量其离开体重，计算目标顾客离开体重与进入体重的差值可以计算出目标顾客携带了多少重量的商品，再结合收银设备录入的已结算商品信息，获得已结算商品重量，根据已结算商品重量与上述差值进行对比，当差值大于已结算商品重量时说明目标顾客有夹带未结算商品的嫌疑，那么立即进行报警，提醒安保人员存在异常，能够降低超市的损耗率，进而提高超市的防损率。如果差值不大于已结算商品重量时说明目标顾客是正常结算，无需进行进一步检查，能够提高超市防损的效率。

65、2、本技术提供了一种基于人脸识别与智能称重的超市收银防损方法，还需要考虑到顾客是否在进食区进食，在进食区进食会小幅度增加顾客的体重，而增加的体重会体现在离开体重上，这样会使得离开体重与进入体重的差值变大，这个误差就会被错误认为是顾客夹带未结算商品。所以首先要判断顾客是否经过可进食区域，若确定顾客经过可进食区域，则计算出增加的体重，计算得到这个变量之后，再根据之前的计算方式判断差值是否大于已结算商品重量。这样一来，就能够降低顾客进食带来的误差影响，使目标顾客的体重数据更加准确。

66、3、本技术提供了一种基于人脸识别与智能称重的超市收银防损方法，能够降低目标顾客自身携带物品对体重计算结果的影响。目标顾客可能在进入超市时携带一些额外物品，额外物品可能是消耗物品或盛装物品，消耗物品可能会被目标顾客丢弃在超市内部，那么其离开体重与进入体重的差值会出现偏差，这个误差值就是消耗物品的重量。当判断额外物品是消耗物品时，则根据出口监控视频判断顾客在离开超市时是否还携带该消耗物品，若还携带，则不需要考虑消耗物品带来的影响。若不携带，说明顾客在超市内部已经丢弃，此时判断离开体重与目标顾客进入体重的差值与已结算商品重量的差值的绝对值是否在预设区间内，若在预设区间内，说明存在的误差是在允许范围之内的，那么可以忽略消耗物品带来的影响。反之，说明目标顾客夹带了未结算商品。这样一来，可以降低目标顾客自身携带物品对体重计算结果的影响，使得判断目标顾客是否为正常结算商品的步骤更加准确，进而降低超市的损耗率。