基于称重图像结合的收银数据处理方法及AI收银秤与流程

本发明涉及数据处理，尤其涉及一种基于称重图像结合的收银数据处理方法及ai收银秤。

背景技术：

1、传统的收银秤一般仅考虑用户手动输入的商品类型或计费规则，再根据称重模块的称重结果来计算缴费信息，这种技术方案在如今消费者的购物行为更加多样，以及更关注收银效率和收银体验的商业环境中已经无法有效适应，甚至显得落伍现有技术中有部分技术提出了将智能算法如图像识别算法结合到收银场景中，但大部分仍然仅限于对物件识别，没有有效对用户的行为进行识别和考虑，因此实现的收银判断或缴费计算等功能仍然不够智能，容易出错。可见，现有技术存在缺陷，亟待解决。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于称重图像结合的收银数据处理方法及ai收银秤，能够提高缴费信息的计算精度，给用户更智能更便捷的购物体验，也减少收银处理的出错。

2、为了解决上述技术问题，本发明第一方面公开了一种基于称重图像结合的收银数据处理方法，所述方法包括：

3、获取由ai收银秤的摄像模块分别获取的当前物件图像和缴费用户图像以及称重模块获取的重量信息；

4、根据所述ai收银秤的当前区域对应的售货规则以及图像识别算法，确定所述当前物件图像对应的缴费物件和缴费规则；

5、根据用户行为识别算法，分析所述缴费用户图像对应的用户行为；

6、根据所述用户行为和所述重量信息，以及所述缴费物件和缴费规则，计算缴费信息；所述缴费信息用于在所述ai收银秤的显示屏上显示。

7、作为一个可选的实施方式，在本发明第一方面中，所述根据用户行为识别算法，分析所述缴费用户图像对应的用户行为，包括：

8、将所述缴费用户图像输入至训练好的用户动作识别神经网络中，以得到所述缴费用户图像对应的用户行为；所述用户行为为用户无操作行为、用户放置物件行为、用户取下物件行为或用户离开结算位置行为；所述用户动作识别神经网络为通过包括有多个训练用户动作图像和对应的动作类型标注的训练数据集训练得到的rnn神经网络。

9、作为一个可选的实施方式，在本发明第一方面中，所述根据所述ai收银秤的当前区域对应的售货规则以及图像识别算法，确定所述当前物件图像对应的缴费物件和缴费规则，包括：

10、获取所述ai收银秤的当前区域对应的售货规则，确定所述售货规则对应的所有销售物件类型；

11、根据所述销售物件类型，从多个候选算法模型中确定出目标算法模型；

12、将所述当前物件图像输入至所述目标算法模型，以得到所述当前物件图像对应的缴费物件和非缴费物件图像；

13、确定所述非缴费物件图像对应的物件预测重量；

14、将所述缴费物件对应的重量费用对应关系，和所述物件预测重量对应的去除重量规则，确定为所述当前物件图像对应的缴费规则。

15、作为一个可选的实施方式，在本发明第一方面中，所述根据所述销售物件类型，从多个候选算法模型中确定出目标算法模型，包括：

16、确定每一候选算法模型对应的训练数据集中的物件类型集合；所述候选算法模型通过包括有多个对应物件类型的训练物件图像和对应的物件类型标注和物件位置标注的训练数据集训练得到；

17、计算所有所述销售物件类型和任一所述物件类型集合之间的类型相似度；

18、根据所述类型相似度从大到小对所有所述候选算法模型进行排序得到模型序列；

19、将所述模型序列的前第一数量个且所述类型相似度大于相似度阈值的所有所述候选算法模型，确定为目标算法模型。

20、作为一个可选的实施方式，在本发明第一方面中，所述将所述当前物件图像输入至所述目标算法模型，以得到所述当前物件图像对应的缴费物件和非缴费物件图像，包括：

21、将所述当前物件图像输入至每一所述目标算法模型中，以得到所述当前物件图像对应的多个图像识别结果；所述图像识别结果包括物件类型和物件边框；

22、计算所有所述图像识别结果中的所述物件类型中的众数项，确定为所述当前物件图像对应的缴费物件；

23、计算所有所述图像识别结果中的所述物件边框的平均边框，以得到所述当前物件图像对应的物件范围；

24、根据图像分割算法，确定所述当前物件图像对应的前景范围；

25、计算所述前景范围和所述物件范围之间的面积差；

26、判断所述面积差是否大于预设的面积阈值，若是，将所述前景范围中除所述物件范围外的图像，确定为所述当前物件图像对应的非缴费物件图像。

27、作为一个可选的实施方式，在本发明第一方面中，所述确定所述非缴费物件图像对应的物件预测重量，包括：

28、将所述非缴费物件图像输入至训练好的物件图像识别神经网络中，以得到所述非缴费物件图像对应的非缴费物件类型；所述非缴费物件类型为购物袋、包裹网、纸质箱、泡沫物或绑物绳；所述物件图像识别神经网络通过包括有多个训练非缴费物件图像和对应的类型标注的训练数据集训练得到；

29、根据预设的类型和重量规则的对应关系，确定所述非缴费物件类型对应的面积重量计算规则；

30、根据所述面积重量计算规则，以及所述非缴费物件图像的图像面积，计算所述非缴费物件图像对应的物件预测重量。

31、作为一个可选的实施方式，在本发明第一方面中，所述根据所述用户行为和所述重量信息，以及所述缴费物件和缴费规则，计算缴费信息，包括：

32、计算所述重量信息和所述物件预测重量的差值，得到真实重量信息；

33、根据所述重量费用对应关系和所述真实重量信息，计算当前费用信息；

34、根据当前用户在历史时间段的所述用户行为和当前识别得到的所述用户行为，判断所述当前用户处于等待结算状态或物件整理状态；

35、在判断到所述当前用户处于等待结算状态时，将所述当前费用信息确定为缴费信息。

36、作为一个可选的实施方式，在本发明第一方面中，所述根据当前用户在历史时间段的所述用户行为和当前识别得到的所述用户行为，判断所述当前用户处于等待结算状态或物件整理状态，包括：

37、判断当前识别得到的所述用户行为是否为用户无操作行为，得到第一判断结果；

38、若所述第一判断结果为是，判断当前用户在历史时间段的所述用户行为中是否存在至少一个用户放置物件行为，得到第二判断结果；

39、若所述第二判断结果为是，则确定所述当前用户处于等待结算状态；

40、若所述第一判断结果或所述第二判断结果为否，确定所述当前用户处于物件整理状态，并持续监测所述重量信息的变化以及重复更新计算所述当前费用信息。

41、本发明实施例第二方面公开了一种ai收银秤，所述ai收银秤包括：

42、获取模块，用于获取由所述ai收银秤的摄像模块分别获取的当前物件图像和缴费用户图像以及称重模块获取的重量信息；

43、确定模块，用于根据所述ai收银秤的当前区域对应的售货规则以及图像识别算法，确定所述当前物件图像对应的缴费物件和缴费规则；

44、分析模块，用于根据用户行为识别算法，分析所述缴费用户图像对应的用户行为；

45、计算模块，用于根据所述用户行为和所述重量信息，以及所述缴费物件和缴费规则，计算缴费信息；所述缴费信息用于在所述ai收银秤的显示屏上显示。

46、作为一个可选的实施方式，在本发明第二方面中，所述分析模块根据用户行为识别算法，分析所述缴费用户图像对应的用户行为的具体方式，包括：

47、将所述缴费用户图像输入至训练好的用户动作识别神经网络中，以得到所述缴费用户图像对应的用户行为；所述用户行为为用户无操作行为、用户放置物件行为、用户取下物件行为或用户离开结算位置行为；所述用户动作识别神经网络为通过包括有多个训练用户动作图像和对应的动作类型标注的训练数据集训练得到的rnn神经网络。

48、作为一个可选的实施方式，在本发明第二方面中，所述确定模块根据所述ai收银秤的当前区域对应的售货规则以及图像识别算法，确定所述当前物件图像对应的缴费物件和缴费规则的具体方式，包括：

49、获取所述ai收银秤的当前区域对应的售货规则，确定所述售货规则对应的所有销售物件类型；

50、根据所述销售物件类型，从多个候选算法模型中确定出目标算法模型；

51、将所述当前物件图像输入至所述目标算法模型，以得到所述当前物件图像对应的缴费物件和非缴费物件图像；

52、确定所述非缴费物件图像对应的物件预测重量；

53、将所述缴费物件对应的重量费用对应关系，和所述物件预测重量对应的去除重量规则，确定为所述当前物件图像对应的缴费规则。

54、作为一个可选的实施方式，在本发明第二方面中，所述确定模块根据所述销售物件类型，从多个候选算法模型中确定出目标算法模型的具体方式，包括：

55、确定每一候选算法模型对应的训练数据集中的物件类型集合；所述候选算法模型通过包括有多个对应物件类型的训练物件图像和对应的物件类型标注和物件位置标注的训练数据集训练得到；

56、计算所有所述销售物件类型和任一所述物件类型集合之间的类型相似度；

57、根据所述类型相似度从大到小对所有所述候选算法模型进行排序得到模型序列；

58、将所述模型序列的前第一数量个且所述类型相似度大于相似度阈值的所有所述候选算法模型，确定为目标算法模型。

59、作为一个可选的实施方式，在本发明第二方面中，所述确定模块将所述当前物件图像输入至所述目标算法模型，以得到所述当前物件图像对应的缴费物件和非缴费物件图像的具体方式，包括：

60、将所述当前物件图像输入至每一所述目标算法模型中，以得到所述当前物件图像对应的多个图像识别结果；所述图像识别结果包括物件类型和物件边框；

61、计算所有所述图像识别结果中的所述物件类型中的众数项，确定为所述当前物件图像对应的缴费物件；

62、计算所有所述图像识别结果中的所述物件边框的平均边框，以得到所述当前物件图像对应的物件范围；

63、根据图像分割算法，确定所述当前物件图像对应的前景范围；

64、计算所述前景范围和所述物件范围之间的面积差；

65、判断所述面积差是否大于预设的面积阈值，若是，将所述前景范围中除所述物件范围外的图像，确定为所述当前物件图像对应的非缴费物件图像。

66、作为一个可选的实施方式，在本发明第二方面中，所述确定模块确定所述非缴费物件图像对应的物件预测重量的具体方式，包括：

67、将所述非缴费物件图像输入至训练好的物件图像识别神经网络中，以得到所述非缴费物件图像对应的非缴费物件类型；所述非缴费物件类型为购物袋、包裹网、纸质箱、泡沫物或绑物绳；所述物件图像识别神经网络通过包括有多个训练非缴费物件图像和对应的类型标注的训练数据集训练得到；

68、根据预设的类型和重量规则的对应关系，确定所述非缴费物件类型对应的面积重量计算规则；

69、根据所述面积重量计算规则，以及所述非缴费物件图像的图像面积，计算所述非缴费物件图像对应的物件预测重量。

70、作为一个可选的实施方式，在本发明第二方面中，所述计算模块根据所述用户行为和所述重量信息，以及所述缴费物件和缴费规则，计算缴费信息的具体方式，包括：

71、计算所述重量信息和所述物件预测重量的差值，得到真实重量信息；

72、根据所述重量费用对应关系和所述真实重量信息，计算当前费用信息；

73、根据当前用户在历史时间段的所述用户行为和当前识别得到的所述用户行为，判断所述当前用户处于等待结算状态或物件整理状态；

74、在判断到所述当前用户处于等待结算状态时，将所述当前费用信息确定为缴费信息。

75、作为一个可选的实施方式，在本发明第二方面中，所述计算模块根据当前用户在历史时间段的所述用户行为和当前识别得到的所述用户行为，判断所述当前用户处于等待结算状态或物件整理状态的具体方式，包括：

76、判断当前识别得到的所述用户行为是否为用户无操作行为，得到第一判断结果；

77、若所述第一判断结果为是，判断当前用户在历史时间段的所述用户行为中是否存在至少一个用户放置物件行为，得到第二判断结果；

78、若所述第二判断结果为是，则确定所述当前用户处于等待结算状态；

79、若所述第一判断结果或所述第二判断结果为否，确定所述当前用户处于物件整理状态，并持续监测所述重量信息的变化以及重复更新计算所述当前费用信息。

80、本发明第三方面公开了另一种ai收银秤，所述ai收银秤包括：

81、摄像模块、称重模块和显示屏；

82、存储有可执行程序代码的存储器；

83、分别与所述存储器、所述摄像模块、所述称重模块和所述显示屏耦合的处理器；

84、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于称重图像结合的收银数据处理方法中的部分或全部步骤。

85、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于称重图像结合的收银数据处理方法中的部分或全部步骤。

86、与现有技术相比，本发明实施例具有以下有益效果：

87、本发明能够充分结合物件图像和用户图像来识别出物件信息和用户行为，再一并用于缴费信息的计算，从而能够提高缴费信息的计算精度，给用户更智能更便捷的购物体验，也减少收银处理的出错。