用于控制冰箱的方法及装置、冰箱、计算机可读存储介质与流程

本技术涉及智能家电，例如涉及一种用于控制冰箱的方法及装置、冰箱、计算机可读存储介质。

背景技术：

1、目前，集中采购成为人们的一种新型生活方式，冰箱作为食品保险箱已经成为人们居家必需品。然而，冰箱难以识别冰箱内的食材种类和数量，难以实现食材管理，易导致用户忘记食材过期、冰箱难以根据食材种类和数量控制制冷量，智能化程度低。

2、相关技术公开了一种用于食材储存提醒的方法，所述食材储存于储存装置的搁架，所述搁架设有压力检测模块，方法包括：根据所述压力检测模块的检测结果生成所述搁架的多张压力图像；根据所述多张压力图像判断所述压力图像的着色信息是否发生变化；在所述压力图像的着色信息未发生变化的情况下，发出提醒信息。

3、在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

4、相关技术仅无法准确地确定食材位置、食材种类、食材新鲜度，易导致食材被用户遗忘，仍难以智能化实现食材管理。

5、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、本公开实施例提供了一种用于控制冰箱的方法及装置、冰箱、计算机可读存储介质，以准确地确定食材位置、食材种类、食材新鲜度，避免食材被用户遗忘，智能化实现食材管理。

3、在一些实施例中，所述冰箱包括：从上到下排布的多层搁架；驱动装置，设置在最下层搁架的下方，驱动装置上方且最下层搁架下方设置有摄像头，驱动装置用于驱动摄像头伸出最下层搁架或缩回最下层搁架的下方；所述方法包括：在冰箱门体打开的情况下，控制驱动装置驱动摄像头伸出最下层搁架的距离为第一距离或第二距离，并开启摄像头；在识别到食材放入动作或食材取出动作的情况下，控制摄像头获取图像；根据图像的识别信息确定食材处于搁架的层数、食材种类、食材新鲜度。

4、可选地，第一距离小于第二距离。具体地，第一距离的取值可以是100mm，第二距离的取值可以是200mm。

5、可选地，按照以下方式获取图像的识别信息：将图像输入图像识别模型，得到图像的识别信息。

6、可选地，开启摄像头，包括：根据驱动装置驱动摄像头伸出最下层搁架的距离，确定摄像头帧率；按照摄像头帧率开启摄像头。

7、可选地，多层搁架包括从上到下排布且均为非透明板的第一层搁架、第二层搁架、第三层搁架，第三层搁架为最下层搁架；根据驱动装置驱动摄像头伸出最下层搁架的距离，确定摄像头帧率，包括：在驱动装置驱动摄像头伸出第三层搁架的距离为第一距离，则确定摄像头帧率为第一帧率；或，在驱动装置驱动摄像头伸出第三层搁架的距离为第二距离，则确定摄像头帧率为第二帧率；其中，第一帧率大于第二帧率。具体地，第一帧率的取值可以是30帧。

8、可选地，识别信息包括图像中食材放入的位置点坐标或图像中食材消失的位置点坐标；根据图像的识别信息确定食材处于搁架的层数，包括：根据图像中食材放入的位置点坐标或图像中食材消失的位置点坐标，确定食材处于的位置识别分割区域；根据食材处于的位置识别分割区域确定食材处于搁架的层数。

9、可选地，多层搁架包括从上到下排布且均为非透明板的第一层搁架、第二层搁架、第三层搁架，第三层搁架为最下层搁架；根据图像中食材放入的位置点坐标或图像中食材消失的位置点坐标，确定食材处于的位置识别分割区域，包括：在图像中食材放入的位置点坐标或图像中食材消失的位置点坐标，位于第一分界线与第二分界线之间的情况下，确定食材处于的位置识别分割区域为第一区域；或，在图像中食材放入的位置点坐标或图像中食材消失的位置点坐标，位于第三分界线与第四分界线之间的情况下，确定食材处于的位置识别分割区域为第二区域；或，在图像中食材放入的位置点坐标或图像中食材消失的位置点坐标，位于第五分界线与第六分界线之间的情况下，确定食材处于的位置识别分割区域为第三区域；其中，第一分界线处于图像中第一层搁架外边缘的上方，第二分界线处于图像中第一层搁架外边缘的下方且处于图像中第二层搁架外边缘的上方，第三分界线处于图像中第一层搁架外边缘的下方且处于图像中第二层搁架外边缘的上方，第四分界线处于图像中第二层搁架外边缘的下方且处于图像中第三层搁架外边缘的上方，第五分界线处于图像中第二层搁架外边缘的下方且处于图像中第三层搁架外边缘的上方，第六分界线处于图像中第三层搁架外边缘的下方。

10、可选地，根据食材处于的位置识别分割区域确定食材处于搁架的层数，包括：在食材处于的位置识别分割区域为第一区域的情况下，确定食材处于搁架的层数为第一层；或，在食材处于的位置识别分割区域为第二区域的情况下，确定食材处于搁架的层数为第二层；或，在食材处于的位置识别分割区域为第三区域的情况下，确定食材处于搁架的层数为第三层。

11、可选地，图像的识别信息包括：食材待确认种类和对应的识别率；根据图像的识别信息确定食材种类，包括：根据多张图像中与食材待确认种类对应的识别率确定第一识别率和第二识别率；在第一识别率和第二识别率满足识别率条件的情况下，确定食材种类为与第一识别率对应的食材待确认种类。

12、可选地，根据多张图像中与食材待确认种类对应的识别率确定第一识别率和第二识别率，包括：对多张图像中的与相同食材待确认种类对应的识别率进行加权平均，得到对应的待排序识别率；按照从大到小的顺序对不同食材待确认种类对应的待排序识别率进行排序；确定顺序为第一的待排序识别率为第一识别率，且顺序为第二的待排序识别率为第二识别率。

13、可选地，第一识别率和第二识别率满足识别率条件，包括：第一识别率与第二识别率的差值大于识别率阈值。

14、可选地，根据多张图像中与食材待确认种类对应的识别率确定第一识别率和第二识别率之后，还包括：在第一识别率和第二识别率不满足识别率条件的情况下，向用户发出食材种类询问消息；在接收用户的食材种类回答消息的情况下，按照食材种类回答消息确定食材种类；利用食材种类和图像作为微调训练集，微调图像识别模型。

15、可选地，冰箱还包括：投影装置，用于将信息以影像的形式投影到多层搁架上；根据图像的识别信息确定食材处于搁架的层数、食材种类、食材新鲜度之后，还包括：将表征食材处于搁架的层数、食材种类、食材新鲜度的图标投影到对应层数的搁架上。

16、可选地，根据图像的识别信息确定食材新鲜度，包括：按照食材种类和食材放入冰箱内的时间在新鲜度信息库中查询得到食材新鲜度。

17、可选地，根据图像的识别信息确定食材处于搁架的层数、食材种类、食材新鲜度之后，还包括：控制冰箱向食材所处于的搁架进行送风并调节湿度为与食材种类和食材新鲜度对应的湿度。

18、在一些实施例中，所述装置包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行所述的用于控制冰箱的方法。

19、在一些实施例中，所述冰箱，包括：冰箱本体，包括：从上到下排布的多层搁架；驱动装置，设置在最下层搁架的下方，驱动装置上方且最下层搁架下方设置有摄像头，驱动装置用于驱动摄像头伸出最下层搁架或缩回最下层搁架的下方；所述的用于控制冰箱的装置，安装于冰箱本体。

20、可选地，多层搁架包括从上到下排布且均为非透明板的第一层搁架、第二层搁架、第三层搁架，第三层搁架为最下层搁架。

21、可选地，驱动装置，驱动装置包括第一驱动单元和第二驱动单元，第一驱动单元，用于驱动摄像头伸出第三层搁架或缩回第三层搁架的下方；第二驱动单元，用于驱动第一驱动单元伸出第三层搁架或缩回第三层搁架的下方；其中，若第一驱动单元伸出第三方搁架且第二驱动单元缩回第三方搁架的下方，则摄像头伸出第三方搁架的距离为第一距离；若第一驱动单元与第二驱动单元同时伸出第三方搁架，则摄像头伸出第三方搁架的距离为第二距离；若第一驱动单元与第二驱动单元同时缩回第三方搁架的下方，则摄像头缩回第三方搁架的下方。其中，第一距离小于第二距离。

22、可选地，冰箱本体还包括：投影装置，用于将表征食材处于搁架的层数、食材种类、食材新鲜度的图标，以影像的形式投影到多层搁架上。

23、在一些实施例中，所述计算机可读存储介质，存储有程序指令，所述程序指令在运行时，用以使得计算机执行所述的用于控制冰箱的方法。

24、本公开实施例提供的用于控制冰箱的方法及装置、冰箱、计算机可读存储介质，可以实现以下技术效果：

25、当冰箱门体打开时，在设置在最下层搁架下方的摄像头伸出最下层搁架后开启，若识别到食材放入动作或食材取出动作则获取自上而下视角的图像，并根据图像的识别信息确定食材处于搁架的层数、食材种类、食材新鲜度。如此，有利于准确地确定食材位置、食材种类、食材新鲜度，避免食材被用户遗忘，智能化实现食材管理。

26、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。