基于情绪监测的取餐推荐方法及系统

本发明属于计算机视觉、取餐推荐，涉及一种根据情绪记录和取餐记录来推荐菜品的智能推荐方法及系统。

背景技术：

1、近年来，随着计算机技术的发展和普及，智能推荐系统在各个领域中得到了广泛应用，尤其是在餐饮行业，使用智能推荐系统为用户推荐菜品受到了越来越多的关注。

2、当前的餐饮推荐系统主要基于用户的历史饮食偏好和消费记录来生成推荐菜品。然而，这类系统往往忽略了情绪对饮食选择的显著影响。大量研究表明，人的情绪状态会直接影响其饮食行为。例如，在压力大、情绪低落或焦虑的情况下，人们更倾向于选择高糖高脂的食物，而在心情愉悦时，则更倾向于选择健康食品。这种情绪对饮食选择的影响，如果不能在推荐系统中加以考虑，往往会导致推荐结果的准确性和用户满意度降低。

3、例如公开号为cn 112598435a的中国发明专利申请，公开了一种餐厅的推荐方法和装置、存储介质、电子装置。其中，该方法包括：在根据当前语音确定目标用户有外出就餐需求的情况下，根据所述目标用户的知识图谱确定与所述目标用户的习惯匹配的目标餐厅；向所述目标用户推荐所述目标餐厅。该方法需通过用户语音区分用户，本技术通过摄像头区分用户，解决了语音识别的局限性，语音识别可能受到背景噪音、口音、语速等影响通过摄像头识别用户，可以减少这些因素对用户识别准确性的影响。

4、再例如公开号为cn113554456a的中国发明专利申请，公开了一种基于称重与视觉识别的餐饮分析方法及系统，该方法包括：拍摄用户的人脸影像，检索人脸影像对应的用户信息；基于用户信息获取用户的用餐数据与支付数据；对用户夹取的菜品进行称重计价，更新用户的支付数据；拍摄并分析用户的餐余影像，更新用户的用餐数据；分析支付数据与用餐数据，生成对应于用户的餐饮调整方案。该方法虽然分析考虑了用户用餐情况和数据，但并没有结合用户情绪，而情绪会影响用户饮食行为，而本发明通过实时监测用户情绪，将情绪和取餐数据同时进行分析，给出相对更加符合用户需求的菜品推荐结果。

5、当前的餐饮推荐系统主要基于用户的历史饮食偏好和消费记录来生成推荐菜品。然而，这类系统往往忽略了情绪对饮食选择的显著影响。大量研究表明，人的情绪状态会直接影响其饮食行为。例如，在压力大、情绪低落或焦虑的情况下，人们更倾向于选择高糖高脂的食物，而在心情愉悦时，则更倾向于选择健康食品。这种情绪对饮食选择的影响，如果不能在推荐系统中加以考虑，往往会导致推荐结果的准确性和用户满意度降低。

技术实现思路

1、为了克服已有技术的不足，本发明提供了一种基于情绪监测的取餐推荐方法及系统，通过视觉数据（即面部表情）的采集和分析，视觉数据采集需经过用户同意，实时监测用户的情绪状态，并结合这些情绪数据与历史取餐记录，构建情绪-饮食偏好模型，该模型能够更准确地预测用户在不同情绪状态下的饮食需求，从而生成个性化的推荐菜谱，这不仅提高了推荐结果的准确性和用户满意度，还能帮助用户在管理情绪的同时保持健康的饮食习惯。

2、为实现上述技术目的，本发明采用了一种基于情绪监测的取餐推荐方法，包括以下步骤：

3、步骤1）启动智能称重售菜装置，并将预销售的食用菜放置于电子称重器上；电子称重器自动进行称重，并将数据传输至控制中心，若称重器检测到重量变化，转入步骤2）；

4、步骤2）当电子称重器检测到食用菜重量减少，表明用户可能正在取菜；此时，称重器将此信息发送至控制中心，控制中心首先检查识别器是否感应到餐盘，若感应到餐盘，识别器会扫描餐盘上的二维编码或信息磁条，以判断该餐盘是否已与用户账号绑定，若用户已绑定餐盘转入步骤3），若餐盘未绑定或无用户记录转入骤4）；

5、步骤3）将检索该用户的历史取餐记录及对应的历史情绪状态，基于这些信息，个性化推荐算法bi-lstm（bi-directional long short-term memory，双向长短期记忆网络）将被调用，为用户推荐菜品，推荐结果将展示在显示器上；若系统未查询到用户的历史记录，将根据用户当前的情绪状态，调用个性化推荐算法bi-lstm推荐菜品；

6、步骤4）如果识别器未感应到餐盘或判定餐盘未绑定用户，将启动报警器进行报警，以防止未授权取菜；

7、步骤5）各个控制中心将信息传输至总服务端，总服务端将各个控制中心的信息进行汇总，然后从取餐成功的用户账号上扣除取餐费用，扣费成功后报警器进行报警。

8、进一步，所述步骤1）的过程为：

9、1.1）启动智能称重售菜装置的过程开始于接通系统电源，激活所有组件，包括控制中心、电子称重器、报警器、显示器和识别器（摄像头），在操作前，确保餐盘放置在设定的位置，以便其上的二维编码和信息磁条能够被识别器准确读取；

10、1.2）随后，进行电子称重器的清洁与校准，保证称重的准确性；预销售的食用菜被放置于电子称重器的称重平台上，要求菜品摆放整齐，避免溢出或相互堆叠，以确保称重数据的准确传输至控制中心；

11、1.3）电子称重器自动完成称重后，重量数据将实时显示在显示器上，并同步传输至控制中心，为交易处理提供初始数据；此时，系统进入重量监测模式，电子称重器持续监测菜品重量的任何变化，同时识别器（摄像头）开始工作，调用人脸检测模型mtcnn（multitask cascaded convolutional networks，即多任务级联网络）实时检测人脸。

12、再进一步，所述步骤2）的过程如下：

13、2.l）电子称重器首先检测到食用菜重量的减少，这一变化即刻被识别并作为用户取菜行为的信号；称重器随即将重量变化的具体信息传输至控制中心，这些信息包括重量的减少量和时间戳；

14、2.2）控制中心接收到信号后，立即激活识别器对餐盘进行检测，以确认是否有餐盘放置在称重器上；当检测到餐盘时，系统将自动触发识别器扫描餐盘上的二维编码或信息磁条，这些编码或磁条能够读取到用户的账户信息，如果餐盘已绑定，则系统准备进入步骤3）；

15、2.3）若识别器未能感应到餐盘，或控制中心检测到餐盘未与任何用户账号绑定，系统将根据预设的安全协议，转入步骤4）。

16、更进一步，所述步骤3）中，对于已识别到用户，调用深度学习网络进行识别分析，深度学习网络的工作流程如下：

17、3.1）使用人脸检测模型mtcnn识别人脸，检测到人脸后进行人脸对齐；

18、3.2）使用特征提取模块对人脸进行特征提取，得到的特征图输入预训练的resnet网络对当前人脸的情绪进行分类，分类的标签有7种，分别是高兴、生气、吃惊、恐惧、厌恶、悲伤和中立，将得到的情绪结果和当前用户取的菜品保存到数据库中；

19、3.3）根据餐盘绑定的用户信息调取数据库中该用户的历史情绪和取餐记录，如果查到了数据，则将历史情绪和取餐记录这两种数据一起输入到个性化推荐算法bi-lstm中；如果没有查到数据，则表明用户是首次取餐，则不作推荐，仅记录本次取餐记录和情绪记录，作下次用户来取餐时的记录做推荐。

20、优选的，所述深度学习网络的模块结构和训练过程中，所述特征提取模块采用cbam（convolutional block attention module，卷积注意力模块），其由通道注意力模块和空间注意力模块组成，通道注意力模块通过全局最大池化和全局平均池化对输入特征进行处理，生成两个特征向量；这两个向量经过共享全连接层的处理后相加，再通过sigmoid激活函数产生通道注意力权重；空间注意力模块则是对输入特征进行通道维度上的最大和平均池化操作，然后拼接结果并通过卷积压缩通道，最后通过sigmoid函数得到空间注意力权重,给定输入特征图，通道注意力权重的公式如下所示，

21、       （1）；

22、式中，  表示对输入特征图进行全局平均池化，和表示全连接层，表示激活函数，是 relu，表示 sigmoid 函数，用于将得分归一化到 [0, 1] 范围内；

23、空间注意力权重的公式如下所示，

24、    （2）；

25、式中，，，表示卷积操作，表示激活函数，表示 sigmoid 函数；

26、cbam模块整体公式表示为：

27、    （3）。

28、再优选的，所述深度学习网络的模块结构和训练过程中，对resnet网络进行优化，在经过两次卷积层和批归一化处理的特征图之后，引入了cbam组件，cbam模块利用通道注意力机制和空间注意力机制来优化特征图的权重分配，增强了特征表示的能力；经过cbam调整的特征随后与原始残差连接的特征进行合并；在resnet的整个网络中，将所有标准残差块替换为这种经过cbam增强的版本；网络的初始层维持不变，而每个残差块组都经过了上述的调整，最终，在网络的末端，通过全局平均池化层将多尺度的特征图整合为单一的特征向量，这个向量随后被送入全连接层，形成最终的融合特征表示。

29、更优选的，所述深度学习网络的模块结构和训练过程中，构建特征融合模块，使用resnet（residual neural network，resnet，即残差神经网络）得到人脸情绪分类结果后，将情绪和用户所取的菜品种类作为训练数据，训练个性化菜品推荐网络，该网络使用bi-lstm，首先初始化两个embedding向量，一个用于处理情绪模型输出的数值型标签，另一个用于处理菜品特征，得到两个embedding向量后，使用concat将两个特征作特征融合；输入bi-lstm网络，最后通过一个全连接层得到最终的菜品输出。

30、更优选的，所述深度学习网络的模块结构和训练过程中，构建损失函数，采用的损失函数为均方误差损失（mean squared error loss，mse loss），其公式如下，

31、    （4）；

32、式中，是第个样本的真实值，是模型对该样本的预测值，是样本数量。

33、所述深度学习网络的模块结构和训练过程中，训练bi-lstm网络，一共迭代400次，基础学习率为0.0001，每隔20次学习率下降10倍，每次迭代结束保存一次模型，选择最后一次迭代的模型作为网络。

34、所述步骤4的过程如下：识别器会检查放置在电子称重器上的餐盘，尝试感应餐盘上的二维编码或信息磁条；如果识别器未能检测到餐盘的存在，或判定餐盘未与任何用户账号绑定，系统将认定这是一次未授权的取菜尝试；在这种情况下，系统将立即启动报警器进行报警，发出警告信号以防止未授权取菜行为；同时，智能称重售菜装置的显示器会向用户展示一条消息，明确指出发生了未授权行为，并提供进一步的指示或请求用户重新扫描餐盘。

35、所述步骤5中，费用结算与扣除环节的过程如下：总服务端负责汇总信息，计算每位用户根据所取菜品的种类和数量应付的费用，并自动从用户的预绑定支付账户中扣除相应金额；在扣费前，系统会检查账户余额，如果费用扣除成功，总服务端会记录交易详情，并将交易确认信息通过交易成功的语音反馈给用户，如果扣费失败则语音提示失败原因。

36、一种基于情绪监测的取餐推荐系统，包括餐盘、智能称重售菜装置，其中，所述智能称重售菜装置包括控制中心、电子称重器、报警器、显示器和识别器，所述控制中心包括情绪识别的深度学习模型和个性化推荐深度学习模型；所述情绪识别的深度学习模型先对采集到的人脸视频数据采用欧拉表情放大，随后采用mtcnn（multitask cascadedconvolutional networks，即多任务级联网络）进行人脸识别，随后使用残差神经网络（residual neural network，resnet）resnet进行表情分类；所述个性化推荐深度学习模型根据历史情绪和历史取餐数据，采用个性化推荐算法bi-lstm（bi-directional longshort-term memory，双向长短期记忆网络）模型推荐菜品。

37、本发明的技术构思为：通过视觉数据（即面部表情）的采集和分析，视觉数据采集需经过用户同意，实时监测用户的情绪状态，并结合这些情绪数据与历史取餐记录，构建情绪-饮食偏好模型。该模型能够更准确地预测用户在不同情绪状态下的饮食需求，从而生成个性化的推荐菜谱。这不仅提高了推荐结果的准确性和用户满意度，还能帮助用户在管理情绪的同时保持健康的饮食习惯。为了实现这一技术，必须解决以下三个问题：

38、1）、情绪识别模型的准确性。不同用户的表情差异大，同一用户在不同环境下的表情也可能有所变化，使得表情识别的复杂性增加。此外，即使能够识别出用户的表情，准确地将其分类为具体的情绪（如快乐、悲伤、愤怒等）仍然具有挑战性。这需要大量的训练数据和复杂的情感分析算法。为了提高表情识别的准确性和鲁棒性，必须在面对不同用户和不同环境时，确保模型能够稳定运行；

39、2）个性化推荐算法的准确性和实时性。个性化推荐算法需要考虑用户的历史数据、当前情绪，且推荐系统需要实时分析用户情绪并生成推荐结果，这对算法的计算效率提出了高要求。如何在保证推荐结果准确性的同时，满足实时性要求，是一个重要的技术难点；

40、3）餐食自动计费系统的准确测量。系统要确保电子称重器能够对事物的重量进行精确测量，避免因重量误差而导致计费不准确的情况发生。同时，对于菜品信息的识别也是一个挑战，系统需要能够准确识别餐盘上的二维编码或信息磁条，并将其与用户信息进行绑定，以确保每道菜品都能够被正确记录和计费。解决这些技术难点需要系统具备高精度的称重和识别能力，同时还需要考虑到不同菜品的形状、密度和摆放方式对测量和识别的影响，以确保系统能够在各种情况下都能够准确计费。

41、本发明的有益效果主要表现在：不仅提高了推荐结果的准确性和用户满意度，还能帮助用户在管理情绪的同时保持健康的饮食习惯。