一种菜肴食材识别方法、设备及系统与流程

本技术涉及信息处理，尤其涉及一种菜肴食材识别方法、设备及系统。

背景技术：

1、目前，很多应用和小程序都具有食谱推荐功能，给人们的生活带来了极大的方便。例如，通过一些应用或小程序可以识别用户拍摄照片中的食材种类并显示该蔬菜适宜烹饪的食谱。

2、我们知道，同一种类的食材也包括很多品种，同一种类不同品种的食材在烹饪菜肴时可能适合于不同的烹饪方式。以莲藕为例，在炖汤时通常要挑选软糯清甜的粉藕，而在清炒时通常要挑选清脆爽口的脆藕。但是，大部分人不知道要怎么挑选最适合的莲藕。常见的食谱推荐功能也只能识别食材种类，没有考虑到同一种类不同品种的食材在烹饪不同菜肴时的选择是不同的，不能为用户提供相关服务。因此，需要一种能够识别食材品种的方案，以帮助用户挑选适合烹饪菜肴的食材。

技术实现思路

1、本技术提供一种菜肴食材识别方法、设备及系统，不仅可以识别烹饪食材的种类，还可以识别其具体品种，从而为用户提供更加专业、准确的食谱推荐或食材推荐服务。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，提供一种菜肴食材识别方法，该方法可以应用于电子设备，该方法包括：获取用户输入的第一菜肴的菜肴名称和第一图片，其中第一图片包括一个或多个食材；向服务器发送第一菜肴的菜肴名称和第一图片的相关信息；接收来自服务器的菜肴食材识别结果；基于菜肴食材识别结果显示第一界面；其中，第一界面包括食材推荐结果和/或食材选择建议，食材推荐结果用于指示与第一菜肴匹配的食材，食材选择建议用于指示与所述第一菜肴匹配的食材的特征。

4、在一些示例中，第一图片中包括多个食材，该多个食材包括同一食材的不同品种。例如，第一图片中包括脆藕和粉藕。

5、上述第一方面提供的方案，在接收到用户输入的菜肴名称和包括一个或多个食材的图片时，电子设备可以显示菜肴食材识别结果，用于指示图片中是否有适合烹饪用户输入的菜肴的食材，或者指示适合烹饪用户输入的菜肴的食材应该具备的特征。例如，在用户输入的第一菜肴的菜肴名称是“清炒藕片”，第一图片中包括脆藕和粉藕两个品种的莲藕时，电子设备可以显示食材推荐结果，以指示适合烹饪“清炒藕片”的莲藕是图片中的脆藕。基于此，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在买菜时不知道选择什么品种的食材的烦恼。

6、作为一种可能的实现方式，上述第一界面还包括图片拍摄建议，其中图片拍摄建议用于指示拍摄与第一菜肴匹配的食材的特征。基于此，电子设备可以在无法判断图片中是否有适合烹饪用户输入的菜肴的食材时，通过图片拍摄建议指示用户在拍摄图片时需要拍摄到的食材的特征，以为用户提供更加准确的食材推荐服务。

7、作为一种可能的实现方式，上述图片拍摄建议用于指示拍摄与第一菜肴匹配的食材时需要体现的特征，所述特征包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于此，可以通过图片拍摄建议指示用户在拍摄图片时需要拍摄到的食材的特征，为用户提供更加准确的食材推荐服务。

8、作为一种可能的实现方式，上述第一图片包括第一食材和第二食材，第一食材和第二食材为同一种食材的不同品种。示例性地，第一食材如脆藕，第二食材如粉藕。基于本技术提供的方案，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，例如可以解决用户在买菜时不知道选择什么品种的莲藕烹饪清炒藕片的烦恼。

9、作为一种可能的实现方式，上述食材推荐结果用于指示第一食材与第一菜肴匹配。基于该方案，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务。例如在第一图片中包括同一食材不同品种的第一食材和第二食材时，可以识别出适合烹饪第一菜肴的第一食材，以及识别出第二食材不适合烹饪第一菜肴。

10、作为一种可能的实现方式，上述食材推荐结果包括第一食材与第一菜肴匹配的理由。基于此，可以为用户提供更加有说服力的食材推荐结果，并为用户提供丰富的菜肴食材相关知识。

11、作为一种可能的实现方式，上述基于菜肴食材识别结果显示第一界面，包括：根据用户对第二食材的选择操作，显示食材选择建议。基于此，电子设备可以在用户在第一图片中选择的食材不适合烹饪第一菜肴时，指示用户适合烹饪第一菜肴的食材应该具备的特征，为用户提供更加清晰、明确的食材选择建议。

12、作为一种可能的实现方式，当上述一个或多个食材中不包括与第一菜肴匹配的食材时，上述基于菜肴食材识别结果显示第一界面，包括：显示食材选择建议。基于此，电子设备可以在第一图片中不包括适合烹饪第一菜肴时，指示用户适合烹饪第一菜肴的食材应该具备的特征，为用户提供更加清晰、明确的食材选择建议。

13、作为一种可能的实现方式，上述食材选择建议用于指示与第一菜肴匹配的食材特征，上述特征包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于此，可以指示用户适合烹饪第一菜肴的食材的特征，为用户提供更加清晰、明确的食材选择建议。

14、作为一种可能的实现方式，上述方法还包括：接收用户输入的第二图片，其中第二图片中包括目标食材；向服务器发送第二图片的相关信息；接收来自服务器的食谱推荐结果，其中食谱推荐结果用于指示与目标食材匹配的菜肴；显示食谱推荐结果。基于此，在接收到用户输入的包括目标食材的图片时，电子设备可以显示食谱推荐结果，用于指示目标食材适合烹饪的菜肴。例如，在用户输入的图片中的目标食材为脆藕时，电子设备可以显示食谱推荐结果，以指示脆藕适合烹饪“清炒藕片”和“凉拌莲藕”。基于此，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食谱推荐服务，解决用户在烹饪时不知道食材适合烹饪什么菜肴的烦恼。

15、作为一种可能的实现方式，上述第二图片中包括多个食材，上述方法还包括：根据用户在第二图片中选择的区域确定区域中的食材为目标食材。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，电子设备可以根据用户的选择操作为用户提供相应的食谱推荐结果。

16、第二方面，提供一种菜肴食材识别方法，该方法应用于应用服务器，该方法包括：从电子设备接收用户输入的第一菜肴的菜肴名称和第一图片的相关信息，其中第一图片包括一个或多个食材；判断上述一个或多个食材是否与第一菜肴匹配；向电子设备发送菜肴食材识别结果；其中，当上述一个或多个食材与第一菜肴匹配时，食材推荐结果用于指示与第一菜肴匹配的食材；当上述一个或多个食材与第一菜肴不匹配时，食材推荐结果用于指示与第一菜肴匹配的食材的特征。

17、在一些示例中，第一图片中包括多个食材，该多个食材包括同一食材的不同品种。例如，第一图片中包括脆藕和粉藕。

18、上述第二方面提供的方案，应用服务器可以通过识别用户拍摄的图片中适合烹饪用户输入的菜肴的食材，指示图片中是否有适合烹饪用户输入的菜肴的食材，或者指示适合烹饪用户输入的菜肴的食材应该具备的特征。例如，在用户输入的第一菜肴的菜肴名称是“清炒藕片”，第一图片中包括脆藕和粉藕两个品种的莲藕时，应用服务器可以得到食材推荐结果，以指示适合烹饪“清炒藕片”的莲藕是图片中的脆藕。基于此，应用服务器可以为用户提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在买菜时不知道选择什么品种的食材的烦恼。

19、作为一种可能的实现方式，上述判断上述一个或多个食材是否与第一菜肴匹配，包括：获取上述一个或多个食材的图片特征；获取第一菜肴的图谱特征；根据上述一个或多个食材的图片特征和第一菜肴的图谱特征判断上述一个或多个食材是否与第一菜肴匹配。基于此，可以通过对第一图片进行特片特征分析和对菜肴名称进行图谱特征分析，以判断用户拍摄的图片中是否有适合烹饪用户输入的菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

20、作为一种可能的实现方式，上述获取上述一个或多个食材的图片特征，包括：对第一图片进行目标检测，确定上述一个或多个食材所在的区域；提取一个或多个食材所在的区域中的图片特征。示例性地，目标检测方法如基于区域卷积神经网络(region-convolutional neural network，r-cnn)的目标检测技术、快速r-cnn(faster r-cnn)技术、yolo(you only look once)等，本技术不做限定。

21、作为一种可能的实现方式，上述获取第一菜肴的图谱特征，包括：获取第一菜肴在菜肴知识图谱库中的图谱特征；其中，菜肴知识图谱库包括与第一菜肴相关的节点，上述节点之间具有相关关系，上述节点包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于包括多个维度的节点，可以支持应用服务器不仅可以识别食材的种类，还可以识别其品种，从而提供更加专业、准确的食材推荐或食材建议服务。

22、作为一种可能的实现方式，上述获取第一菜肴在菜肴知识图谱库中的图谱特征，包括：对第一菜肴的菜肴名称进行分析，确定第一菜肴的烹饪方式和食材；根据第一菜肴的烹饪方式和食材确定第一菜肴的烹饪方式在菜肴知识图谱库中的节点，并提取对应的图谱特征。基于此，应用服务器可以通过根据菜肴名称分析得出的烹饪方式和食材确定目标食材在图谱中的特征，以支持应用服务器识别用户拍摄图片中适合烹饪菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

23、作为一种可能的实现方式，上述根据上述一个或多个食材的图片特征和第一菜肴的图谱特征判断上述一个或多个食材是否与第一菜肴匹配，包括：计算上述一个或多个食材的图片特征与第一菜肴的图谱特征之间的语义相似度；根据最大语义相似度的数值判断上述一个或多个食材是否与第一菜肴匹配。其中，语义相似度的数值越大，表示两者相似性越强；语义相似度的数值越小，表示两者相似性越弱。基于此，可以识别出与第一菜肴相似性最强的图片特征，进而确定最适合烹饪与第一菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

24、作为一种可能的实现方式，上述一个或多个食材的图片特征与第一菜肴的图谱特征之间的最大语义相似度t1是基于以下公式1计算得到的：

25、t1＝argmax(sim(p1,k),sim(p2,k),…,sim(pi,k))；(公式1)

26、其中，上述公式1中，p1、p2、……、pi分别是上述一个或多个食材的图片特征向量；k是第一菜肴的图谱特征向量；sim(·)是计算向量间距离的度量函数。

27、基于公式1，可以确定与第一菜肴的图谱特征相似性最强的图片特征，进而确定最适合烹饪与第一菜肴的食材，从而提供更加专业、准确的食材推荐、食材建议服务或图片拍摄建议。例如，若最大语义相似度t1大于第一预设阈值，可以得到食材推荐结果，以指示第一图片中适合烹饪第一菜肴的食材；若最大语义相似度t1小于第二预设阈值，可以得到食材选择建议，以指示适合烹饪第一菜肴的食材的特征；若最大语义相似度t1小于第三预设阈值，可以得到图片拍摄建议，以指示拍摄图片时需要体现的食材特征；其中，第一预设阈值＞第二预设阈值＞第三预设阈值。

28、作为一种可能的实现方式，上述食材推荐结果、食材选择建议或图片拍摄建议是基于第一菜肴的图谱特征确定的。基于此，可以提供更加有说服力的食材识别结果，并为用户提供丰富的菜肴食材相关知识。

29、作为一种可能的实现方式，上述方法还包括：从电子设备接收用户输入的第二图片，其中第二图片包括目标食材；获取目标食材的食材名称和图片特征；确定目标食材在食材知识图谱库中对应的一个或多个烹饪方式的图谱特征；根据目标食材的图片特征和一个或多个烹饪方式的图谱特征向电子设备发送食谱推荐结果，其中食谱推荐结果用于指示与目标食材匹配的菜肴。基于此，应用服务器可以识别用户拍摄的图片中的食材适合烹饪的菜肴，以为用户提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在烹饪时不知道食材适合烹饪什么菜肴的烦恼。例如，在用户输入的图片中的目标食材为脆藕时，应用服务器可以得到食谱推荐结果，以指示脆藕适合烹饪“清炒藕片”和“凉拌莲藕”。

30、作为一种可能的实现方式，上述第二图片中包括多个食材，上述方法还包括：接收用户在第二图片中选择的区域的相关信息；根据用户在所述第二图片中选择的区域的相关信息确定区域中的食材为目标食材。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，应用服务器可以根据用户的选择操作为用户提供相应的食谱推荐结果。

31、作为一种可能的实现方式，上述与目标食材匹配的菜肴是应用服务器基于以下方法确定的：计算目标食材的图片特征和一个或多个烹饪方式的图谱特征之间的语义相似度；根据最大语义相似度的数值确定目标食材适合烹饪的菜肴。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，应用服务器可以根据用户的选择操作为用户提供相应的食谱推荐结果。其中，语义相似度的数值越大，表示两者相似性越强；语义相似度的数值越小，表示两者相似性越弱。基于此，可以识别出与目标食材图片特征相似性最强的图谱特征，进而确定目标食材最适合烹饪的菜肴，从而提供更加专业、准确的食谱推荐服务。

32、作为一种可能的实现方式，上述目标食材的图片特征和一个或多个烹饪方式的图谱特征之间的最大语义相似度t2是基于以下公式2计算得到的：

33、t2＝argmax(sim(p,k1),…,sim(p,kj))；(公式2)

34、其中，上述公式2中，p是目标食材的图片特征向量；k1、……、kj分别是上述一个或多个烹饪方式的图谱特征向量；sim(·)是计算向量间距离的度量函数。

35、基于公式2，可以确定与目标食材的图片特征相似性最强的图谱特征，进而确定目标食材最适合烹饪的菜肴，从而提供更加专业、准确的食谱推荐服务。例如，若最大语义相似度t2大于第一预设阈值，得到食谱推荐结果。

36、第三方面，提供一种电子设备，该电子设备包括：输入输出模块，用于获取用户输入的第一菜肴的菜肴名称和第一图片，其中第一图片包括一个或多个食材；收发模块，用于向服务器发送第一菜肴的菜肴名称和第一图片的相关信息，以及接收来自服务器的菜肴食材识别结果；显示模块，用于基于菜肴食材识别结果显示第一界面；其中，第一界面包括食材推荐结果和/或食材选择建议，食材推荐结果用于指示与第一菜肴匹配的食材，食材选择建议用于指示与所述第一菜肴匹配的食材的特征。

37、上述第三方面提供的方案，在接收到用户输入的菜肴名称和包括一个或多个食材的图片时，电子设备可以显示菜肴食材识别结果，用于指示图片中是否有适合烹饪用户输入的菜肴的食材，或者指示适合烹饪用户输入的菜肴的食材应该具备的特征。例如，在用户输入的第一菜肴的菜肴名称是“清炒藕片”，第一图片中包括脆藕和粉藕两个品种的莲藕时，电子设备可以显示食材推荐结果，以指示适合烹饪“清炒藕片”的莲藕是图片中的脆藕。基于此，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在买菜时不知道选择什么品种的食材的烦恼。

38、作为一种可能的实现方式，上述第一界面还包括图片拍摄建议，其中图片拍摄建议用于指示拍摄与第一菜肴匹配的食材的特征。基于此，电子设备可以在无法判断图片中是否有适合烹饪用户输入的菜肴的食材时，通过图片拍摄建议指示用户在拍摄图片时需要拍摄到的食材的特征，以为用户提供更加准确的食材推荐服务。

39、作为一种可能的实现方式，上述图片拍摄建议用于指示拍摄与第一菜肴匹配的食材时需要体现的特征，所述特征包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于此，可以通过图片拍摄建议指示用户在拍摄图片时需要拍摄到的食材的特征，为用户提供更加准确的食材推荐服务。

40、作为一种可能的实现方式，上述第一图片包括第一食材和第二食材，第一食材和第二食材为同一种食材的不同品种。示例性地，第一食材如脆藕，第二食材如粉藕。基于本技术提供的方案，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，例如可以解决用户在买菜时不知道选择什么品种的莲藕烹饪清炒藕片的烦恼。

41、作为一种可能的实现方式，上述食材推荐结果用于指示第一食材与第一菜肴匹配。基于该方案，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务。例如在第一图片中包括同一食材不同品种的第一食材和第二食材时，可以识别出适合烹饪第一菜肴的第一食材，以及识别出第二食材不适合烹饪第一菜肴。

42、作为一种可能的实现方式，上述食材推荐结果包括第一食材与第一菜肴匹配的理由。基于此，可以为用户提供更加有说服力的食材推荐结果，并为用户提供丰富的菜肴食材相关知识。

43、作为一种可能的实现方式，上述显示模块基于菜肴食材识别结果显示第一界面，包括：上述显示模块根据用户对第二食材的选择操作，显示食材选择建议。基于此，电子设备可以在用户在第一图片中选择的食材不适合烹饪第一菜肴时，指示用户适合烹饪第一菜肴的食材应该具备的特征，为用户提供更加清晰、明确的食材选择建议。

44、作为一种可能的实现方式，当上述一个或多个食材中不包括与第一菜肴匹配的食材时，上述显示模块基于菜肴食材识别结果显示第一界面，包括：显示模块显示食材选择建议。基于此，电子设备可以在第一图片中不包括适合烹饪第一菜肴时，指示用户适合烹饪第一菜肴的食材应该具备的特征，为用户提供更加清晰、明确的食材选择建议。

45、作为一种可能的实现方式，上述食材选择建议用于指示与第一菜肴匹配的食材特征，上述特征包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于此，可以指示用户适合烹饪第一菜肴的食材的特征，为用户提供更加清晰、明确的食材选择建议。

46、作为一种可能的实现方式，上述输入输出模块还用于：接收用户输入的第二图片，其中第二图片中包括目标食材；向服务器发送第二图片的相关信息；以及接收来自服务器的食谱推荐结果，其中食谱推荐结果用于指示与目标食材匹配的菜肴；上述显示模块还用于：显示食谱推荐结果。基于此，在接收到用户输入的包括目标食材的图片时，电子设备可以显示食谱推荐结果，用于指示目标食材适合烹饪的菜肴。例如，在用户输入的图片中的目标食材为脆藕时，电子设备可以显示食谱推荐结果，以指示脆藕适合烹饪“清炒藕片”和“凉拌莲藕”。基于此，电子设备可以提供品种级别的食材识别，从而提供更加专业、准确的食谱推荐服务，解决用户在烹饪时不知道食材适合烹饪什么菜肴的烦恼。

47、作为一种可能的实现方式，上述第二图片中包括多个食材，上述输入输出模块还用于：根据用户在第二图片中选择的区域确定区域中的食材为目标食材。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，电子设备可以根据用户的选择操作为用户提供相应的食谱推荐结果。

48、第四方面，提供一种应用服务器，该应用服务器包括：收发模块，用于从电子设备接收用户输入的第一菜肴的菜肴名称和第一图片的相关信息，其中第一图片包括一个或多个食材；多模态匹配模块，用于判断上述一个或多个食材是否与第一菜肴匹配；收发模块，用于向电子设备发送菜肴食材识别结果；其中，当上述一个或多个食材与第一菜肴匹配时，食材推荐结果用于指示与第一菜肴匹配的食材；当上述一个或多个食材与第一菜肴不匹配时，食材推荐结果用于指示与第一菜肴匹配的食材的特征。

49、上述第四方面提供的方案，应用服务器可以通过识别用户拍摄的图片中适合烹饪用户输入的菜肴的食材，指示图片中是否有适合烹饪用户输入的菜肴的食材，或者指示适合烹饪用户输入的菜肴的食材应该具备的特征。例如，在用户输入的第一菜肴的菜肴名称是“清炒藕片”，第一图片中包括脆藕和粉藕两个品种的莲藕时，应用服务器可以得到食材推荐结果，以指示适合烹饪“清炒藕片”的莲藕是图片中的脆藕。基于此，应用服务器可以为用户提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在买菜时不知道选择什么品种的食材的烦恼。

50、作为一种可能的实现方式，上述应用服务器还包括：图片特征提取模块，用于获取上述一个或多个食材的图片特征；图谱特征提取模块，用于获取第一菜肴的图谱特征；上述多模态匹配模块判断上述一个或多个食材是否与第一菜肴匹配，包括：多模态匹配模块根据上述一个或多个食材的图片特征和第一菜肴的图谱特征判断上述一个或多个食材是否与第一菜肴匹配。基于此，可以通过对第一图片进行特片特征分析和对菜肴名称进行图谱特征分析，以判断用户拍摄的图片中是否有适合烹饪用户输入的菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

51、作为一种可能的实现方式，上述应用服务器还包括：目标检测模块，用于对第一图片进行目标检测，确定上述一个或多个食材所在的区域；上述图片特征提取模块获取上述一个或多个食材的图片特征，包括：图片特征提取模块提取一个或多个食材所在的区域中的图片特征。

52、作为一种可能的实现方式，上述图谱特征提取模块获取第一菜肴的图谱特征，包括：图谱特征提取模块获取第一菜肴在菜肴知识图谱库中的图谱特征；其中，菜肴知识图谱库包括与第一菜肴相关的节点，上述节点之间具有相关关系，上述节点包括以下中的一个或多个：结构、形状、颜色、纹理、光滑度。基于包括多个维度的节点，可以支持应用服务器不仅可以识别食材的种类，还可以识别其品种，从而提供更加专业、准确的食材推荐或食材建议服务。

53、作为一种可能的实现方式，上述应用服务器还包括：菜肴分析模块，用于对第一菜肴的菜肴名称进行分析，确定第一菜肴的烹饪方式和食材；上述图谱特征提取模块获取第一菜肴在菜肴知识图谱库中的图谱特征，包括：图谱特征提取模块根据第一菜肴的烹饪方式和食材确定第一菜肴的烹饪方式在菜肴知识图谱库中的节点，并提取对应的图谱特征。基于此，应用服务器可以通过根据菜肴名称分析得出的烹饪方式和食材确定目标食材在图谱中的特征，以支持应用服务器识别用户拍摄图片中适合烹饪菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

54、作为一种可能的实现方式，上述多模态匹配模块根据上述一个或多个食材的图片特征和第一菜肴的图谱特征判断上述一个或多个食材是否与第一菜肴匹配，包括：多模态匹配模块计算上述一个或多个食材的图片特征与第一菜肴的图谱特征之间的语义相似度；多模态匹配模块根据最大语义相似度的数值判断上述一个或多个食材是否与第一菜肴匹配。其中，语义相似度的数值越大，表示两者相似性越强；语义相似度的数值越小，表示两者相似性越弱。基于此，可以识别出与第一菜肴相似性最强的图片特征，进而确定最适合烹饪与第一菜肴的食材，从而提供更加专业、准确的食材推荐或食材建议服务。

55、作为一种可能的实现方式，上述一个或多个食材的图片特征与第一菜肴的图谱特征之间的最大语义相似度t1是基于以下公式1计算得到的：

56、t1＝argmax(sim(p1,k),sim(p2,k),…,sim(pi,k))；(公式1)

57、其中，上述公式1中，p1、p2、……、pi分别是上述一个或多个食材的图片特征向量；k是第一菜肴的图谱特征向量；sim(·)是计算向量间距离的度量函数。

58、基于公式1，可以确定与第一菜肴的图谱特征相似性最强的图片特征，进而确定最适合烹饪与第一菜肴的食材，从而提供更加专业、准确的食材推荐、食材建议服务或图片拍摄建议。例如，若最大语义相似度t1大于第一预设阈值，可以得到食材推荐结果，以指示第一图片中适合烹饪第一菜肴的食材；若最大语义相似度t1小于第二预设阈值，可以得到食材选择建议，以指示适合烹饪第一菜肴的食材的特征；若最大语义相似度t1小于第三预设阈值，可以得到图片拍摄建议，以指示拍摄图片时需要体现的食材特征；其中，第一预设阈值＞第二预设阈值＞第三预设阈值。

59、作为一种可能的实现方式，上述食材推荐结果、食材选择建议或图片拍摄建议是基于第一菜肴的图谱特征确定的。基于此，可以提供更加有说服力的食材识别结果，并为用户提供丰富的菜肴食材相关知识。

60、作为一种可能的实现方式，上述收发模块还用于：从电子设备接收用户输入的第二图片，其中第二图片包括目标食材；上述图片特征提取模块还用于：获取目标食材的食材名称和图片特征；上述图谱特征提取模块还用于：确定目标食材在食材知识图谱库中对应的一个或多个烹饪方式的图谱特征；上述多模态匹配模块还用于：根据目标食材的图片特征和一个或多个烹饪方式的图谱特征向电子设备发送食谱推荐结果，其中食谱推荐结果用于指示与目标食材匹配的菜肴。基于此，应用服务器可以识别用户拍摄的图片中的食材适合烹饪的菜肴，以为用户提供品种级别的食材识别，从而提供更加专业、准确的食材推荐或食材建议服务，解决用户在烹饪时不知道食材适合烹饪什么菜肴的烦恼。例如，在用户输入的图片中的目标食材为脆藕时，应用服务器可以得到食谱推荐结果，以指示脆藕适合烹饪“清炒藕片”和“凉拌莲藕”。

61、作为一种可能的实现方式，上述第二图片中包括多个食材，上述收发模块还用户：从电子设备接收用户在第二图片中选择的区域的相关信息；上述多模态匹配模块具体用于：根据用户在所述第二图片中选择的区域的相关信息确定区域中的食材为目标食材。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，应用服务器可以根据用户的选择操作为用户提供相应的食谱推荐结果。

62、作为一种可能的实现方式，上述与目标食材匹配的菜肴是应用服务器的多模态匹配模块基于以下方法确定的：多模态匹配模块计算目标食材的图片特征和一个或多个烹饪方式的图谱特征之间的语义相似度；多模态匹配模块根据最大语义相似度的数值确定目标食材适合烹饪的菜肴。本方案适用于第一图片中包括一个食材的情况，也适用于第一图片中包括多个食材的情况。例如，在第一图片中包括多个食材时，应用服务器可以根据用户的选择操作为用户提供相应的食谱推荐结果。其中，语义相似度的数值越大，表示两者相似性越强；语义相似度的数值越小，表示两者相似性越弱。基于此，可以识别出与目标食材图片特征相似性最强的图谱特征，进而确定目标食材最适合烹饪的菜肴，从而提供更加专业、准确的食谱推荐服务。

63、作为一种可能的实现方式，上述目标食材的图片特征和一个或多个烹饪方式的图谱特征之间的最大语义相似度t2是基于以下公式2计算得到的：

64、t2＝argmax(sim(p,k1),…,sim(p,kj))；(公式2)

65、其中，上述公式2中，p是目标食材的图片特征向量；k1、……、kj分别是上述一个或多个烹饪方式的图谱特征向量；sim(·)是计算向量间距离的度量函数。

66、基于公式2，可以确定与目标食材的图片特征相似性最强的图谱特征，进而确定目标食材最适合烹饪的菜肴，从而提供更加专业、准确的食谱推荐服务。例如，若最大语义相似度t2大于第一预设阈值，得到食谱推荐结果。

67、第五方面，提供一种电子设备，该电子设备包括：显示屏，用于进行界面显示；收发器，用于进行无线电信号发送与接收；存储器，用于存储计算机程序指令；处理器，用于执行所述计算机程序指令，以支持电子设备实现如第一方面任一种可能的实现方式中的方法。

68、第六方面，提供一种应用服务器，该应用服务器包括：收发器，用于进行无线电信号发送与接收；存储器，用于存储计算机程序指令；处理器，用于执行所述计算机程序指令，以支持应用服务器实现如第二方面任一种可能的实现方式中的方法。

69、第七方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，该计算机程序指令被处理器执行时实现如第一方面或第二方面任一种可能的实现方式中的方法。

70、第八方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机实现如第一方面或第二方面任一种可能的实现方式中的方法。

71、第九方面，提供一种芯片系统，该芯片系统包括处理电路、存储介质，存储介质中存储有计算机程序指令；所述计算机程序指令被所述处理器执行时，实现如第一方面或第二方面任一种可能的实现方式中的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。