一种基于图像驱动的食物识别及营养分析方法和系统与流程

本发明提出了一种基于图像驱动的食物识别及营养分析方法和系统，属于图像识别。

背景技术：

1、随着人们生活水平的提高和健康意识的增强，对食物摄入的营养管理需求日益增加。然而，传统的食物营养分析方法往往需要人工对食物进行称重、分类和营养计算，这种方法不仅耗时耗力，而且容易受到人为因素的影响，导致分析结果的准确性不高。

2、近年来，随着计算机视觉和图像处理技术的快速发展，基于图像的食物识别技术逐渐崭露头角。该技术通过拍摄食物图片，利用计算机对图像进行处理和分析，从而实现对食物种类和营养价值的快速识别和分析。然而，现有的基于图像的食物识别技术仍然存在一些挑战和限制。首先，食物种类繁多，形态各异，这给图像识别带来了很大的难度。传统的图像识别方法的待处理图像数据的图像处理方式只能满足对每种食物进行单独的训练和识别，这不仅需要大量的数据和时间，而且难以实现全面的覆盖，同时，也会对图像识别的准确性产生影响。

技术实现思路

1、本发明提供了一种基于图像驱动的食物识别及营养分析方法和系统，用以解决上述现有技术中存在的问题，所采取的技术方案如下：

2、一种基于图像驱动的食物识别及营养分析方法，所述基于图像驱动的食物识别及营养分析方法包括：

3、控制图像采集设备对目标食物进行采集，并获取所述目标食物对应的食物图像数据；

4、对所述目标食物对应的食物图像数据进行图像处理，获取图像处理后的目标食物对应的食物图像数据；其中，所述图像处理包括图像分割和像素值调整；

5、通过卷积神经网络模型对所述目标食物对应的食物图像数据中的食物信息进行识别，获取食物识别结果；

6、根据所述食物识别结果对所述食物识别结果所包含的食物信息进行营养分析，获取营养分析结果。

7、进一步地，对所述目标食物对应的食物图像数据进行图像处理，获取图像处理后的目标食物对应的食物图像数据，包括：

8、对所述目标食物对应的食物图像数据进行降噪处理，获得降噪处理后的食物图像数据；

9、对所述降噪处理后的食物图像数据进行图像块分割和图像块像素值调整，并通过图像块拼合方式获取像素值调整后的图像块。

10、进一步地，对所述降噪处理后的食物图像数据进行图像块分割和图像块像素值调整，并通过图像块拼合方式获取像素值调整后的图像块，包括：

11、对所述降噪处理后的食物图像数据进行图像块分割，获得多个图像块；

12、对所述降噪处理后的食物图像数据对应的每个图像块进行像素值调整，获取像素值调整后的图像块；

13、将所述像素值调整后的图像块进行拼合，获取像素值调整后的目标食物对应的食物图像数据。

14、进一步地，对所述降噪处理后的食物图像数据进行图像块分割，获得多个图像块，包括：

15、对所述降噪处理后的食物图像数据进行复制，获取复制食物图像数据；

16、将所述降噪处理后的复制食物图像数据进行灰度处理，获得灰度处理后的复制食物图像数据；

17、按照预设的初始图像块的尺寸对所述灰度处理后的复制食物图像数据进行图像分割，获取多个灰度图像块；其中，所述初始图像块图像块的尺寸为a×a，并且，a为奇数；

18、提取所述灰度图像块中的每个像素块对应的灰度值；

19、根据所述灰度图像块中的每个像素块对应的灰度值获取每个灰度图像块的灰度评价系数；其中，所述灰度评价系数通过如下公式获取：

20、

21、其中，k表示每个灰度图像块的灰度评价系数；n表示每个灰度图像块除了中心像素块之外所包含的像素块的个数；xwi表示第i个除了中心像素块之外的像素块的灰度值；xz表示灰度图像块的中心像素块的灰度值；k01和k02分别表示第一系数和第二系数；其中，所述第一系数获取方式如下：

22、当中心像素块的灰度值是所述灰度图像块所包含像素块的灰度最大值时，则所述第一系数通过如下公式获取：

23、

24、其中，xp表示灰度图像块的灰度平均值；xmin表示所述灰度图像块所包含像素块的灰度最小值；

25、当中心像素块的灰度值不是所述灰度图像块所包含像素块的灰度最大值时，则所述第一系数通过如下公式获取：

26、

27、其中，xp表示灰度图像块的灰度平均值；xmin表示所述灰度图像块所包含像素块的灰度最小值；xmax表示所述灰度图像块所包含像素块的灰度最大值；

28、并且，所述第二系数通过如下公式获取：

29、

30、其中，k02表示第二系数；xi表示灰度图像块中的第i个像素块对应的灰度值；xz表示灰度图像块的中心像素块的灰度值；xp表示灰度图像块的灰度平均值；

31、根据所述每个灰度图像块的灰度评价系数确定灰度评价系数的约束条件；

32、将每相邻的两个灰度图像块的灰度评价系数进行比较，并将灰度评价系数满足所述约束条件的相邻的两个灰度图像块合并为一个图像块，获得灰度处理后的复制食物图像数据对应的多个图像块；

33、按照所述灰度处理后的复制食物图像数据对应的多个图像块的分布对原始的所述降噪处理后的食物图像数据进行图像块分割，获得所述降噪处理后的食物图像数据对应的多个图像块。

34、进一步地，根据所述每个灰度图像块的灰度评价系数确定灰度评价系数的约束条件，包括：

35、提取所述灰度图像块的灰度评价系数；

36、根据所述灰度图像块的灰度评价系数获取灰度评价系数最大值和灰度评价系数最小值；

37、提取所述灰度评价系数最大值和灰度评价系数最小值所对应的灰度图像块的中心像素块；

38、利用所述灰度评价系数最大值和灰度评价系数最小值所对应的灰度图像块的中心像素块之间的距离，作为第一距离数据；

39、根据所有所述灰度图像块的灰度评价系数，获取所有所述灰度图像块的灰度评价系数对应的中值参数；

40、提取预设的中值参数偏移量h，其中，所述中值参数偏移量h的取值范围为中值参数h的3％-10％；

41、利用所述预设的中值参数偏移量h结合中值参数h获取系数参数范围；其中，所述系数参数范围为h±h；

42、将所述灰度评价系数符合系数参数的灰度图像块作为目标灰度图像块，并获得多个目标灰度图像块；

43、提取所述灰度评价系数最小值所对应的灰度图像块的中心像素块与每个目标灰度图像块的中心像素块之间的距离，作为第二距离数据；

44、利用所述第一距离数据和多个第二距离数据获取第一约束条件补偿量；其中，所述第一约束条件补偿量通过如下公式获取：

45、

46、其中，ξ01表示第一约束条件补偿量；sm表示第一距离数据对应的距离值；m表示第二距离数据的个数；si表示第i个第二距离数据对应的距离值；max(si)和min(si)表示m个第二距离数据中所包含的距离最大值和距离最小值；s表示补偿调节系数，并且，所述补偿调节系数通过如下公式获取：

47、

48、其中，sm表示第一距离数据对应的距离值；m表示第二距离数据的个数；si表示第i个第二距离数据对应的距离值；xm01表示第二距离数据中所包含的距离最大值的灰度图像块的中心像素块灰度值；xm02表示第二距离数据中所包含的距离最小值的灰度图像块的中心像素块灰度值；

49、利用所有所述灰度图像块的灰度评价系数获取第二约束条件补偿量；其中，第二约束条件补偿量通过如下公式获取：

50、

51、其中，ξ02表示第二约束条件补偿量；r表示灰度图像块的总数量；ki表示第i个灰度图像块对应的灰度评价系数；xzi表示第i个灰度图像块对应的中心像素块的灰度值；xzp表示所有灰度图像块对应的灰度平均值的标准差；

52、从数据库中提取预设的初始约束条件；

53、利用所述第一约束条件补偿量和第二约束条件补偿量结合预设的初始约束条件获取约束条件，其中，所述约束条件通过如下公式获取：

54、xup＝(1+ξ01+ξ02)·xup0

55、

56、其中，xup表示约束条件的上限值；xup0表示初始约束条件的上限值；xdown表示约束条件的下限值；xdown0表示初始约束条件的下限值。

57、进一步地，对所述降噪处理后的食物图像数据对应的每个图像块进行像素值调整，获取像素值调整后的图像块，包括：

58、提取与所述降噪处理后的食物图像数据的每个图像块所对应的灰度处理后的复制食物图像数据的图像块整体区域；

59、提取所述每个图像块所对应的灰度处理后的复制食物图像数据的图像块整体区域中所包含的像素块的灰度值；

60、利用所述图像块整体区域中所包含的像素块的灰度值获取亮度调整系数；

61、利用所述降噪处理后的食物图像数据的每个图像块所包含的灰度评价系数获取像素值调整系数；

62、利用所述亮度调整系数和像素值调整系数结合像素值调整模型对所述每个图像块整体区域中所包含的每个图像块进行像素值调整，获得获取像素值调整后的图像块；

63、其中，所述像素值调整模型结构如下：

64、

65、其中，re、ge和be分别表示图像块整体区域中的每个像素块对应的增强后的红色通道、绿色通道和蓝色通道对应数值；r、g和b分别表示图像块整体区域中的每个像素块对应的原始的红色通道、绿色通道和蓝色通道对应数值；tr、tg和tb分别表示红色通道、绿色通道和蓝色通道对应的亮度调整系数；hr、hg和hb分别表示红色通道、绿色通道和蓝色通道对应的像素值调整系数。

66、进一步地，所述亮度调整系数和像素值调整系数通过如下公式获取：

67、

68、其中，tr、tg和tb分别表示红色通道、绿色通道和蓝色通道对应的亮度调整系数；z表示图像块整体区域中所包含的像素块的数量；xyi表示图像块整体区域中所包含的像素块的第i个像素块的灰度值；xzpxi表示图像块整体区域中所包含的图像块的中心像素块的灰度平均值，并且，当所述图像块整体区域中所包含的一个图像块时，xzpxi则表示该图像块的中心像素块的灰度值；rp、gp和bp分别图像块整体区域中所包含的图像块的红色通道、绿色通道和蓝色通道的数值平均值；tr0、tg0和tb0分别表示预设的红色通道、绿色通道和蓝色通道对应的初始亮度调整系数；

69、

70、其中，hr、hg和hb分别表示红色通道、绿色通道和蓝色通道对应的像素值调整系数；σk表示像素值补偿系数；hr0、hg0和hb0分别表示预设的红色通道、绿色通道和蓝色通道对应的初始像素值调整系数；σk表示像素值补偿系数，并且，所述像素值补偿系数通过如下公式获取：

71、

72、其中，p表示图像块整体区域中所包含的图像块的数量；kxi表示图像块整体区域中所包含的第i个图像块对应的复制食物图像数据的灰度图像块的灰度评价系数；kp表示图像块整体区域中所包含的p个图像图像块对应的复制食物图像数据的灰度图像块的灰度评价系数平均值；kmax表示图像块整体区域中所包含的p个图像图像块对应的复制食物图像数据的灰度图像块的灰度评价系数最大值；同时，当所述图像块整体区域中所包含的图像块的数量为1个时，令σk＝0。

73、进一步地，通过卷积神经网络模型对所述目标食物对应的食物图像数据中的食物信息进行识别，获取食物识别结果，包括：

74、将图像处理后的目标食物对应的食物图像数据转换为卷积神经网络模型允许输入的数据格式；

75、从数据库中调取已完成训练的用于进行食物识别的卷积神经网络模型；

76、将数据格式转换后的目标食物对应的食物图像数据输入至已完成训练的卷积神经网络模型；

77、所述卷积神经网络模型在接收到目标食物对应的食物图像数据后对对所述目标食物对应的食物图像数据中的食物信息进行识别，获取食物识别结果。

78、进一步地，根据所述食物识别结果对所述食物识别结果所包含的食物信息进行营养分析，获取营养分析结果，包括：

79、从数据库中与所述食物识别结果所包含的食物种类对应的营养成分信息；

80、对所述营养成分信息获取每种营养成分以及每种营养成分对应的总量；

81、从数据库中调取用户已记录的第一目标成分和第二目标成分；其中，所述第一目标成分为用户所需增加摄入的营养成分；所述第二目标成分为用户需要减少摄入的营养成分；

82、根据所述每种营养成分以及每种营养成分对应的总量获取食物识别结果所包含的食物的营养评估数值；其中，所述营养评估数值通过如下公式获取：

83、

84、其中，q表示营养评估数值；x表示食物种类对应的营养成分信息中所包含的第一目标成分的数量；mi表示第i个第一目标成分对应的含量比例；y表示食物种类对应的营养成分信息中所包含的第二目标成分的数量；mj表示第j个第二目标成分对应的含量比例；λi和λj分别表示第i个第一目标成分对应的权重值和第j个第二目标成分对应的权重值。

85、一种基于图像驱动的食物识别及营养分析系统，所述基于图像驱动的食物识别及营养分析系统包括：

86、图像采集模块，用于控制图像采集设备对目标食物进行采集，并获取所述目标食物对应的食物图像数据；

87、图像处理模块，用于对所述目标食物对应的食物图像数据进行图像处理，获取图像处理后的目标食物对应的食物图像数据；

88、食物识别模块，用于通过卷积神经网络模型对所述目标食物对应的食物图像数据中的食物信息进行识别，获取食物识别结果；

89、营养分析模块，用于根据所述食物识别结果对所述食物识别结果所包含的食物信息进行营养分析，获取营养分析结果。

90、本发明有益效果：

91、本发明提出的一种基于图像驱动的食物识别及营养分析方法和系统通过自动化的图像采集和处理，大大减少了人工参与的时间和劳动强度。同时，基于深度学习的卷积神经网络模型能够快速准确地识别食物种类，实现了对食物的高效识别和分析。通过对图像进行分割和像素值调整等预处理操作，提高了图像的质量和特征的可识别性，从而提高了识别的准确性。此外，结合预先建立的食物营养数据库，能够准确计算出食物的营养成分和热量等信息。用户只需使用智能手机等设备拍摄食物照片，即可实现对食物的快速识别和分析。这种方法简单易行，适用于各种场景下的食物营养管理需求。随着数据量的不断增加和模型的不断优化，该方法的识别和分析能力将不断提升。同时，通过添加新的食物种类和营养成分信息到数据库中，可以进一步扩展该方法的应用范围。另一方面，利用卷积神经网络(cnn)等深度学习模型进行水果识别，能够自动学习和提取图像中的复杂特征，适应不同种类、不同形态水果的识别需求。同时，深度学习模型具有较强的泛化能力，能够在不同场景下保持较高的识别准确率。由于采用了先进的图像处理技术和深度学习模型，该技术方案在包含多种水果的图像数据上能够实现较高的识别准确率。具体准确率取决于模型的训练数据、模型结构和参数设置等因素，但一般能够达到90％以上。实时性：该技术方案采用了高效的图像处理算法和深度学习模型，能够在较短的时间内完成图像处理和识别任务，满足实时性的要求。