一种基于神经网络的食谱智能生成方法

本发明涉及食品图像处理，尤其涉及一种基于神经网络的食谱智能生成方法。

背景技术：

1、随着人类的进步和社会的发展，烹饪的趋势从在家烹饪转向了在外用餐和外卖的餐馆。在线外卖市场目前处于快速增长阶段，全球范围内的市场规模十分庞大。根据statista的统计数据，2021年全球外卖市场的总收入大约为6830亿美元，并预计到2027年将增长至1.11万亿美元,这就意味着越来越多的人都依赖于外卖或在外就餐的这种形式，越来越多的人不会烹饪，所以逆向烹饪系统的出现是非常有必要的。

2、amaia salvador等人提出了一种逆向烹饪的方法(inverse cooking)，以一个食物图像作为输入，在不强加任何顺序的情况下进行建模，然后通过同时关注图像及其推断的食材来生成一系列烹饪指令，但是该方法并没有考虑到环境信息的影响，ruijie li等人提出的用于食谱营养评估的方法(delicacynet)，利用神经网络模型帮助人类识别和分析日常食物摄入中营养成分的含量和比例，从而帮助人类自主选择和合理搭配饮食。

3、然而在食品图像处理的过程中，环境信息的影响是一个难题，实际应用中，图像中会包含大量的环境信息，现有逆向烹饪方法不能准确地提取食品图像中的核心语义信息，导致预测的结果不够精准。

技术实现思路

1、本发明提供一种基于神经网络的食谱智能生成方法，以克服现有逆向烹饪方法不能准确地提取食品图像中的核心语义信息的技术问题。

2、为了实现上述目的，本发明的技术方案是：

3、一种基于神经网络的食谱智能生成方法，包括：

4、s1：构建食物图像数据集和食材语料库，并对所述食物图像数据集中的食物图像进行预处理；

5、s2：构建环境特征提取编码器，对所述预处理后的食物图像进行特征提取，得到图片特征张量；

6、s3：构建成分解码器，将所述图片特征张量和所述食材语料库中的食材相对应，得到经过成分解码的食材列表；

7、s4：构建成分编码器，将所述经过成分解码的食材列表通过所述成分编码器处理，得到食材特征张量；

8、s5：构建食谱解码器，通过所述食谱解码器将所述图片特征张量和所述食材特征张量通过拼接的方式进行融合，并使用相似度度量方法处理融合后的特征，得到待预测的食材，通过梯度下降算法对待预测的食材进行预测，并处理融合后的特征，得到最终的预测食谱步骤说明。

9、进一步的，构建环境特征提取编码器，对所述预处理后的食物图像进行特征提取，得到图片特征张量，包括：

10、s21：构建全连接线性层，处理所述预处理后的食物图像，得到长度为m的一维张量：

11、构建全连接线性层，并设置所述预处理后的食物图像输入尺寸和输出尺寸，得到长度为m的第一一维张量；

12、s22：构建融合层，处理所述第一一维张量，得到第二一维张量，所述第二一维张量的数目和大小均不同：

13、所述融合层包括多个n*n的卷积层和trans层，所述多个n*n的卷积层处理所述第一一维张量，得到不同大小和不同数目的第一一维张量；

14、通过所述trans层对所述不同大小和不同数目的第一一维张量进行重组融合，得到第二一维张量；

15、s23：构建卷积层和dropout层，处理所述第二一维张量，得到第三一维张量：

16、使用n*n的卷积核，对第二一维张量进行卷积，并使用dropout层调整卷积后的张量的通道数，得到第三一维张量；

17、s24：使用高斯误差线性单元函数构建激活函数，对所述第三一维张量进行非线性变换，得到图片特征张量：

18、所述高斯误差线性单元函数函数如公式(1)所示，

19、

20、其中，x表示输入到该函数的值，表示高斯分布的累积概率分布，即高斯分布在区间(-∞,x)上的定积分。

21、进一步的，构建成分解码器，将所述图片特征张量和所述食材语料库中的食材相对应，得到经过成分解码的食材列表，包括：

22、s31：构建成分解码器；

23、s32：使用列表方法表示食材，得到食材列表；

24、s33：对所述食材列表中的食材进行one-hot编码，将所述食材列表转换为对应的one-hot编码矩阵；

25、s34：将所述one-hot编码矩阵和相对应的食材图像使用所述成分解码器进行模型训练，得到经过成分解码的食材列表。

26、进一步的，构建成分编码器，将所述经过成分解码后的食材列表通过所述成分编码器处理，得到食材特征张量，包括：

27、构建成分编码器，并将经过成分解码后的食材列表输入所述成分编码器中的嵌入层；

28、所述成分编码器的嵌入层将所述食材的one-hot编码转换为对应的嵌入向量；

29、将所述嵌入向量按照它们在食材列表中的顺序排列成一个二维矩阵，得到食材特征张量。

30、进一步的，构建食谱解码器，通过所述食谱解码器将所述图片特征张量和所述食材特征张量通过拼接的方式进行融合，并使用相似度度量方法处理融合后的特征，得到待预测的食材，通过梯度下降算法对待预测的食材进行预测，得到最终的预测食谱步骤说明，包括：

31、s51：构建食谱解码器；

32、s52：用串联的方式将所述图片特征张量和所述食材特征张量拼接在一起，进行融合；

33、s53：使用相似度度量方法计算每个融合特征张量之间的关联性，所述通过所述食谱解码器中的前馈网络层进行非线性变换，生成输出的食材；

34、s54：通过梯度下降算法预测输出的食材和所述食材列表之间的二元交叉熵来训练所述食谱解码器，输出食谱单词的概率分布：

35、计算预测输出的食材的数值与真实食材的数值之间的误差，使用梯度下降算法更新所述食谱解码器参数，进行迭代更新，得到训练好的食谱解码器，输出食谱单词的概率分布；

36、s55：设置一个空列表，根据生成的概率分布确定输出的食谱单词，将输出的食谱单词依次放入所述空列表中，去除列表中含有重复食谱单词的食谱步骤说明，得到最终的预测食谱步骤说明。

37、本发明通过将delicacynet中的环境特征提取编码器与逆向烹饪的方法中的成分解码器，成分编码器和食谱解码器进行结合，得到新的混合模型，能够在环境去噪的条件下尽可能多地保留图像的核心特征信息，提高混合模型预测的精准度。

技术特征：

1.一种基于神经网络的食谱智能生成方法，其特征在于，包括：

2.根据权利要求1所述的一种基于神经网络的食谱智能生成方法，其特征在于，s2构建环境特征提取编码器，对所述预处理后的食物图像进行特征提取，得到图片特征张量，包括：

3.根据权利要求1所述的一种基于神经网络的食谱智能生成方法，其特征在于，s3构建成分解码器，将所述图片特征张量和所述食材语料库中的食材相对应，得到经过成分解码的食材列表，包括：

4.根据权利要求1所述的一种基于神经网络的食谱智能生成方法，其特征在于，s4构建成分编码器，将所述经过成分解码后的食材列表通过所述成分编码器处理，得到食材特征张量，包括：

5.根据权利要求1所述的一种基于神经网络的食谱智能生成方法，其特征在于，s5构建食谱解码器，通过所述食谱解码器将所述图片特征张量和所述食材特征张量通过拼接的方式进行融合，并使用相似度度量方法处理融合后的特征，得到待预测的食材，通过梯度下降算法对待预测的食材进行预测，得到最终的预测食谱步骤说明，包括：

技术总结本发明公开了一种基于神经网络的食谱智能生成方法，包括：构建食物图像数据集和食材语料库，并对食物图像进行预处理；构建环境特征提取编码器，对处理后的食物图像进行特征提取，得到图片特征张量；构建成分解码器，将图片特征张量和食材语料库中的食材相对应，得到经过成分解码的食材列表；构建成分编码器，将经过成分解码的食材列表通过成分编码器处理，得到食材特征张量；构建食谱解码器，通过食谱解码器将图片特征张量和食材特征张量通过拼接的方式进行融合，处理融合后的特征，得到最终的预测食谱步骤说明；本发明能够在环境去噪的条件下尽可能多地保留图像的核心特征信息，避免模型过拟合，提高模型的泛化能力，提高混合模型预测的精准度。技术研发人员：李承秀,郭权,韩立,赵磊,房颖,康玲,范博受保护的技术使用者：大连东软信息学院技术研发日：技术公布日：2024/7/29