图像预测方法、图像预测模型的训练方法、装置及设备

本公开涉及选冶，具体而言，涉及一种图像预测方法、图像预测模型的训练方法、装置及设备。

背景技术：

1、作为一种广泛应用于矿山、冶金领域的选矿技术，泡沫浮选可以利用目标矿物的疏水性将目标矿物与脉石等非目标矿物进行分离，从而达到选矿的目的。作为浮选过程状态的重要视觉表征，泡沫图像的变化能够直观反映浮选操作调整的效果和矿物的浮选行为。故预测泡沫图像在浮选优化控制中占据着举足轻重的地位。

2、在相关技术中，专利公布号为cn113128126a的专利申请公开了一种基于生成对抗网络的浮选加药过程的建模方法，该方法虽然能预测浮选操作后的泡沫图像，但该方法所提供的模型的训练过程存在不稳定的问题，导致模型的预测效果较差，甚至会出现模式崩溃，从而影响生成的泡沫图像的质量。因此，亟需解决这一技术问题。

技术实现思路

1、针对上述情况，本公开实施例提供了一种图像预测方法、图像预测模型的训练方法、装置及设备，旨在解决上述问题或者至少部分地解决上述问题。

2、第一方面，本公开实施例提供了一种图像预测方法，所述方法包括：

3、实时获取操作前泡沫图像、影响所述操作前泡沫图像的操作调整数据；

4、利用训练好的泡沫图像预测模型，对所述操作前泡沫图像和所述操作调整数据进行处理，预测得到操作后泡沫图像；

5、其中，所述训练好的泡沫图像预测模型为第一模型或第二模型；所述第一模型包括第一编码器和第一生成器，所述第一编码器用于对所述操作前泡沫图像和所述操作调整数据进行处理，得到潜空间中用于表征图像样式的第一潜码，所述第一生成器用于对所述第一潜码进行处理，得到所述操作后泡沫图像；所述第二模型包括第二编码器和第二生成器，所述第二编码器用于对所述操作前泡沫图像进行处理，得到潜空间中用于表征图像样式的第二潜码，所述第二生成器用于对所述第二潜码和所述操作调整数据进行处理，得到所述操作后泡沫图像。

6、第二方面，本公开实施例还提供了一种图像预测模型的训练方法，所述方法包括：

7、获取第一数据集，所述第一数据集中任一第一目标样本由第一样本操作前图像和第一样本操作调整数据构成，所述第一目标样本的标签为对应的第一样本操作后图像；

8、构建待训练的第一泡沫图像预测模型；其中，所述待训练的第一泡沫图像预测模型为待训练第一模型或待训练第二模型；所述待训练第一模型包括第一编码器、第一生成器和第一判别器，所述第一编码器用于对所述第一样本操作前图像和所述第一样本操作调整数据进行处理，得到潜空间中用于表征图像样式的第一样本潜码，所述第一生成器用于对所述第一样本潜码进行处理，得到预测的操作后泡沫图像；所述待训练第二模型包括第二编码器、第二生成器和第二判别器，所述第二编码器用于对所述第一样本操作前图像进行处理，得到潜空间中用于表征图像样式的第二样本潜码，所述第二生成器用于对所述第二样本潜码和所述第一样本操作调整数据进行处理，得到预测的操作后泡沫图像；

9、利用所述第一数据集对所述待训练的第一泡沫图像预测模型进行训练，得到训练好的第一泡沫图像预测模型；根据所述训练好的第一泡沫图像预测模型中的编码器和生成器，得到训练好的泡沫图像预测模型。

10、第三方面，本公开实施例还提供了一种图像预测装置，所述装置包括：

11、第一获取模块，用于实时获取操作前泡沫图像、影响所述操作前泡沫图像的操作调整数据；

12、预测模块，用于利用训练好的泡沫图像预测模型，对所述操作前泡沫图像和所述操作调整数据进行处理，预测得到操作后泡沫图像；

13、其中，所述训练好的泡沫图像预测模型为第一模型或第二模型；所述第一模型包括第一编码器和第一生成器，所述第一编码器用于对所述操作前泡沫图像和所述操作调整数据进行处理，得到潜空间中用于表征图像样式的第一潜码，所述第一生成器用于对所述第一潜码进行处理，得到所述操作后泡沫图像；所述第二模型包括第二编码器和第二生成器，所述第二编码器用于对所述操作前泡沫图像进行处理，得到潜空间中用于表征图像样式的第二潜码，所述第二生成器用于对所述第二潜码和所述操作调整数据进行处理，得到所述操作后泡沫图像。

14、第四方面，本公开实施例还提供了一种图像预测模型的训练装置，所述装置包括：

15、第二获取模块，用于获取第一数据集，所述第一数据集中任一第一目标样本由第一样本操作前图像和第一样本操作调整数据构成，所述第一目标样本的标签为对应的第一样本操作后图像；

16、构建模块，用于构建待训练的第一泡沫图像预测模型；其中，所述待训练的第一泡沫图像预测模型为待训练第一模型或待训练第二模型；所述待训练第一模型包括第一编码器、第一生成器和第一判别器，所述第一编码器用于对所述第一样本操作前图像和所述第一样本操作调整数据进行处理，得到潜空间中用于表征图像样式的第一样本潜码，所述第一生成器用于对所述第一样本潜码进行处理，得到预测的操作后泡沫图像；所述待训练第二模型包括第二编码器、第二生成器和第二判别器，所述第二编码器用于对所述第一样本操作前图像进行处理，得到潜空间中用于表征图像样式的第二样本潜码，所述第二生成器用于对所述第二样本潜码和所述第一样本操作调整数据进行处理，得到预测的操作后泡沫图像；

17、训练模块，用于利用所述第一数据集对所述待训练的第一泡沫图像预测模型进行训练，得到训练好的第一泡沫图像预测模型；根据所述训练好的第一泡沫图像预测模型中的编码器和生成器，得到训练好的泡沫图像预测模型。

18、第五方面，本公开实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行上述图像预测方法/图像预测模型的训练方法的步骤。

19、第六方面，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行上述图像预测方法/图像预测模型的训练方法的步骤。

20、借由上述技术方案，本公开实施例提供的图像预测方法、图像预测模型的训练方法、装置及设备，该预测方法提供了一种基于样式的泡沫图像预测模型，实施时，该模型的模型结构为第一模型或第二模型。可以利用第一模型中的第一编码器对操作前泡沫图像和操作调整数据进行处理，有效提取到潜空间中用于表征操作调整后泡沫图像样式的第一潜码，再利用第一生成器对第一潜码处理，生成操作后泡沫图像。还可以利用第二模型中的第二编码器对操作前泡沫图像进行处理，有效提取到潜空间中用于表征操作潜泡沫图像样式的第二潜码，再利用第二生成器，对第二潜码和操作调整数据进行处理，生成操作后泡沫图像。其中，由于第一潜码或第二潜码中包含泡沫图像的样式信息，因此本方案可以实现对操作后泡沫图像生成过程更加精细的调控，也使得该预测模型具有训练稳定、模型表现对损失函数权重参数不敏感以及易于复现并普及应用的优势，从而大大增强操作后泡沫图像的真实性，达到对操作调整后的泡沫图像进行准确、快速地实时预测的目的。

21、上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。