一种基于多模态大模型的制造业产品生产优化方法

本发明涉及一种基于多模态大模型的制造业产品生产优化方法，属于制造业自动化生产领域。

背景技术：

1、制造业是国民经济的主体，是实体经济的核心，是振兴国家民族的关键所在。在传统的制造业产业生产线中，产品生产的每一个过程都是影响生产效率的关键环节，如何对每一个流水线环节进行优化升级是提高产品生产效率的核心步骤。随着物联网技术的发展，通过一系列传感器和监控设备，企业能够记录每个生产环节所产生的数据，但是如何处理、分析这些数据成为新的技术难点。生产线每天产生的大量监控数据给数据分析技术员带来巨大的工作压力，因此急需研发一种基于多模态大模型的制造业产品生产优化方法，结合多模态大模型的数据理解和数据分析能力来辅助企业数据分析技术员分析产品生产线存在的效率瓶颈，进而对产品生产步骤进行优化。

技术实现思路

1、本发明提供一种基于多模态大模型的制造业产品生产优化方法，旨在至少解决现有技术中存在的技术问题之一。

2、第一方面，本发明实施例提供一种基于多模态大模型的制造业产品生产优化方法，所述方法包括以下步骤：

3、从物联网设备中收集与产品生产过程相关联的多种模态原始数据；多种模态原始数据为从产品生产线中至少一个所述物联网设备上获得的未经处理的多种模态的原始数据；

4、分别对每种所述模态原始数据通过预处理模块进行处理，通过时间戳建立不同模态数据之间的关联关系信息，得到预处理好的模态数据；所述关联关系信息用于表征不同模态数据之间的内在联系或者相互关系；

5、将所述预处理好的模态数据输入预训练的多模态大模型中，进行深度融合分析，获得深度融合分析结果；

6、根据所述深度融合分析结果判断当前产品生产线状态是否异常；若所述当前产品生产线状态正常，则对多种所述模态原始数据及所述深度融合分析结果进行存档备份；若所述当前产品生产线状态异常，通过所述多模态大模型对共享语义子空间的模态数据进行分析，得到生产故障信息；

7、将所述生产故障信息归类，获得所述生产故障信息对应的故障类型；

8、根据所述故障类型判断是否执行智能优化决策流程，通过所述多模态大模型对所述深度融合分析结果进行查询以及次融合分析，分析共享语义子空间中是否存在异常指标，对所述异常指标生成检修建议。

9、可选地，对所述模态原始数据通过预处理模块进行处理包括：

10、分别对每种所述模态原始数据进行缺失值处理，以及对每种所述模态原始数据进行异常值处理；

11、其中，分别对每种所述模态原始数据进行缺失值处理的步骤包括：对所述模态原始数据进行删除缺失值，或使用固定值对缺失值进行填充，或计算模态原始数据的平均值对缺失值进行填充，或计算模态原始数据的中位数对缺少值进行填充；

12、其中，对所述模态原始数据进行异常值处理的步骤包括：识别离群点及删除所述离群点。

13、可选地，所述深度融合分析包括以下步骤：

14、基于所述多模态大模型的联合结构，对单一模态数据进行编码，获得单模态语义；所述单一模态数据为所述预处理好的模态数据中的数据；

15、将所述单模态语义表示投影到共享语义子空间中，并将所述预处理好的模态数据投影在共享语义子空间中；

16、基于所述多模态大模型的逻辑回归二分类算法，将所述单一模态数据作为特征向量，将所述特征向量中的各元素加权求和，输入激活函数，得到所述当前产品生产线状态异常的概率值。

17、可选地，所述产品生产线包括多个生产设备，将所述生产故障信息归类，获得所述生产故障信息对应的故障类型，包括：

18、通过所述多模态大模型根据不同的生产故障信息进行归类获得不同的所述故障类别；

19、在将所述生产故障信息归类，获得所述生产故障信息对应的故障类型之后，还包括：

20、结合故障修复手册进行检索及归纳总结，确定故障生产设备；

21、根据所述故障生产设备对应的定位坐标数据，确定所述故障生产设备的位置，生成警报信息。可选地，在从物联网设备中收集与产品生产过程相关联的多种模态原始数据之前，还包括：

22、将训练数据输入待训练多模态大模型进行预训练；所述训练数据为经所述预处理模块预处理的训练模态数据；

23、构建微调数据集，所述微调数据集包括预设的产品生产线状态指标标注以及生产设备状态数据的文本处理标注；

24、将所述微调数据集输入所述待训练多模态大模型，得到产品生产线状态指标标注的预测结果以及生产设备状态数据的文本处理预测结果；

25、根据所述产品生产线状态指标标注的预测结果以及所述生产设备状态数据的文本处理预测结果对待训练多模态大模型，直至收敛获得所述多模态大模型。

26、可选地，根据所述产品生产线状态指标标注的预测结果以及所述生产设备状态数据的文本处理预测结果对待训练多模态大模型，直至收敛获得所述待训练多模态大模型，包括：

27、根据所述产品生产线状态指标标注的预测结果以及生产设备状态数据的文本处理预测结果对所述多模态大模型作训练时，根据产品制造管理人员对于产品生产线状态指标标注及生产设备状态数据的文本处理标注对反馈信息进行迭代修订；

28、把确定修订的产品生产线状态指标标注及生产设备状态数据的文本处理标注输入到所述多模态大模型，输出的结果与产品制造管理人员的预测结果进行对比，训练到直至产品制造管理人员满意指标为止，获得所述多模态大模型。

29、第二方面，本发明实施例提供一种计算机装置，包括存储器和处理器，所述处理器执行储存在所述存储器中的计算机程序时实施如上述的方法。

30、第三方面，本发明实施例提供一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如上述的方法。

31、第四方面，本发明实施例提供一种计算机装置，包括存储器和处理器，所述处理器执行储存在所述存储器中的计算机程序时实施上述的方法。

32、第五方面，本发明实施例提供一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。

33、本发明的有益效果如下。

34、通过上述基于多模态大模型的制造业产品生产优化方法，对多种不同模态数据进行预处理后再通过多模态大模型对各类数据进行实时融合分析，可以充分利用多模态数据之间的相关性和互补性，得到全面、准确的分析结果，充分利用多模态大模型对多模态数据的理解分析能力，从而为优化生产线资源调度提供数据支持，在设备故障时智能决策以缩短设备故障修复时间，提高生产线的生产效率。

35、此外，本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于多模态大模型的制造业产品生产优化方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，对所述模态原始数据通过预处理模块进行处理包括：

3.根据权利要求1所述的方法，其特征在于，所述深度融合分析包括以下步骤：

4.根据权利要求1所述的方法，其特征在于，所述产品生产线包括多个生产设备，将所述生产故障信息归类，获得所述生产故障信息对应的故障类型，包括：

5.根据权利要求1所述的方法，其特征在于，在从物联网设备中收集与产品生产过程相关联的多种模态原始数据之前，还包括：

6.根据权利要求5所述的方法，其特征在于，根据所述产品生产线状态指标标注的预测结果以及所述生产设备状态数据的文本处理预测结果对待训练多模态大模型，直至收敛获得所述待训练多模态大模型，包括：

7.一种计算机装置，包括存储器和处理器，其特征在于，所述处理器执行储存在所述存储器中的计算机程序时实施如权利要求1至6中任一项所述的方法。

8.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至6中任一项所述的方法。

技术总结本发明涉及一种基于多模态大模型的制造业产品生产优化方法。其中的方法步骤包括：根据所述深度融合分析结果判断当前产品生产线状态是否异常；若所述当前产品生产线状态正常，则对多种所述模态原始数据及所述深度融合分析结果进行存档备份；若所述当前产品生产线状态异常，通过所述多模态大模型对共享语义子空间的模态数据进行分析，得到生产故障信息；将所述生产故障信息归类，获得所述生产故障信息对应的故障类型。可以充分利用多模态数据之间的相关性和互补性，得到全面、准确的分析结果，充分利用多模态大模型对多模态数据的理解分析能力，从而为优化生产线资源调度提供数据支持。技术研发人员：宋轩,陈孙兵,谢洪彬受保护的技术使用者：南方科技大学技术研发日：技术公布日：2024/7/29