基于大模型的物联网应用方法、系统、设备及存储介质与流程

本发明涉及人工智能，具体提供一种基于大模型的物联网应用方法、系统、设备及存储介质。

背景技术：

1、在物联网技术迅猛发展的时代，传统应用于人与设备、设备与设备的交互方式已经难以满足快速、高效、智能的场景应用。

2、智能应用传统智能模型训练方式，长达数月调参过程已经和用户变化多样的需求难以匹配。例如传统一个物联网温度控制需要从对接设备、调试设备、参数新增、参数解析、展示模板、结果输出多流程多方式定制开发，最终交付。冗长长链路无法快速、准确地实现客户日益变化的需求，同时进一步加大交付成本和交付风险。

3、因此，在面对用户对物联网使用需求多变的场景下，如何通过大模型，实现快速、准确地控制物联网设备，是亟需解决的技术问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决传统模型训练方式所造成的在面对用户对物联网使用需求多变的场景下，不能快速、准确地控制物联网设备的技术问题。

2、在第一方面，本发明提供了一种基于大模型的物联网应用方法，包括：

3、基于语言大模型对获取的文本内容进行自然语言回复处理，获取反馈的文本特征信息；

4、通过视觉大模型对输入图像或视频进行处理，获取图像特征信息；

5、基于所述文本特征信息、图像特征信息，确定目标需求信息并根据所述目标需求信息，通过编码大模型，输出用于控制物联网设备的控制指令。

6、在一个实施例中，所述图像特征信息包括以下至少之一：目标分类特征信息、目标检测特征信息、语义分割特征信息、姿态估计特征信息、人脸识别特征信息、实例分割特征信息、场景识别特征信息。

7、在一个实施例中，对所述文本特征信息、图像特征信息进行融合，获取融合信息，并基于所述融合信息，输出目标需求信息。

8、在一个实施例中，通过所述物联网平台或边缘计算设备向各个物联网设备传输控制指令；其中，所述控制指令由所述编码大模型基于所述目标需求信息生成的代码组成。

9、在一个实施例中，所述语言大模型、视觉大模型、编码大模型，设置在物联网平台，或者，边缘计算设备上。

10、在一个实施例中，所述语言大模型是指通过大量文本数据训练的深度学习模型；其中，训练方法包括以下至少之一：有监督、自监督、半监督；

11、所述视觉大模型是指通过大量目标数据训练的深度学习模型；其中，所述目标数据包括以下至少之一：文本数据、图片数据、视频数据；训练方法包括以下至少之一：有监督、自监督、半监督；

12、所述编码大模型是指通过大量文本数据、代码数据训练的深度学习模型。

13、在一个实施例中，获取所述文本内容的方式包括：通过语音大模型，对输入的语音对话进行语音识别，获取所述语音对话对应的文本内容。

14、在一个实施例中，所述语音大模型是指通过大量语音数据训练的深度学习模型；其中，训练方法包括以下至少之一：有监督、自监督、半监督；其中，所述语音大模型设置在物联网平台，或者，边缘计算设备上。

15、在一个实施例中，根据输入的任务指令，确定关联的语音对话。

16、在一个实施例中，获取反馈的文本特征信息之前，还包括：基于语言大模型对获取的文本内容中承载的情感特征进行分析，获取情感识别结果。

17、在第二方面，本发明提供一种基于大模型的物联网应用系统，包括：

18、文本特征获取模块，用于基于语言大模型对获取的文本内容进行自然语言回复处理，获取反馈的文本特征信息；

19、图像特征获取模块，用于通过视觉大模型对输入图像或视频进行处理，获取图像特征信息；

20、控制模块，用于基于所述文本特征信息、图像特征信息，确定目标需求信息并根据所述目标需求信息，通过编码大模型，输出用于控制物联网设备的控制指令。

21、在第三方面，提供一种计算机设备，包括处理器和存储装置，其中所述存储器中存储有程序，所述处理器执行所述程序时实现上述方法的技术方案中任一项技术方案所述的基于大模型的物联网应用方法。

22、在第四方面，提供一种计算机可读存储介质，存储有程序，所述程序被执行时实现上述方法的技术方案中任一项技术方案所述的基于大模型的物联网应用方法。

23、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

24、在实施本发明的技术方案：基于语言大模型对获取的文本内容进行自然语言回复处理，获取反馈的文本特征信息；通过视觉大模型对输入图像或视频进行处理，获取图像特征信息；基于所述文本特征信息、图像特征信息，确定目标需求信息并根据所述目标需求信息，通过编码大模型，输出用于控制物联网设备的控制指令中，通过多样场景下的文本特征信息、图像特征信息，可以快速、准确地确定目标需求信息，并通过编码大模型，快速、准确地输出用于控制物联网设备的控制指令，满足解决多场景需求多样的流程，通过大模型技术应用和编码固化流程满足客户多样需求。

25、进一步地，通过语言大模型、视觉大模型输出的多种场景特征，及高效、准确的编码固化流程，一方面解决了传统物联网和自然语言交互中，准确率不高、拓展性不强的技术问题，另一方面解决了传统物联网和自然语言交互过程中，需求开发过程允长，难以满足需求及时响应，同时在需求传递过程中理解不一致的技术问题。

26、进一步地，通过语音大模型，参与者可以直接使用语音沟通，极大方便了使用者场景，同时可以帮助老人、孩子等弱势群体享受到物联网和大模型技术的好处。

技术特征：

1.一种基于大模型的物联网应用方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述图像特征信息包括以下至少之一：目标分类特征信息、目标检测特征信息、语义分割特征信息、姿态估计特征信息、人脸识别特征信息、实例分割特征信息、场景识别特征信息。

3.根据权利要求1或2所述的方法，其特征在于，对所述文本特征信息、图像特征信息进行融合，获取融合信息，并基于所述融合信息，输出目标需求信息。

4.根据权利要求3所述的方法，其特征在于，通过所述物联网平台或边缘计算设备向各个物联网设备传输控制指令；其中，所述控制指令由所述编码大模型基于所述目标需求信息生成的代码组成。

5.根据权利要求4所述的方法，其特征在于，所述语言大模型、视觉大模型、编码大模型，设置在物联网平台，或者，边缘计算设备上。

6.根据权利要求5所述的方法，其特征在于，所述语言大模型是指通过大量文本数据训练的深度学习模型；其中，训练方法包括以下至少之一：有监督、自监督、半监督；

7.根据权利要求1所述的方法，其特征在于，获取所述文本内容的方式包括：通过语音大模型，对输入的语音对话进行语音识别，获取所述语音对话对应的文本内容。

8.根据权利要求7所述的方法，其特征在于，所述语音大模型是指通过大量语音数据训练的深度学习模型；其中，训练方法包括以下至少之一：有监督、自监督、半监督；其中，所述语音大模型设置在物联网平台，或者，边缘计算设备上。

9.根据权利要求7所述的方法，其特征在于，根据输入的任务指令，确定关联的语音对话。

10.根据权利要求1所述的方法，其特征在于，获取反馈的文本特征信息之前，还包括：

11.一种基于大模型的物联网应用系统，其特征在于，包括：

12.一种计算机设备，包括处理器和存储装置，其中所述存储器中存储有程序，其特征在于，所述处理器执行所述程序时实现权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被执行时实现权利要求1至10中任一项所述的方法。

技术总结本发明涉及人工智能技术领域，具体提供一种基于大模型的物联网应用方法、系统、设备及存储介质，旨在解决传统模型训练方式所造成的在面对用户对物联网使用需求多变的场景下，不能快速、准确地控制物联网设备的技术问题。通过语言大模型、视觉大模型输出的多种场景下的特征信息，高效、准确确定目标需求信息并根据所述目标需求信息，通过编码大模型，高效、准确输出用于控制物联网设备的控制指令。技术研发人员：李毅峰受保护的技术使用者：云从科技集团股份有限公司技术研发日：技术公布日：2024/4/17