一种基于嵌入式系统的大语言模型云边切换方法、系统与流程

本发明涉及人工智能领域，具体涉及一种基于嵌入式系统的大语言模型云边切换方法、系统。

背景技术：

1、近年来，大语言模型在nlp(natural language processing，自然语言处理)领域得到了广泛的关注和使用，也进一步促进了人工智能(ai)技术的发展。随着ai技术的广泛应用，嵌入式系统领域对于更高性能和更智能的解决方案的需求也日益增长，尤其在语音处理和自然语言处理等方面。但是，由于受到嵌入式系统资源有限、应用场景特异化等方面影响，大模型在嵌入式领域部署使用依然存在众多限制和问题。

2、目前，已经有一些针对嵌入式系统中实现大预言模型的算法层技术提出，但大多数技术方案采用云端部署方式，针对云边协同切换的方式优化尚不充分。云边协同切换算法能够根据任务的复杂程度和计算资源的需求，在云端和边缘端之间动态切换计算，以达到最佳的性能和效率。因此，本专利申请旨在提出一种嵌入式系统大语言模型云边算法切换方法，部署在嵌入式系统中实现大预言模型中，优化其在云边协同计算下的性能。

技术实现思路

1、为解决上述技术问题，本发明提供了一种嵌入式系统大语言模型云边切换方法、系统。

2、本发明通过以下技术方案得以实现。

3、本发明提供的一种基于嵌入式系统的大语言模型云边切换系统，包括第一数据交换模块(100)，第二数据交换模块(400)、音频模块(200)、文本生成器(300)、模型选择器(500)、边云管理组件(600)、本地模型库(700)，所述第一数据交换模块(100)输出端与所述音频模块(200)输入端连接，所述音频模块(200)输出端与所述文本生成器(300)输入端、所述第二数据交换模块(400)输入端分别连接，所述文本生成器(300)输出端、边云管理组件(600)输出端、本地模型库(700)输出端分别与所述第二数据交换模块(400)输入端连接，所述第二数据交换模输出端与模型选择器(500)输入端、边云管理组件(600)输入端、本地模型库(700)输入端分别连接。

4、进一步，第一数据交换模块(100)与操作系统进行数据交换，所述操作系统是嵌入式实时操作系统。

5、进一步，音频模块(200)包括语音采集模块、音频滤波模块、音频合成模块、语音播放模块，所述语音采集模块与第一数据交换模块(100)连接，接收第一数据交换模块(100)发送的语音信息，将语音信息通过语音采集模块、音频滤波模块进行特征提取处理后传递至文本生成器(300)输入端。

6、进一步，文本生成器(300)包括语音试别模型，所述语音试别模型将所述音频模块(200)处理后的语音信息转换为文本信息。

7、进一步，本地模型库(700)包括若干预训练语言模型，各预训练语言模型之间相互独立，预训练语言模型用于将所述文本信息作为模型输入进行处理，并得到本地预训练语言模型的处理结果。

8、进一步，边云管理组件(600)包括云服务接口、任务调度器、网络硬件抽象层，所述云服务接口连接任务调度器，用于分发所述语音信息和所述文本信息到指定云服务器进行云端预训练语言模型推理，边云管理组件(600)与云端模型库相互传输信号，并得到云端模型的推理结果。

9、一种基于嵌入式系统的大语言模型云边切换方法包括以下步骤：

10、步骤s001、分离大语言模型云边切换系统与操作系统，通过第一数据交换模块(100)，将所述大语言模型云边切换系统与操作系统分离，分离后大语言模型云边切换系统升级与操作系统升级互不影响；

11、步骤s002、操作系统中音频驱动模块驱动音频设备进行声音采集，采集后将声音信息通过第一数据交换模块(100)传递至音频模块(200)；

12、步骤s003、声音信息经过音频模块(200)处理后传递至文本生成器(300)，经过文本生成器(300)处理后转换为文本信息传递至第二数据交换模块(400)；或声音信息经过音频模块(200)处理后传递至第二数据交换模块(400)；

13、步骤s004、第二数据交换模块(400)将步骤s003中所述处理后的语音信息或文本信息分别传递至边云管理组件(600)、本地模型库(700)，其中，边云管理组件(600)既可以接收文本信息也可以接收语音信息，本地模型库(700)仅接受文本信息，且边云管理组件(600)可以同时与多个云端服务器通讯，通过任务调度器统一处理，本地预训练语言模型同一时间仅能运行一种本地预训练语言模型；所述本地模型库(700)将推理结果t1、响应时间t1分别发送到所述第二数据交换模块(400)；边云管理组件(600)将处理后的信息发送至云端模型库，云端模型库将处理后的信息返回到边云管理组件(600)，边云管理组件(600)将推理结果t2～tn、响应时间t2～tn分别发送到所述第二数据交换模块(400)；

14、步骤s005、第二数据交换模块(400)将步骤s004所述推理结果t1～tn发送到模型选择器(500)，

15、当推理结果t1-推理结果t2>0时，则所述本地模型库(700)响应时间更短，模型选择器(500)选择本地模型库(700)推理结果t1发送至第一数据交换模型；

16、当推理结果t1-推理结果t2<0时，则所述云端模型库响应时间更短，模型选择器(500)选择云端模型库推理结果t2发送至第一数据交换模型；

17、步骤s006、第一数据交换模块(100)接收步骤s005所述模型选择器(500)发送的推理结果后将信息发送至操作系统，操作系统通过中断返回的方式接收不同预训练语言模型推理的结果并进行后续的应用程序处理。

18、进一步，步骤s003声音信息经过音频模块(200)处理是声音信息传入音频模块(200)后经过语音采集模块整合，整合后经过音频滤波模块滤波降噪，进行特征提取，将处理后的信息输出为低噪、高保真信号发送到文本生成器(300)。

19、进一步，步骤s004中所述边云管理组件(600)将处理后的信息发送至云服务器，云服务器将处理后的信息返回到边云管理组件(600)，包括以下步骤：

20、步骤s041、根据边云管理组件(600)发送来的语音或文本信息，通过调度器分发给云服务器进行处理；

21、步骤s042、根据选择的预训练模型对步骤s041中的信息编码、变换、预测，生成推理结果t2～tn、响应时间t2～tn；

22、步骤s043、将推理结果t2-tn、响应时间t2～tn依时间顺序逐个反馈给模型选择器(500)。

23、本发明的有益效果在于：

24、使用模型选择器，可以根据嵌入式设备的使用环境，如云端距离、信号传输质量等条件进行决策和优化算法设计，选择最优的大模型输出结果，最终实现嵌入式设备的智能交互能力的最优化；

25、使用嵌入式实时操作系统，可以使得从语音输入到最终自然语言处理过程实时性、稳定性更强，同时更容易维护和调试。