模型动态更新方法、设备、存储介质及计算机程序产品与流程
- 国知局
- 2024-08-02 14:12:36
本申请涉及无线通信,尤其涉及一种模型动态更新方法、设备、存储介质及计算机程序产品。
背景技术:
1、随着人工智能大模型的快速发展,截至2023年7月,国外大模型发布数量累计达138个,国内累计也已经有130个大模型问世。大模型可为特定的场景/领域赋能,包括自然语言处理、图像分类识别甚至是跨模态内容生成等等。其性能高度依赖于训练数据,对于特定领域以外的陌生数据,将无法正确处理和实现功能,难以长期满足日益增长的多样性需求。大模型并不是一成不变的,随着功能的演进,模型也在更新。
2、在人工智能应用中,迁移学习技术能够通过将某一领域中已有的模型通过知识迁移转到另一个领域中,有效提升模型执行新目标任务的性能,利用已有模型知识快速解决新任务问题。基于迁移学习技术,云服务器根据终端发来的模型更新请求,实现快速的迁移学习大模型更新,并将更新后的大模型发送给终端。但此过程仍需要花费大量的时间在大模型传输上。
3、因此,如何降低模型传输时延,是目前亟需解决的一个问题。
4、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种模型动态更新方法、设备、存储介质及计算机程序产品,旨在解决如何降低模型传输时延的技术问题。
2、为实现上述目的,本申请提出一种模型动态更新方法,所述的方法包括:
3、发送探测信号至终端,并接收所述终端反馈的终端资源信息;
4、根据所述终端资源信息获取目标模型;
5、将所述目标模型发送给所述终端,对所述终端的模型进行更新。
6、在一实施例中,所述终端资源信息包括线路质量信息、终端算力信息以及终端业务需求,所述发送探测信号至终端,并接收所述终端反馈的终端资源信息的步骤,包括:
7、对线路设备进行预先配置;
8、基于所述预先配置的线路设备,定期向所述终端发出探测信号,并计算收到反馈信号的时延;
9、基于所述时延,获取所述线路质量信息;
10、基于所述反馈信号,获取所述终端算力信息以及终端业务需求。
11、在一实施例中,所述根据所述终端资源信息获取目标模型的步骤,包括:
12、根据所述终端资源信息获取中间模型;
13、根据所述终端资源信息优化所述中间模型,得到目标模型。
14、在一实施例中,所述根据所述终端资源信息获取中间模型的步骤,包括:
15、接收基于本地数据生成的大模型参数;
16、根据所述终端业务需求从所述大模型参数中提取中间模型。
17、在一实施例中,所述根据所述终端业务需求从所述大模型参数中提取中间模型的步骤,包括:
18、根据所述终端业务需求,从所述大模型参数中提取样本数据;
19、基于所述样本数据,计算梯度值;
20、根据所述梯度值,更新所述大模型参数;
21、基于更新后的大模型参数,提取所述中间模型。
22、在一实施例中,所述根据所述终端资源信息优化所述中间模型,得到目标模型的步骤,包括:
23、压缩所述中间模型的体积至不同档位,获取不同档位的中间模型;
24、根据所述线路质量信息和终端算力信息,选定中间模型的体积;
25、最大化所述体积对应的中间模型的精度,得到目标模型。
26、此外,为实现上述目的,本申请还提出一种模型动态更新装置,所述模型动态更新装置包括:
27、信号发送模块,用于发送探测信号至终端,并接收所述终端反馈的终端资源信息;
28、模型获取模块,用于根据所述终端资源信息获取目标模型;
29、模型发送模块,用于将所述目标模型发送给终端,对终端的模型进行更新。
30、此外,为实现上述目的,本申请还提出一种模型动态更新设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的模型动态更新方法的步骤。
31、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的模型动态更新方法的步骤。
32、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的模型动态更新方法的步骤。
33、本申请提出的一个或多个技术方案,至少具有以下技术效果:
34、一种模型动态更新方法,通过发送探测信号至终端,并接收终端反馈的终端资源信息,并根据终端资源信息获取目标模型,目标模型会随着终端资源信息动态改变,这个过程保证了资源被合理、有效地利用,进一步地,将目标模型发送给终端,对终端的模型进行更新,通过目标模型与终端的适应性结合,增强了模型应用的灵活性,同时,节约了模型训练开销,可以有效地降低模型传输的时延。
技术特征:1.一种模型动态更新方法,其特征在于,所述的方法包括:
2.如权利要求1所述的方法,其特征在于,所述终端资源信息包括线路质量信息、终端算力信息以及终端业务需求,所述发送探测信号至终端,并接收所述终端反馈的终端资源信息的步骤,包括:
3.如权利要求2中所述的方法,其特征在于,所述根据所述终端资源信息获取目标模型的步骤,包括:
4.如权利要求3中所述的方法,其特征在于,所述根据所述终端资源信息获取中间模型的步骤,包括:
5.如权利要求4所述的方法,其特征在于,所述根据所述终端业务需求从所述大模型参数中提取中间模型的步骤,包括:
6.如权利要求3所述的方法,其特征在于,所述根据所述终端资源信息优化所述中间模型,得到目标模型的步骤,包括:
7.一种模型动态更新装置,其特征在于,所述装置包括:
8.一种模型动态更新设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的模型动态更新方法的步骤。
9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的模型动态更新方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的模型动态更新方法的步骤。
技术总结本申请公开了一种模型动态更新方法、设备、存储介质及计算机程序产品,涉及无线通信技术领域,该方法包括:发送探测信号至终端,并接收终端反馈的终端资源信息,根据终端资源信息获取目标模型,目标模型会随着终端资源信息动态改变,这个过程保证了资源被合理、有效地利用,进一步地,将目标模型发送给终端,对终端的模型进行更新,通过目标模型与终端的适应性结合,增强了模型应用的灵活性,同时,节约了模型训练开销,可以有效地降低模型传输的时延。技术研发人员:杜慧,谢礼峰,陈昊,许晓东,张平受保护的技术使用者:鹏城实验室技术研发日:技术公布日:2024/7/23本文地址:https://www.jishuxx.com/zhuanli/20240801/242040.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表