优化模型参数的方法、装置、电子设备、介质及程序产品
- 国知局
- 2024-07-31 23:17:40
本技术涉及人工智能,具体涉及一种优化模型参数的方法、装置、电子设备、介质及程序产品。
背景技术:
1、在深度学习的应用场景中,通常采用基于神经网络构建的模型(如,图像分类模型),预测某一样本的输出结果概率分布(如,预测图像分类的概率分布),并将输出结果概率分布与样本对应的真实结果概率分布(如,真实图像分类的概率分布)之间的差异,作为模型损失,并根据模型损失优化模型参数。
2、因此,如何准确地确定不同概率分布之间的差异以进行模型优化,是一个需要解决的问题。
技术实现思路
1、本技术实施例的目的在于提供一种优化模型参数的方法、装置、电子设备、介质及程序产品,用以解决如何准确地确定不同概率分布之间的差异以进行模型优化的问题。
2、一方面,本技术实施例中提供了一种优化模型参数的方法,方法包括:
3、将待处理数据输入目标模型,获得输出结果概率分布;输出结果概率分布为预测的待处理数据在各事件的概率的分布;
4、对输出结果概率分布以及待处理数据对应的真实结果概率分布,分别进行编码,获得输出结果概率分布对应的第一编码以及真实结果概率分布对应的第二编码;真实结果概率分布为待处理数据实际在各事件的概率的分布;
5、分别确定第一编码的第一编码长度以及第二编码的第二编码长度;
6、根据第一编码长度以及第二编码长度的差值,获得模型损失;
7、根据模型损失,优化目标模型的模型参数。
8、一种实施方式中,对输出结果概率分布以及待处理数据对应的真实结果概率分布,分别进行编码,获得输出结果概率分布对应的第一编码以及真实结果概率分布对应的第二编码,包括:
9、根据输出结果概率分布中各事件各自对应的概率,生成第一编码树;第一编码树中的叶子节点均是针对输出结果概率分布中的各事件的概率创建的;第一编码树中每一非叶子节点对应的概率为非叶子节点的各子节点对应的概率的和;第一编码树中节点与根节点之间的路径长度与节点对应的概率呈负相关;
10、对第一编码树中的各叶子节点分别进行编码,获得第一编码;
11、根据真实结果概率分布中各事件各自对应的概率,生成第二编码树;第二编码树中的叶子节点均是针对真实结果概率分布中的各事件的概率创建的;第二编码树中每一非叶子节点对应的概率为非叶子节点的各子节点的概率的和;第二编码树中节点与根节点之间的路径长度与节点对应的概率呈负相关;
12、对第二编码树中的各叶子节点分别进行编码,获得第二编码。
13、一种实施方式中,根据输出结果概率分布中各事件各自对应的概率,生成第一编码树,包括:
14、针对输出结果概率分布中的各事件的概率,分别创建对应的叶子节点;
15、生成包含输出结果概率分布中的各事件的概率的第一概率集合;
16、针对第一概率集合,执行以下步骤,直至确定第一概率集合中仅存在一个概率:将第一概率集合中最小的两个概率进行合并,获得合并概率;创建合并概率对应的节点;合并概率为两个概率的和;合并概率对应的节点为两个概率对应的节点的父节点;
17、根据各叶子节点以及合并概率对应的节点,生成第一编码树。
18、一种实施方式中,对第一编码树中的各叶子节点分别进行编码,获得第一编码,包括:
19、为第一编码树中各节点的左子树分支,分别配置第一字符值;
20、为第二编码树中各节点的右子树分支,分别配置第二字符值;
21、分别针对第一编码树中的每一叶子节点,执行以下步骤:基于叶子节点与根节点之间的路径中子树分支的字符值,获得叶子节点的码字;
22、根据第一编码树中各叶子节点的码字,生成第一编码。
23、一种实施方式中,根据真实结果概率分布中各事件各自对应的概率,生成第二编码树,包括:
24、针对真实结果概率分布中的各事件的概率,分别创建对应的叶子节点;
25、生成包含真实结果概率分布中的各事件的概率的第二概率集合;
26、针对第二概率集合,执行以下步骤,直至确定第二概率集合中仅存在一个概率:将第二概率集合中最小的两个概率进行合并,获得合并概率;创建合并概率对应的节点;合并概率为两个概率的和;合并概率对应的节点为两个概率对应的节点的父节点;
27、根据各叶子节点以及合并概率对应的节点,生成第二编码树。
28、一种实施方式中,对第二编码树中的各叶子节点分别进行编码,获得第二编码,包括:
29、为第二编码树中各节点的左子树分支,分别配置第一字符值;
30、为第二编码树中各节点的右子树分支,分别配置第二字符值;
31、分别针对第二编码树中的每一叶子节点,执行以下步骤:基于叶子节点与根节点之间的路径中子树分支的字符值,获得叶子节点的码字;
32、根据第二编码树中各叶子节点的码字,生成第二编码。
33、一种实施方式中,分别确定第一编码的第一编码长度以及第二编码的第二编码长度,包括:
34、获取第一编码中各叶子节点各自的码字长度,以及第二编码中各叶子节点各自的码字长度;
35、基于第一编码中各叶子节点各自对应的码字长度和概率,确定第一编码长度;第一编码长度与码字长度以及概率均呈正相关;
36、基于第二编码中各叶子节点各自对应的码字长度和概率,确定第二编码长度;第二编码长度与码字长度以及概率呈正相关。
37、一种实施方式中,根据第一编码长度以及第二编码长度的差值,获得模型损失,包括:
38、根据第一编码长度与第二编码长度的差值的绝对值,确定模型损失;模型损失与绝对值呈正相关。
39、一方面,本技术实施例中提供了一种优化模型参数的装置,包括:
40、预测单元,用于将待处理数据输入目标模型,获得输出结果概率分布;输出结果概率分布为预测的待处理数据在各事件的概率的分布;
41、编码单元,用于对输出结果概率分布以及待处理数据对应的真实结果概率分布,分别进行编码,获得输出结果概率分布对应的第一编码以及真实结果概率分布对应的第二编码;真实结果概率分布为待处理数据实际在各事件的概率的分布;
42、确定单元,用于分别确定第一编码的第一编码长度以及第二编码的第二编码长度;
43、获得单元,用于根据第一编码长度以及第二编码长度的差值,获得模型损失;
44、优化单元,用于根据模型损失,优化目标模型的模型参数。
45、一种实施方式中,编码单元用于:
46、根据输出结果概率分布中各事件各自对应的概率,生成第一编码树;第一编码树中的叶子节点均是针对输出结果概率分布中的各事件的概率创建的;第一编码树中每一非叶子节点对应的概率为非叶子节点的各子节点对应的概率的和;第一编码树中节点与根节点之间的路径长度与节点对应的概率呈负相关;
47、对第一编码树中的各叶子节点分别进行编码,获得第一编码;
48、根据真实结果概率分布中各事件各自对应的概率,生成第二编码树;第二编码树中的叶子节点均是针对真实结果概率分布中的各事件的概率创建的;第二编码树中每一非叶子节点对应的概率为非叶子节点的各子节点的概率的和;第二编码树中节点与根节点之间的路径长度与节点对应的概率呈负相关;
49、对第二编码树中的各叶子节点分别进行编码,获得第二编码。
50、一种实施方式中,编码单元用于:
51、针对输出结果概率分布中的各事件的概率,分别创建对应的叶子节点;
52、生成包含输出结果概率分布中的各事件的概率的第一概率集合;
53、针对第一概率集合,执行以下步骤,直至确定第一概率集合中仅存在一个概率:将第一概率集合中最小的两个概率进行合并,获得合并概率;创建合并概率对应的节点;合并概率为两个概率的和;合并概率对应的节点为两个概率对应的节点的父节点;
54、根据各叶子节点以及合并概率对应的节点,生成第一编码树。
55、一种实施方式中,编码单元用于:
56、为第一编码树中各节点的左子树分支,分别配置第一字符值;
57、为第二编码树中各节点的右子树分支,分别配置第二字符值;
58、分别针对第一编码树中的每一叶子节点,执行以下步骤:基于叶子节点与根节点之间的路径中子树分支的字符值,获得叶子节点的码字;
59、根据第一编码树中各叶子节点的码字,生成第一编码。
60、一种实施方式中,编码单元用于:
61、针对真实结果概率分布中的各事件的概率,分别创建对应的叶子节点;
62、生成包含真实结果概率分布中的各事件的概率的第二概率集合;
63、针对第二概率集合,执行以下步骤,直至确定第二概率集合中仅存在一个概率:将第二概率集合中最小的两个概率进行合并,获得合并概率;创建合并概率对应的节点;合并概率为两个概率的和;合并概率对应的节点为两个概率对应的节点的父节点;
64、根据各叶子节点以及合并概率对应的节点,生成第二编码树。
65、一种实施方式中,编码单元用于:
66、为第二编码树中各节点的左子树分支,分别配置第一字符值;
67、为第二编码树中各节点的右子树分支,分别配置第二字符值;
68、分别针对第二编码树中的每一叶子节点,执行以下步骤:基于叶子节点与根节点之间的路径中子树分支的字符值,获得叶子节点的码字;
69、根据第二编码树中各叶子节点的码字,生成第二编码。
70、一种实施方式中,确定单元用于:
71、获取第一编码中各叶子节点各自的码字长度,以及第二编码中各叶子节点各自的码字长度;
72、基于第一编码中各叶子节点各自对应的码字长度和概率,确定第一编码长度;第一编码长度与码字长度以及概率均呈正相关;
73、基于第二编码中各叶子节点各自对应的码字长度和概率,确定第二编码长度;第二编码长度与码字长度以及概率呈正相关。
74、一种实施方式中,获得单元用于:根据第一编码长度与第二编码长度的差值的绝对值,确定模型损失;模型损失与绝对值呈正相关。
75、一方面,本技术实施例中提供了一种电子设备,包括:
76、处理器;以及
77、存储器,存储有计算机指令,计算机指令用于使处理器执行如上述任一种优化模型参数的各种可选实现方式中提供的方法的步骤。
78、一方面,本技术实施例中提供了一种计算机可读存储介质,存储有计算机指令,计算机指令用于使计算机执行如上述任一种优化模型参数的各种可选实现方式中提供的方法的步骤。
79、一方面,本技术实施例中提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当计算机可读代码在电子设备的处理器中运行时,电子设备中的处理器执行如上述任一种优化模型参数的各种可选实现方式中提供的方法的步骤。
80、本技术实施例中的优化模型参数的方法,包括将待处理数据输入目标模型,获得输出结果概率分布;输出结果概率分布为预测的待处理数据在各事件的概率的分布;对输出结果概率分布以及待处理数据对应的真实结果概率分布,分别进行编码,获得输出结果概率分布对应的第一编码以及真实结果概率分布对应的第二编码;真实结果概率分布为待处理数据实际在各事件的概率的分布;分别确定第一编码的第一编码长度以及第二编码的第二编码长度;根据第一编码长度以及第二编码长度的差值,获得模型损失;根据模型损失,优化目标模型的模型参数。这样,通过概率分布编码的方式,确定输出结果概率分布和真实结果概率分布的差异,提供了一种不同于传统技术的确定概率分布差异的技术方案,可以准确地确定不同概率分布之间的差异以进行模型优化。
本文地址:https://www.jishuxx.com/zhuanli/20240730/196862.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表