对可训练模块的快速量化训练的制作方法

技术特征：
1.一种用于对可训练模块（1）进行训练的方法（100），所述可训练模块将一个或多个输入参量（11）通过内部处理链（12）映射到一个或多个输出参量（13），其中所述内部处理链（12）通过一组参数（12a）来表征，所述方法具有如下步骤：
•ꢀ
提供至少一个学习数据记录（2）（110），所述学习数据记录包括所述输入参量（11）的学习值（11a）和所述输出参量（13）的相关的学习值（13a）；
•ꢀ
提供离散值（3a-3c）的列表（3）（120），在训练期间应该从所述离散值中选择表征所述内部处理链（12）的参数（12a），其中所述离散值（3a-3c）被选择为使得所述离散值能够利用预先给定的n个位在没有质量损失的情况下被存储为定点数；
•ꢀ
在所述学习数据记录（2）中所包含的所述输入参量（11）的学习值（11a）通过所述可训练模块（1）被映射到所述输出参量的评价值（13b）（130）；
•ꢀ
评估预先给定的成本函数（4）（140），所述成本函数不仅表征所述输出参量（13）的评价值（13b）与在所述学习数据记录（2）中所包含的所述输出参量（13）的学习值（13a）的偏差而且表征所述内部处理链（12）的至少一个参数（12a）与所述列表（3）中的至少一个离散值（3a-3c）的偏差；
•ꢀ
所述内部处理链（12）的至少一个参数（12a）被适配（150），目的在于改善所述成本函数（4）的值，其中在对所述参数（12a）的至少一次适配（150）的情况下，所述参数（12a）的值范围和/或所述成本函数（4）的梯度（4d）的值范围在使用所述离散值（3a-3c）的情况下被限制。2.根据权利要求1所述的方法（100），其中在所述参数（12a）的至少一次适配（150）的情况下，
•ꢀ
将所述参数（12a）的比所述列表（3）的最低离散值（3a-3c）更低的值设置到所述最低离散值（3a-3c）（151）；和/或
•ꢀ
将所述参数（12a）的比所述列表（3）的最高离散值（3a-3c）更高的值设置到所述最高值（3a-3c）（152）。3.根据权利要求1至2中任一项所述的方法（100），其中在所述参数（12a）的至少一次适配（150）的情况下确定在所述参数（12a）中表达成变量的成本函数（4）的朝着所述成本函数（4）的更好的值的方向的梯度（4d）（153），而且其中将所述参数（12a）改变所述梯度（4d）与步距的乘积（154），其中在确定所述梯度（153）时，
•ꢀ
将所述梯度（4d）的涉及当前具有所述列表（3）的最低离散值（3a-3c）的参数（12a）的分量限制到非负值（153a）；和/或
•ꢀ
将所述梯度（4d）的涉及当前具有所述列表（3）的最高离散值（3a-3c）的参数（12a）的分量限制到非正值（153b）。4.根据权利要求1至3中任一项所述的方法（100），其中所述成本函数（4）包含至少如下贡献的加权和：
•ꢀ
第一贡献（4b），所述第一贡献表征所述输出参量（13）的评价值（13b）与在所述学习数据记录（2）中所包含的所述输出参量（13）的学习值（13a）的偏差；和
•ꢀ
第二贡献（4c），所述第二贡献表征所述内部处理链（12）的至少一个参数（12a）与在所述列表（3）中的至少一个离散值（3a-3c）的偏差，其中随着所述训练的进展，所述第一贡献（4b）的权重被减小并且所述第二贡献（4c）的
权重被增加（155）。5.根据权利要求1至4中任一项所述的方法（100），其中选择在2与7之间、优选地在2与5之间并且十分特别优选地在2与3之间的n个位。6.根据权利要求1至5中任一项所述的方法（100），其中依据在对所述可训练模块（1）的预训练时所获得的所述内部处理链（12）的参数（12a）的值来确定离散值（3a-3c）的列表（3）（124），其中所述预训练包括如下步骤：
•ꢀ
在至少一个学习数据记录（2）中所包含的所述输入参量（11）的学习值（11a）通过所述可训练模块（1）被映射到所述输出参量（13）的评价值（13b）（121）；
•ꢀ
评估预先给定的预训练成本函数（4a）（122），所述预训练成本函数表征所述输出参量（13）的评价值（13b）与在所述学习数据记录（2）中所包含的所述输出参量（13）的学习值（13a）的偏差；
•ꢀ
所述内部处理链（12）的至少一个参数（12a）被适配（123），目的在于改善所述预训练成本函数（4a）的值。7.根据权利要求6所述的方法（100），其中确定所述参数（12a）所处的值范围，而且其中根据所述范围来确定所述列表（3）的离散值（3a-3c）。8.根据权利要求1至7中任一项所述的方法（100），其中所述n个位和/或所述离散值（3a-3c）的列表（3）被适配（160），目的在于改善所述成本函数（4）的值。9.根据权利要求1至8中任一项所述的方法（100），其中所述列表（3）中的离散值（3a-3c）是整数，而且其中在数字上相邻的离散值（3a-3c）分别相差一个步距δ，所述步距是二的非负整数次幂。10.根据权利要求1至9中任一项所述的方法（100），其中在所述列表（3）中的离散值（3a-3c）在0附近均匀分布。11.根据权利要求1至10中任一项所述的方法（100），其中所述参数（12a）中的每个参数都被设置到所述列表（3）中的所述参数最接近的那个离散值（3a-3c）（170），而且其中所述可训练模块（1）在将所述参数（12a）设置（170）到所述离散值之后被验证（180），其中所述验证（180）包括如下步骤：
•ꢀ
提供多个验证数据记录（5）（181），所述验证数据记录分别包括所述输入参量（11）的验证值（51）和所述输出参量（13）的相关的验证值（53），其中所述验证数据记录（5）的集合与所述学习数据记录（2）的集合并不全等；
•ꢀ
对于每个验证数据记录（5）来说，所述输入参量（11）的相应的验证值（51）通过所述可训练模块（1）被映射到所述输出参量（13）的测试值（13c）（182）；
•ꢀ
检查（183）所述测试值（13c）与所述输出参量（13）的验证值（53）的偏差是否满足预先给定的标准（55）。12.一种用于制造可训练模块（1）的方法（200），所述可训练模块将一个或多个输入参量（11）通过内部处理链（12）映射到一个或多个输出参量（13），其中所述内部处理链（12）通过一组参数（12a）来表征，所述方法具有如下步骤：
•ꢀ
通过利用根据权利要求4结合权利要求9至10中任一项所述的方法（100）进行训练来确定所述内部处理链（12）的参数（12a）的离散值（210）；
•ꢀ
在运算器（6）中实现所述可训练模块（1）的内部处理链（12）（220），所述运算器被构
造用于以定点算术来呈现和/或处理表征所述内部处理链（12）的参数（12a）；
•ꢀ
所述参数（12a）在所述运算器（6）中被设置到之前所确定（210）的离散值（230）。13.一种方法，其具有如下步骤：
•ꢀ
可训练模块（1）利用根据权利要求1至12中任一项所述的方法（100）来被训练；
•ꢀ
运行所述可训练模块（1），其方式是向所述可训练模块输送一个或多个输入参量（11）；
•ꢀ
根据由所述可训练模块（11）提供的输出参量（13）来操控车辆、机器人、质量控制系统和/或用于基于传感器数据来监控区域的系统。14.一种用于借助于内部处理链（12）将一个或多个输入参量（11）映射到一个或多个输出参量（13）的可训练模块（1），所述内部处理链通过一组参数（12a）来被表征并且在运算器（6）中被实现，其中所述运算器（6）被构造用于以定点算术来呈现和/或处理所述参数（12a）。15.根据权利要求14所述的可训练模块（1），所述可训练模块被构造成用于至少一个传感器记录的物理测量数据的分类器和/或回归器。16.一种计算机程序，所述计算机程序包含机器可读指令，当所述机器可读指令在一个或多个计算机上被实施时，所述机器可读指令促使所述一个或多个计算机实施根据权利要求1至13中任一项所述的方法（100、200）。17.一种机器可读数据载体和/或下载产品，所述机器可读数据载体和/或下载产品具有根据权利要求16所述的计算机程序。18.一种计算机或其它计算单元，所述计算机或其它计算单元具有根据权利要求16所述的计算机程序和/或具有根据权利要求17所述的机器可读数据载体和/或下载产品和/或以其它方式特定地被构造用于执行根据权利要求1至13中任一项所述的方法（100、200）。

技术总结
用于对可训练模块（1）进行训练的方法（100），可训练模块将一个或多个输入参量（11）通过内部处理链（12）映射到一个或多个输出参量（13），所述方法具有如下步骤：-提供至少一个学习数据记录（2）（110），其包括输入参量（11）的学习值（11a）和输出参量（13）的相关学习值（13a）；-提供离散值（3a-3c）的列表（3）（120），在训练期间应该从离散值中选择表征内部处理链（12）的参数（12a），其中离散值（3a-3c）被选择为使得所述离散值能够用预先给定的N个位在没有质量损失的情况下被存储为定点数；-在学习数据记录（2）中所包含的输入参量（11）的学习值（11a）通过可训练模块（1）被映射到输出参量的评价值（13b）（130）；-评估预先给定的成本函数（4）（140），其不仅表征输出参量（13）的评价值（13b）与在学习数据记录（2）中所包含的输出参量（13）的学习值（13a）的偏差而且表征内部处理链（12）的至少一个参数（12a）与列表（3）中的至少一个离散值（3a-3c）的偏差；-内部处理链（12）的至少一个参数（12a）被适配（150），目的在于改善成本函数（4）的值，其中在对参数（12a）的至少一次适配（150）的情况下，参数（12a）的值范围和/或成本函数（4）的梯度（4d）的值范围在使用离散值（3a-3c）的情况下被限制。3c）的情况下被限制。3c）的情况下被限制。


技术研发人员：L
受保护的技术使用者：罗伯特
技术研发日：2020.08.06
技术公布日：2022/4/26