时序笔迹生成模型训练方法、装置、设备和介质

本发明涉及计算机，特别是涉及一种时序笔迹生成模型训练方法、装置、设备和介质。

背景技术：

1、目前触屏设备与手写笔的组合已被广泛应用，为了开发基于手写笔的相关系统，需要足够的手写数据。然而在开发手写相关的系统时，往往会遇到数据稀疏的问题；同时，手写数据往往具有高度的个性化，在一种应用场景下、一拨用户下采集到的数据，很难迁移到另一种应用场景下使用。为了解决这一现状，出现了很多可以用于手写数据生成的模型或算法，例如gan网络、diffusion模型等。

2、wordgesture-gan在gan网络上做了改进(见参考文献r1)，主要用于使用手机时用户在键盘上滑动输入的轨迹数据的生成。wordgestur e-gan以键盘固定的布局为基础，在网络特征层中加入手势原型(或可以理解为粗略的滑动轨迹原型)，帮助生成的手势数据更加真实。tsgm在diffusion模型的基础上做了改进(见参考文献r2)，主要用于各种时序数据的生成，例如生理信号、天气变动等。tsgm以diffusion模型中用于数据生成的sgm模块为基础，对其进行修改后，使其生成数据时产生时间依赖性，t时刻的数据必须依赖t-1时刻的数据生成。图1示出了t sgm网络架构图，tsgm网络架构总体上与sgm没有差别，但可以看到tsgm中在生成时间t的数据时加入了条件(condition，图中蓝色虚线部分)，从而让数据生成具有时间依赖性。非机器学习模型也可以完成笔迹数据的生成(见参考文献r3)。经典的方法例如加入高斯噪声、重采样、翻转、缩放等。由此一系列算法组合生成的数据虽然与原数据相似，且又有一定的变化，但生成出的数据有很强的抖动，跟人实际书写的笔迹有很大的差距，不能够很好地体现人的书写规律。

3、上述方法中，wordgesture-gan生成的数据与实际数据很接近的重要原因是因为加入了手势原型。而建立手势原型的基础是键盘固定的键位，只要知道用户输入的单词是什么，就可以通过单词的拼写和键盘的键位大概模拟出手指滑动的路线，从而得到手势原型。但在没有键盘的应用环境下(例如自由书写的笔记，或用户进行个性化手势的创造)，就很难建立手势原型，从而对模型的输出进行有效地约束。同时，虽然wordgesture-gan生成的数据中包含时间戳，但在生成的过程中没有考虑到时间依赖性(即同时生成出所有时刻的数据，而tsgm在每次生成数据时都会先生成t-1时刻的数据，再以此为基础生成时刻t的数据)。对于tsgm，虽然其是针对时序数据生成做出优化的模型，但其主要关注的时序数据并不是笔迹，而是人的生理信号、能量信号、空气变化数据等。这些数据虽然都具有时间依赖性，但笔迹数据更加注重轨迹的拟真、平滑。模型在训练时所用到的loss函数也并没有考虑到生成的数据是否平滑的问题。对于非机器学习方法，大部分传统算法(翻转、缩放、旋转等)生成的数据变化不足，与原数据过于相似；而加入高斯噪声、重采样后，生成的数据又很容易在笔迹上产生较大的抖动，不符合人的实际书写规律。

4、针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种时序笔迹生成模型训练方法、装置、设备和介质。本发明的训练方法获得的时序笔迹生成模型可以应用于绝大多数触屏设备书写场景下的数据生成，相比于wordgesture-gan不需要依赖特殊应用环境；相比于tsgm更加针对笔迹而非其他时序数据进行生成；相比于非机器学习算法生成的数据有足够的变化，同时生成的数据笔迹不会有过多的抖动，更加符合人的书写规律。

2、根据本发明的第一方面，提供了一种时序笔迹生成模型训练方法，包括：

3、编码器、解码器的训练步骤，将原始数据输入到编码器中输出隐空间数据，将隐空间数据输入解码器输出生成数据，通过原始数据、生成数据计算编码器、解码器的损失函数，根据编码器、解码器的损失函数优化编码器、解码器的模型参数，完成编码器、解码器的训练；

4、基于分数的生成模型的训练步骤，将原始数据输入到编码器中输出隐空间数据，将隐空间数据输入基于分数的生成模型输出中间数据，将中间数据输入解码器输出生成数据，根据基于分数的生成模型的损失函数优化基于分数的生成模型的模型参数，完成基于分数的生成模型的训练；

5、其中，基于分数的生成模型的损失函数引入了优化参数，优化参数通过对原始数据与生成数据在速度、加速度上的相似度进行约束，约束生成数据形成的笔迹轨迹。

6、在一些实施例中，所述约束通过计算均方误差实现。

7、在一些实施例中，所述优化参数的计算公式为：

8、

9、wv+wa＝1,wv,wa≥0

10、其中，原始数据与生成数据包含每个点的坐标x、y和对应的时间戳t，根据坐标以及时间戳计算获得速度v与加速度a，vi、ai分别为原始数据的速度和加速度的第i项，分别为生成数据的速度和加速度的第i项；wv和wa分别为控制v的相似度和a的相似度的权重。

11、在一些实施例中，所述基于分数的生成模型的损失函数的计算公式为：

12、lsgms＝lm+lva

13、

14、其中，lsgms为基于分数的生成模型的损失函数；hs为逐渐加入噪声时，s时刻的隐变量，s∈[0,1]；函数mθ(s,hs)用于学习基于分数的生成模型的逆向过程，对数似然函数用于表达基于分数的生成模型的逆向过程。

15、在一些实施例中，所述编码器、解码器的训练步骤，包括：

16、根据从原始数据采样获得的数据集{x1,x2…xn}，定义x1:t是一个长度为t的时间序列数据，xt为t时刻的数据，编码器将x1:t映射到隐空间中得到h1:t，之后解码器再将h1:t映射回空间得到编码器e和解码器h的关系式为：

17、ht＝e(ht-1,xt)

18、

19、用于优化编码器、解码器的模型参数的损失函数为led，计算公式如下：

20、

21、根据本发明的第二方面，提供了一种时序笔迹生成方法，包括：

22、获取输入数据；

23、将输入数据输入时序笔迹生成模型进行数据处理；

24、根据数据处理结果输出笔迹数据；

25、其中，所述时序笔迹生成模型通过上述公开的时序笔迹生成模型训练方法训练获得。

26、根据本发明的第三方面，提供了一种时序笔迹生成模型训练装置，包括：

27、编码器、解码器的训练模块，用于将原始数据输入到编码器中输出隐空间数据，将隐空间数据输入解码器输出生成数据，通过原始数据、生成数据计算编码器、解码器的损失函数，根据编码器、解码器的损失函数优化编码器、解码器的模型参数，完成编码器、解码器的训练；

28、基于分数的生成模型的训练模块，用于将原始数据输入到编码器中输出隐空间数据，将隐空间数据输入基于分数的生成模型输出中间数据，将中间数据输入解码器输出生成数据，根据基于分数的生成模型的损失函数优化基于分数的生成模型的模型参数，完成基于分数的生成模型的训练；

29、其中，所述基于分数的生成模型的训练模块中，基于分数的生成模型的损失函数引入了优化参数，优化参数通过对原始数据与生成数据在速度、加速度上的相似度进行约束，约束生成数据形成的笔迹轨迹。

30、根据本发明的第四方面，提供了一种时序笔迹生成装置，包括：

31、输入模块，用于获取输入数据；

32、处理模块，用于将输入数据输入时序笔迹生成模型进行数据处理；

33、输出模块，用于根据数据处理结果输出笔迹数据；

34、其中，所述时序笔迹生成模型通过上述公开的时序笔迹生成模型训练方法训练获得。

35、根据本发明的第五方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述任一实施例方法的步骤。

36、根据本发明的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。

37、本发明的时序笔迹生成模型修改了tsgm模型的损失函数，损失函数中加入了新的优化参数，新的优化参数通过使用mse来衡量原始数据与生成数据在速度、加速度上的相似度，从而约束生成数据的笔迹轨迹，使其与原始数据比较相似，同时也让其更加平滑，符合人的书写规律。