对求解偏微分方程的神经网络算法进行评价的方法

本发明属于神经网络评价的，具体涉及一种对求解偏微分方程的神经网络算法进行评价的方法。

背景技术：

1、偏微分方程(partial differential equations,pdes)是描述系统变量之间关系的重要数学工具，在现代科学和工程领域有着广泛的应用。为了更好、更准确地描述科学问题，在构建数学模型时，需要考虑尽可能多的影响因素，例如初边值条件，求解区域等。这就导致大多数实际问题中的偏微分方程变得更加复杂，无法进行精确求解，只能利用数值求解方法得到方程的数值解。目前，主要有两类求解pdes的方法：传统数值方法以及神经网络算法。传统数值方法包括有限差分法、有限元法和有限体积法等，这些方法的基本思想是将连续的pdes转化为离散的数值计算问题，然后通过数值计算方法求解得到数值解。

2、近年来，深度学习在计算机视觉、自然语言处理和蛋白质结构预测等许多学科领域取得了巨大成功，求解偏微分方程的神经网络算法研究也取得了巨大进展。目前较为流行的神经网络算法有物理信息神经网络(physics-informed neural network，pinns)、深度算子网络(deep operator network，deeponet)、傅里叶神经算子(fourier neuraloperator，fno)等。

3、随着该领域的迅速发展，新的神经网络算法不断涌现。为了更好地理解和评估这些方法的性能，建立一个完善的评测体系显得尤为迫切和必要。

4、先前的研究主要针对一些主流的方法进行了评测，例如pinns，deeponet、fno和u-net，缺乏对其他一些重要的神经网络算法的评估。此外，不同类型的方法经常在相同的设置中进行比较，而没有根据它们不同的数学机理进行分类评估。另一方面，先前的工作中尽管包含了类型丰富的pde问题，但一些关键的方程，例如相场方程，并没有被包括在评测任务中。此外，一些具有挑战性的问题也被忽略了，例如具有奇异解的偏微分方程。总的来说，对方法评测技术的研究滞后于对方法的研究。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种对求解偏微分方程的神经网络算法进行评价的方法。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明的一个方面，提供了一种对求解偏微分方程的神经网络算法进行评价的方法，包括下述步骤：

4、选取偏微分方程以构建评测数据集；

5、选取基于函数学习的神经网络算法以及基于算子学习的神经网络算法；

6、利用基于函数学习的神经网络算法以及基于算子学习的神经网络算法对评测数据集进行求解；

7、计算评测指标，并根据评测指标对基于函数学习的神经网络算法以及基于算子学习的神经网络算法进行评价。

8、作为优选的技术方案，选取的偏微分方程包括：

9、流体动力学领域：1维平流方程、1维和2维burgers方程、1维扩散-反应方程、1维扩散-吸附方程、2维darcy流方程、2维浅水方程、1维、2维和3维可压缩navier-stokes方程以及3维euler方程；

10、材料学领域：1维和2维allen-cahn方程以及1维cahn-hilliard方程；

11、金融领域：2维black-scholes-barenblatt方程；

12、电磁学领域：poisson方程和3维maxwell方程。

13、作为优选的技术方案，所述构建评测数据集具体为：

14、为每一个偏微分方程构建数据文件，包含方程求解区域的空间坐标x，时间坐标t和多个解样本，每一个解样本对应偏微分方程在不同初值条件或边界条件下采样的时空坐标上的解u(x,t)。

15、作为优选的技术方案，所述选取基于函数学习的神经网络算法以及基于算子学习的神经网络算法，具体为：

16、所述基于函数学习的神经网络算法使用神经网络拟合方程的解函数，包括使用强形式pde约束损失的pinn和rfm，以及使用弱形式pde约束损失的drm、wan、dflm和dfvm；

17、所述基于算子学习的神经网络算法使用神经网络拟合方程的解算子，包括自回归的u-net，mpnn，fno和u-no，以及非自回归的deeponet和pino。

18、作为优选的技术方案，所述评测指标包括用于评估神经网络算法求解精度的精度指标、用于评估神经网络算法求解效率的效率指标以及功能指标；

19、所述精度指标包括l2相对误差和最大误差；

20、所述效率指标包括训练时间、推理时间和收敛时间；

21、所述功能指标包括用于评估不同神经网络对选定问题的任务覆盖能力的任务覆盖率，以及用于评价模型鲁棒性的lipschitz常数。

22、作为优选的技术方案，所述l2相对误差具体为：

23、给定对应单个待求解变量，形状大小为的测试样本u，其中nt表示时间步的个数，表示空间网格大小，神经网络算法输出具有相同形状大小的预测结果其l2相对误差如下式：

24、

25、对于包含多个样本的方程测试数据，计算神经网络算法在多个样本上的平均l2re作为神经网络算法求解该方程的l2re；对于包含多个待求解变量的方程，分别计算每个变量的l2re；

26、所述最大误差具体为：

27、给定对应单个待求解变量，形状大小为的测试样本u，其最大误差如下式：

28、

29、对于包含多个样本的方程测试数据，使用神经网络算法在多个样本上最大误差的最大值作为神经网络算法求解该方程的最大误差；对于包含多个待求解变量的方程，分别计算每个变量的最大误差。

30、作为优选的技术方案，所述训练时间定义为从开始训练一个神经网络算法到训练完成所花费的时间，即ttrain＝nepoch×tepoch，其中，nepoch表示神经网络算法训练的epoch数，由人为设定，tepoch表示神经网络算法训练一个epoch所花费的时间，对于基于函数学习的神经网络算法，tepoch表示神经网络算法完成一次参数更新所花费的时间，对于基于算子学习的神经网络算法，tepoch表示神经网络算法使用整个训练数据集的数据完成一轮训练所花费的时间；

31、所述推理时间定义为使用训练好的神经网络算法求解一个具体pde问题所花费的时间，给定一个形状为的测试数据样本，该样本对应一个具体的pde问题，待求解的变量数为v，待求解的位置个数为对于基于函数学习的神经网络算法，推理时间为将测试样本所有待求解位置的坐标输入模型，神经网络算法输出方程在对应位置处的解所花费的时间；对于基于算子学习的神经网络算法，推理时间是输入神经网络算法求解所需的信息所花费的时间；

32、所述收敛时间定义为神经网络算法训练至收敛所花费的时间，即tconverge＝nconverge×tepoch，其中，nconverge表示训练神经网络算法至收敛所花费的epoch数，由如下步骤计算：

33、当训练的损失函数值连续多个epoch不发生明显下降时认为神经网络算法收敛；连续多个epoch为人为设定的阈值，通常设置为学习率调度策略的步长；损失明显下降的定义为：当前epoch的损失值较上一次记录的损失最小值相对下降的比例大于人为设置的阈值时，损失发生了明显下降，并且记录当前epoch的损失值为损失最小值；

34、当超过多个epoch损失没有发生明显下降时，使用记录的损失最小值对应的epoch数作为nepoch。

35、作为优选的技术方案，所述任务覆盖率定义为神经网络算法能够解决问题的数量占所有待解决问题数量的比例，通过统计每个神经网络算法能够求解的问题数量，从而计算得到不同神经网络算法的任务覆盖率；

36、所述lipschitz常数由如下步骤计算：

37、对于一个训练好的总层数为k层的多层感知机fmlp，其lipschitz常数l(fmip)表示为：

38、

39、其中，tk表示第k层线性层，是一个仿射函数nk-1和nk分别表示第k-1层的输出向量维数和第k层的输出向量维数，写作：tk(x)＝mkx+bk，mk和bk是能够学习的参数；ρk表示第k个激活层，是一个非线性函数写作：ρk:x→gk(x)，为第k层线性层的输出；

40、由于大多数激活函数的导数值故：

41、

42、采用seqlip算法对矩阵mk进行奇异值分解，即以及利用矩阵范数的相容性，即‖ab‖≤‖a‖‖b‖，将上述式子切分成k-1个子优化问题：

43、

44、当k等于1或k-1时，其它情况下，

45、先分别求解这(k-1)个子优化问题的最大值，再将这些值相乘得到的结果作为网络lipschitz常数的上界。

46、本发明的另一个方面，还提供了一种对求解偏微分方程的神经网络算法进行评价的系统，应用于上述的对求解偏微分方程的神经网络算法进行评价的方法，包括数据集构建模块、神经网络算法选取模块、求解模块和评测指标计算及评价模块；

47、所述数据集构建模块用于选取偏微分方程以构建评测数据集；

48、所述神经网络算法选取模块用于选取基于函数学习的神经网络算法以及基于算子学习的神经网络算法；

49、所述求解模块利用基于函数学习的神经网络算法以及基于算子学习的神经网络算法对评测数据集进行求解；

50、所述评测指标计算及评价模块用于计算评测指标，并根据评测指标对基于函数学习的神经网络算法以及基于算子学习的神经网络算法进行评价。

51、本发明的另一个方面，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的对求解偏微分方程的神经网络算法进行评价的方法。本发明与现有技术相比，具有如下优点和有益效果：

52、(1)针对现有评测中评测方程数量较少，覆盖学科领域范围较窄的问题，本发明选取了来自流体动力学、材料科学、金融学和电磁学等多个领域的19个具有代表性的偏微分方程问题来评估不同神经网络算法的性能。这些方程涵盖了求解偏微分方程过程中面临的主要挑战，包括非线性、奇异解、高维度和复杂几何求解区域。基于上述选取的pde问题，构建了一个多样化、高保真和用户友好的评测数据集。

53、(2)针对现有评测中模型较少、种类较为单一的问题，本发明选取了12个具有代表性的神经网络算法进行评测。同时根据方法基于的数学原理不同，本案将选取的12个神经网络算法分为基于函数学习和基于算子学习的两类。

54、(3)本发明使用多个指标对神经网络算法求解偏微分方程的性能进行全面的评测。具体使用l2相对误差(l2re)和最大误差(max error)评测方法的求解精度，使用训练时间、推理时间和模型收敛时间三个指标评测方法的求解效率，使用任务覆盖率评价方法的任务覆盖能力以及使用lipschitz常数评测神经网络的鲁棒性。

55、(4)为了公平的比较不同类型方法的性能，本发明为不同类别的方法设计了不同的指标计算方法，从而对这些方法进行分类比较。