一种自洽学习的神经网络系统的制作方法

本发明涉及人工智能领域，尤其涉及一种自洽学习的神经网络系统。

背景技术：

1、进入21世纪后，人工智能技术得到飞速发展，特别是深度神经网络为代表的以数据驱动的第二代人工智能技术的兴起，人工智能作为一种弥散性技术融入到各行各业中。然而以数据驱动的深度神经网络技术却存在以下缺陷：

2、(1)神经网络缺乏稳定鲁棒的输出，特别是对于分布外数据，往往会给出非常“离谱”的结果；

3、(2)神经网络被人为地割裂成训练阶段和学习阶段，而增量学习常常会产生灾难性遗忘。

4、为了改善神经网络的鲁棒性问题，一种方法是对输入数据进行分布外检测(out-of-distribution detection)，然而实际使用中分布外检测的精准度并不高。另一种方法是动态神经网络，它或是采用动态架构，根据输入数据的特性，比如数据样本困难度，选择不同的网络路径、网络深度、网络宽度；或是采用动态参数，根据输入数据的特性，通过一个事先训练过的网络来动态产生网络参数。然而动态结构或参数的策略是固化的，模型训练后不能再改变，且在推理过程中并不能测量到动态神经网络是否与输入数据样本匹配。

5、基于大型神经网络的大型语言模型(llms)表现出推理链(chain of thought)和上下文学习能力(in-context learning)，在大型语言模型基础上出现了自然语言逻辑推理模型，进一步提升语言模型的推理能力，但是这些方法并不能对推理结果进行检查，从而导致输出结果是一个相互矛盾的语句的集合。

6、循环神经网络在处理序列数据时，将神经网络前次推理的隐藏层值在当前次推理时递归输入神经网络，这种方式可以实现对过去数据在网络内部的记忆，另一方面可以等效为增加神经网络的深度，但是它并没有解决神经网络结果稳定性的问题。

7、因此，需要创造一个由多个神经网络模块组成的神经网络系统，模块之间可以使用结构化信息或非结构化信息进行通信。不同神经网络模块担任不同角色，最后构成具有稳定结果输出，学习和推理相结合的人工智能系统。

技术实现思路

1、为了克服上述技术缺陷，本发明的目的在于提供一种自洽学习的神经网络系统，应用于基于特定计算模型的计算机系统，神经网络系统是有多种神经网络作为模块组成的系统，涵盖基于知识的神经网络，使用神经网络进行逻辑表达和运算，使用编码器-解码器网络进行信息压缩与转换，系统最终呈现的效果是从数据中提取知识和规则(g06n5)。

2、本发明公开了一种自洽学习的神经网络系统，包括：

3、编码器，对输入数据信息进行转译和抽象，实现对输入数据的编码；

4、规则管理器，根据预设事实、目标命题、自洽检查结果、反预设事实检查结果，生成判断目标命题的规则；

5、演绎器，与规则管理器连接，根据规则管理器中的规则和预设事实，对目标命题进行真伪判断，得到一临时结论；

6、溯因器，与规则管理器连接，根据规则管理器中的规则、预设事实以及临时结论，获取导致临时结论的可能事实；

7、自洽检测器，与溯因器连接，计算可能事实与预设事实的距离，当距离小于一阈值时，并通过演绎器输出一稳定结论，当距离大于或等于阈值时，判定临时结论不自洽，并对可能事实与预设事实的残差编码，并发送至规则管理器生成新规则。残差编码可以使用可能事实与预设事实的对比编码，也可以使用计算可能事实嵌入表示与预设事实嵌入表示直接交叉注意力的方法。可能事实与预设事实的距离计算方法为先进行残差编码，然后将该编码转化为标量。

8、优选地，还包括：

9、事实真值检测器，与演绎器连接，判断临时结论与稳定结论的差值并输出。

10、优选地，规则管理器包括：

11、规则存储器，规则存储器存储有目标领域的已知规则；

12、规则映射器，根据预设事实、目标命题、自洽检查结果、反事实检查结果，从规则存储器中搜索出用于判断目标命题的规则集合；

13、规则生成器，生成用于判断目标命题的，且不存在于规则存储器中的新规则。

14、优选地，规则存储器中存储有已知规则和常量事实，且已知规则和常量事实带有一个真或伪的标示，用于标记存储的已知规则或常量事实的真伪状态；

15、当新规则在t时刻满足自洽和符合实际事实的条件而被存储在规则存储器中时，对新规则的标示置为“真”，而在t+n时刻被新的预设事实证伪后，则在规则存储器中将对新规则的标示置为“伪”。

16、优选地，还包括：

17、规则缓存器，与规则管理器和演绎器连接，用于缓存规则映射器中筛选出的规则集合。

18、优选地，演绎器和溯因器使用神经网络模型或者图模型搭建；

19、规则集合包含常量事实，常量事实表示为神经网络的权重参数，其中神经网络包括符号神经网络、注意力机制神经网络、动态神经网络、卷积神经网络、循环网络、多层感知机，或

20、表示成图模型的图结构和边权重，或

21、表示成输入的神经网络的标示嵌入，或

22、表示成符号推理语言，或

23、表示成上述对象的组合。

24、优选地，演绎器使用规则集合、输入的预设事实，推理出目标命题的判决；

25、溯因器使用规则集合、遮蔽部分事实后的预设事实、目标命题，反向推理形成目标命题所对应的至少一个遮蔽事实；

26、溯因器逐次屏蔽不同的部分事实，反向推理形成针对每一部分事实的对应的遮蔽事实，并与原始的输入事实做比较，检查两者的差异，作为自洽反馈信号。

27、优选地，规则生成器为规划推理模块，每一次推理均决定从规则存储器中提取已有规则，或生成一条新规则；

28、通过规则映射器拟合输入的预设事实和目标命题与有效规则的联合分布，从而实现在规则存储器中快速映射到一有效规则。

29、优选地，还包括：

30、随机数生成器，随机数发生器生成一随机种子，并附加至新规则上，使得生成的新规则不与规则存储器中的已知规则重复。

31、优选地，规则存储器中存储的已知规则是结构化或非结构化的。

32、采用了上述技术方案后，与现有技术相比，具有以下有益效果：

33、1.自洽的神经网络具有判断推理结果可信度的能力；

34、2.将自洽神经网络检测到的推理矛盾部分作为反馈信号，生成其它规则，使得迭代的自洽神经网络的输出能够逐步趋向自洽稳定；

35、3.迭代自洽神经网络的输出符合目标命题的要求；

36、4.构建了知识规则生成和存储的机制，将知识规则和演绎/溯因推理进行解耦，从而实现知识规则的持续更新，而知识规则更新过程中发现的存储的错误规则并不直接删除，而是通过标记的方式，从而明确什么是错误的规则，为新规则的生成提供参考。

37、5.规则管理模块中的规则映射器记录了曾经遇到的输入预设事实和对应的已知规则之间的分布关系，从而能够更快得到所对应的有效规则；

38、6.通过强化学习使得规则生成器能够针对具体数据和目标命题，生成效率更好的规则，使得更快得到目标命题的判决；

39、7.整套神经网络系统实现了面向目标命题迭代自洽，其输出结果具有很强的稳定性，且能够在推理过程的同时进行持续学习，统一了学习和推理过程。