一种可自主进行知识获取和学习的系统及方法与流程
- 国知局
- 2024-07-31 22:58:49
本发明涉及人工智能领域,尤其涉及一种可自主进行知识获取和学习的系统及方法。
背景技术:
1、近十几年是以深度学习、强化学习等为代表的人工智能(ai)技术快速发展的时期,尤其是近期以chatgpt为代表的大型语言模型(llm)更是进一步的将深度神经网络技术推向顶点,使整个社会的各行各业都面临着新ai技术的改造。然而对于当下强依赖大数据、大模型的深度神经网络技术,其本质是基于统计理论的归纳学习,因此其自身也面临着难以逾越的方法缺陷制约,主要体现在三个方面:
2、1)由于依赖大数据的统计学习,数据集的主导特征(高概率信息)会成为模型学习的焦点,而对于长尾问题所凸显的低概率重要特征则被掩盖,从而导致模型不能快速学习新知识,即模型从众不从新。而要学习到新知识就必须要再大量扩展新知识的数据,并且扩展数据还必须在一定程度上匹配已有数据量以实现数据平衡,从而导致未来的数据量越来越大、成本越来越高;
3、2)由于都是对历史经验学习(已发生事实的数据),模型只能学习到已有数据特征之间的相关性,虽然可以通过相关性重组输出表达,但本质上重组的结果也是已存在的,只是没有以独立个体的形式存在数据集中,而模型是无法跳脱这些已存在知识来产生新知识的。
4、3)现有神经网络模型的训练本质上是通过网络参数的调整对数据进行分类,监督学习是按照数据标签调整网络参数进行分类,而无监督学习或自监督学习是按照数据特征的相关性度量进行分类,从而导致已训练好的网络只能针对已分类别进行应用,如果要增加新的类别就必然导致整个网络参数的全盘调整。从而导致在同等规模的网络结构上,网络能区分的种类越多,区分的准确性就会越差。而要想保证分类精度,就必须进一步扩大网络规模,并且使用全量数据进行全新训练。一个典型的例子就是gpt系列的发展,从gpt1的1.17亿参数、5gb训练数据,到gpt3的1750亿参数、45tb数据,整个模型规模和数据量呈指数型增长。其结果就是模型不能有效的进行增量学习和知识交流,而必须要自身不断翻新从头学习。(增量学习是指模型只通过对新类别数据的学习,就能够保持已有类别的分类精度,并提升新增类别的分类精度。而知识交流是指模型可以通过向其他已学会区分新类别的模型学习,从而提升自身对新类别的区分精度)。
5、因此,需要一种新型的可自主进行知识获取和学习的系统及方法,能够模拟人类的认知模式对信息进行认知学习,实现知识的创造和领域应用。
技术实现思路
1、为了克服上述技术缺陷,本发明的目的在于提供一种可自主进行知识获取和学习的系统及方法,通过结合结构化与非结构化知识表达与计算,构建一个具备知识学习、创造和推理能力的人工智能系统,其中以结构化知识作为知识体系骨架,支撑对先验知识的理解和推理能力;另外基于非结构化知识表达与计算方法,能够根据数据进行训练学习,对已有知识体系进行更新和创造,实现系统智能的扩展。
2、本发明公开了一种可自主进行知识获取和学习的系统,包括生成模块和判定模块,其中
3、生成模块包括:
4、概念生成器,接收一输入图像数据x,提取输入图像数据x的数据特征,并基于一预定义的原语概念,生成数据特征于原语概念的结构下的矢量特征值;
5、猜想推导器,输入概念的表征矢量、用户指令和相关知识提示,推理演进结果y;
6、判定模块包括:
7、模拟器,接收猜想知识y=f(x),并根据数据库已有的经验数据进行反驳验证;
8、知识库,基于图模型存储应用领域的先验知识,并对原语概念进行预定义;
9、知识转译器,预训练存储于知识库中所有原语概念的矢量映射,知识转译器与概念生成器和猜想推导器连接,接收输入数据x并提取其对应原语概念结构下的表征矢量,并向猜想推导器发送表征矢量对应概念相关的知识提示。
10、优选地,生成模块的概念生成器所生成的矢量特征值的概念包括原语概念和对象概念,对象概念为原语概念的要素构成的高维空间的矢量表示,原语概念表示的是应用领域的基础特征,并且所有原语概念和对象概念都对应其特征维度下的一个矢量空间。
11、优选地,知识库以图的形式表征先验知识的知识概念及其之间的转换关系;
12、转换关系的属性形式可表示为f,使得将一初始概念转换为目标概念,其中初始概念为原语概念或对象概念,目标概念为对象概念;
13、当初始概念为原语概念时,则f表示的是目标概念由原语概念组合表征的定义;如果初始概念为对象概念,则f表示的是目标概念和对象概念间的推导关系;
14、知识库中将与输入图像数据x相关的先验知识的推导链提取出来,逐个验证推导结果,并将上次推导获得的猜想概念矢量y作为下次知识推导的输入,以实现知识分阶段的推导验证。
15、优选地,知识转译器实现判定模块中的先验知识的概念符号与生成模块中的猜想概念矢量y间的映射。
16、优选地,猜想推导器通过知识转译器将知识库中的先验知识的y=f(x)转译成对应的概念表征矢量,其中f中初始概念x转译的矢量作为猜想推导器的输入,f中目标概念y转译的矢量作为猜想推导器的标注输出,并基于监督学习对猜想推导器网络参数进行预训练。
17、优选地,知识转译器根据知识库的完备程度以及任务目标决定是否将先验知识作为提示prompt传给猜想推导器;
18、当知识库的置信度低于一置信阈值时,不输入提示prompt至猜想推导器,或将提示prompt的置信度置为较小值。
19、优选地,当猜想推导器在生成猜想知识y=f(x),模拟器会基于数据库中的类似经验数据对该知识进行反驳验证,若不存在反例则认为该知识有效,会将该知识表达存入知识库中。
20、优选地,还包括:
21、随机器;
22、当模拟器的反驳验证判定猜想概念矢量y无效,则激活随机器,随机器随机对猜想推导网络中的参数施加随机扰动,并激活猜想推导器重新收敛生成新的猜想概念矢量y和新的知识表达。
23、本发明还公开了一种可自主创造的知识获取方法,包括以下步骤:
24、概念生成器,接收一输入图像数据x,提取输入图像数据x的数据特征,并基于一预定义的原语概念,生成数据特征于原语概念的结构下的矢量特征值;
25、猜想推导器,输入概念的表征矢量、用户指令和相关知识提示,推理演进结果y;
26、模拟器,接收猜想知识y=f(x),并根据数据库已有的经验数据进行反驳验证;
27、知识库,基于图模型存储应用领域的先验知识,并对原语概念进行预定义;
28、知识转译器,预训练存储于知识库中所有原语概念的矢量映射,知识转译器与概念生成器和猜想推导器连接,接收输入数据x并提取其对应原语概念结构下的表征矢量,并向猜想推导器发送表征矢量对应概念相关的知识提示。
29、采用了上述技术方案后,与现有技术相比,具有以下有益效果:
30、1)理论学习:由知识库、知识转译器、猜想推导器组成的预训练内环,可以根据人的已有知识经验高效地对猜想推导器进行预训练,使猜想推导器能够根据先验知识的前提条件(概念)生成的猜想知识与先验知识保持一致,实现知识生成的自洽。就像人在学习课本知识时,可以根据少量的课本知识案例即可初步了解知识的表达和应用,知识库中存放的就像是课本知识,生成模块就像是人的大脑;
31、2)统计验证:由模拟器可以通过统计模型来总结知识库中与猜想知识中概念一致的数据的知识规律,来反驳验证与猜想知识的规律是否正确,就像人在做实验验证时要多次测量确认实验结果是否存在错误一样;
32、3)创造新知(实践学习):整个系统从输入数据到执行器输出,再由统计判定验证猜想知识的大闭环,能够有效的实现对新知识的生成。举例而言知识库中有马的特征知识,如果观测一匹马,则输入数据包含的特征概念能够有效的与知识库中马的概念相匹配,那么猜想推导器就能生成马的概念矢量输出;但如果观测的是独角兽,虽然有马的大部分特征,但头上的角和身上的翅膀就会是猜想推导器生成一个远离马自身概念矢量的矢量表达(因为马没有角和翅膀,在这两个维度为0,而独角兽在这两个维度有较大值,就会拉开与马的类间距),从而创造不同于马的生物概念,一个新的概念类别矢量表征。
33、4)遗传进化:随机器在判定猜想知识无效时,可以触发猜想推导器网络参数突变,使网络可以朝新的推导方向收敛,并且由于原有的猜想知识对应参数已缓存在知识转译器中(但没有进入知识库),所以可以通过不断的通过统计验证加速猜想推导器朝正确的方向演进,本质上可以实现如遗传算法相同的进化效果;
34、5)增量学习:由于整个系统是将概念表征与知识推演独立为两个网络,两个网络不会同步训练更新,从而保证在训练知识推演时不会改变概念表征。如此一来之前已经学会的概念会一直保留不用重复学习,就像不同语言中都有猫的概念,但学会了英语中的cat并不用重新学习中文的猫,二者是完全等同的概念,也不影响与猫的一切知识的表达。
35、另外由于所有概念都是在领域原语概念结构上的表征,比如所有动物都可以基于头、身、四肢、手脚(四爪)等部位的特征表达,这样学习猫时会形成猫在不同原语概念下的特征向量,这些特征就会形成概念“猫”的表征矢量,对应在原语空间中的某个区间。之后不管是再学习狗、猪等动物,只是在原语空间中分割出不同的区间来对应这些新的概念,而不会影响猫的表征,从而达到增量学习的效果。
本文地址:https://www.jishuxx.com/zhuanli/20240730/195582.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。