类脑表达与计算单元的模型的制作方法

本申请涉及类脑智能计算，尤其涉及类脑表达与计算单元的模型。

背景技术：

1、现有类脑模型多是基于transformer进行的，是一种深度学习架构，它主要用于处理序列数据，例如自然语言处理和图像识别等任务。transformer 模型架构包括自注意力机制（self-attention）和多头注意力机制（multi-head attention），这使得模型能够捕捉到输入序列中的长距离依赖关系。

2、以下是transformer模型架构应用的一个典型实例：

3、输入序列：首先，将输入序列（例如文本或图像）转换为嵌入向量。这些嵌入向量将作为模型的输入。

4、自注意力机制：自注意力机制允许模型为输入序列中的每个元素分配不同的权重，以便更好地捕捉序列中的依赖关系。自注意力机制通过计算输入序列中每个元素与其他元素之间的相似度，并为每个元素生成一个加权平均值。

5、多头注意力机制：多头注意力机制将自注意力机制应用于输入序列的多个表示空间（称为“头”）。每个头关注输入序列的不同部分，并将它们的输出拼接起来，以获得更丰富的表示。

6、前馈神经网络：在自注意力机制和多头注意力机制之后，模型通过前馈神经网络（feedforward neural network）对每个元素的表示进行进一步处理。前馈神经网络通常包括两个线性变换和一个relu激活函数。

7、残差连接层和归一化：在自注意力机制、多头注意力机制和前馈神经网络之后，模型使用残差连接（residual connection）层和归一化（layer normalization）技术来提高模型的训练稳定性和性能。

8、输出：最后，模型的输出可以用于各种任务，例如文本分类、机器翻译、情感分析等。

9、基于transformer的类脑建模有以下几个缺点：①数据要求高，transformer类模型通常需要大量的数据和计算资源来进行预训练和微调。尤其是在一些细分领域的自然语言处理任务中，往往需要更加专业的数据和领域知识，以提高模型的泛化能力；②可解释性差，由于transformer类模型采用自注意力机制来实现对输入序列的编码和表示学习，模型的内部结构比较复杂，难以解释和理解，且生物合理性及可解释性欠缺。

技术实现思路

1、鉴于上述问题，本申请旨在提出一种类脑表达与计算单元的模型，其模拟人体感觉器官的信息处理机制，具有生物合理性及可解释性。

2、本申请的类脑表达与计算单元的模型，其包括：类脑单元、压缩编码承接层；

3、类脑单元包括：输入层、压缩表达层、稀疏表达层和自组织映射表达层；

4、压缩编码承接层用于存储所有相邻类脑单元的压缩表达层输出；

5、输入层用于接收原始数据或信息；

6、压缩表达层用于接收来自输入层的数据、来自上一时刻本类脑单元的压缩表达层的输出、以及上一时刻其他近邻的类脑单元的压缩表达层的输出；

7、压缩编码承接层用于存储压缩表达层的输出；

8、稀疏表达层用于接收本类脑单元的压缩表达层的数据进行稀疏编码，稀疏编码后的数据张成稀疏表达空间；

9、自组织映射表达层由自组织映射网络组成，自组织映射表达层的输出数据张成自组织映射表达空间；自组织映射表达层将稀疏表达层的输出数据投射到自组织映射表达空间，由此将稀疏表达空间嵌入到该自组织表达空间中。

10、优选地，压缩表达层为elman递归神经网络。

11、优选地，近邻的类脑单元的压缩表达层彼此连接形成局部上下文的时空结构。

12、优选地，压缩编码承接层用于类脑单元之间的拼接融合和系统集成，使得压缩表达层能够存储和利用过去时刻的信息，从而实现动态系统的映射。

13、优选地，压缩编码承接层承接本类脑单元的时间状态和其他近邻的类脑单元的空间状态的上下文关联表达编码数据，以实现时间和空间相似或不变模式的学习和记忆。

14、优选地，不同的类脑单元对应的自组织表达层之间通过折返联结网络构成大脑全局通信网络。

15、优选地，不同类脑表达与计算单元的模型之间采用令牌的形式或拼接融合顺序加以区分。

16、优选地，不同类脑表达与计算单元的模型的表达层之间采用神经网络相互投射。

17、优选地，输入层接收的原始数据或信息为模拟数据或脉冲序列。

18、优选地，输入层接收的原始数据或信息为模拟数据时，在自组织映射表达层中对其进行脉冲化。

19、本申请的类脑表达与计算单元的模型，依据大脑感觉编码的生物机制模拟人体感觉器官的信息处理机制，构建一种类脑表达与计算单元架构，增加其生物合理性和可解释性。

技术特征：

1.一种类脑表达与计算单元的模型，其包括：类脑单元、压缩编码承接层；

2.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

3.根据权利要求2所述的类脑表达与计算单元的模型，其特征在于：

4.根据权利要求2所述的类脑表达与计算单元的模型，其特征在于：

5.根据权利要求4所述的类脑表达与计算单元的模型，其特征在于：

6.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

7.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

8.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

9.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

10.根据权利要求1所述的类脑表达与计算单元的模型，其特征在于：

技术总结本申请提出一种类脑表达与计算单元的模型，其包括：类脑单元、压缩编码承接层；类脑单元包括：输入层、压缩表达层、稀疏表达层和自组织映射表达层；压缩编码承接层用于存储所有相邻类脑单元的压缩表达层输出；输入层用于接收原始数据或信息；压缩表达层用于接收来自输入层的数据、来自上一时刻本类脑单元的压缩表达层的输出、以及上一时刻其他近邻的类脑单元的压缩表达层的输出；压缩编码承接层用于存储压缩表达层的输出；稀疏表达层用于接收本类脑单元的压缩表达层的数据进行稀疏编码，稀疏编码后的数据张成稀疏表达空间；自组织映射表达层由自组织映射网络组成，自组织映射表达层的输出数据张成自组织映射表达空间。技术研发人员：王卫东,陈霏,匡翊铭受保护的技术使用者：中国人民解放军总医院技术研发日：技术公布日：2024/11/21