一种多感知融合传感器仿生方法和系统

本发明涉及传感器，特别涉及一种多感知融合传感器仿生方法和系统。

背景技术：

1、传感器是测量信息的重要检测装置。随着技术发展，传感器不断向微型化、数字化、智能化转变。当前，生物医学工程专业传感器实验教学仍存在不足之处，不同的传感信号采集需要依赖不同的设备，而且面向学生开展创新实践不多。如模仿人体得嗅觉、味觉、听觉、视觉等仿生传感器，都需要单独成套的系统完成相关信号采集和处理，缺少融合统一的实验分析测试平台。学生基于单一的传感系统只能完成特定信号的采集与分析，无法很好地进行拓展实验。

技术实现思路

1、本发明其中一个发明目的在于提供一种多感知融合传感器仿生方法和系统，所述方法和系统构建了不同传感器模块，不同传感器模块集成到功能调用模块中，利用所述功能调用模块可以获取不同传感器的对应功能信号，用于传感器信号的集成采集，提高仿生模型数据源的获取效率，并提高模型仿生可拓展性和效率。

2、本发明另一个发明目的在于提供一种多感知融合传感器仿生方法和系统，所述方法和系统采用arm架构进行不同传感器的功能调用模块的开发，并在所述arm架构的基础上嵌入脉冲神经网络(lif)模型，利用所述脉冲神经网络(l if)模型实现不同传感器信号的转化融合训练，并利用脉冲时间依赖可塑性(sdtp)学习规则识别融合传感信息，得到融合的仿生模型，从而提高仿生模型的效果。

3、本发明另一个发明目的在于提供一种多感知融合传感器仿生方法和系统，所述方法和系统通过剪枝技术和量化技术对大型的脉冲神经网络(lif)模型进行压缩，将所述脉冲神经网络(lif)模型中高位的浮点权重参数转化为低位的整数型参数，并裁剪掉所述脉冲神经网络(li f)模型中重要程度较低的网络通道进行结构化或非结构化裁剪，从而得到可低成本部署的轻量化模型，减少模型训练成本。

4、为了实现至少一个上述发明目的，本发明进一步提供一种多感知融合传感器仿生方法，所述方法包括如下步骤：

5、配置多个传感器和传感器功能模块，所述传感器功能模块连接所述每一个传感器，所述传感器功能模块将所述传感器信号进行数据转化和处理；

6、将转化处理后的传感器数据进行特征提取，选取至少2个不同类型特征数据，根据所述提取的至少2个不同类型特征数据构建第一仿生目标的仿生样本数据集合；

7、所述仿生样本数据集合划分为训练集和测试集，采用所述训练集训练脉冲神经网络模型，并采用脉冲时间依赖可塑性学习规则识别融合仿生传感数据；

8、测试集测试所述脉冲神经网络模型的效果，得到训练好的多类型传感数据融合的第一仿生模型，根据所述第一仿生模型生成第一仿生目标的仿生结果可选地调整不同类型特征数据进行再次构建仿生模型。

9、根据本发明其中一个较佳实施例，所述传感器包括：气体传感器、音频传感器、电化学传感器、接触传感器和图像传感器，对应的传感器功能模块连接对应的传感器，所述传感器功能模块将对应传感器信号转化为对应的数值数据，并对每一数值数据进行传感器类型标注，得到不同类型传感器的特征数据。

10、根据本发明另一个较佳实施例，所述方法包括：配置多个仿生目标，从多个仿生目标中选定其中一个作为第一仿生目标，并调用选定的至少2个类型的传感器功能模块得到的特征数据构建样数据集进行所述脉冲神经网络模型的训练，其中将所述特征数据进行包括归一化的标准化处理，得到所述第一仿生目标的多类型特征仿生样本数据集合。

11、根据本发明另一个较佳实施例，获取所述第一仿生模型的仿生结果，并计算所述第一仿生模型的仿生结果的准确率，设置准确率阈值，当所述第一仿生模型的仿生结果的准确率小于所述准确率阈值，则重新选定不同类型的至少2个传感器功能模块的特征数据，并根据重新选定的至少2个类型的特征数据组建新的训练样本集，利用所述新的训练样本集训练所述脉冲神经网络模型，得到新的第一仿生模型仿生结果，直到新的第一仿生模型仿生结果的准确率大于所述准确率阈值。

12、根据本发明另一个较佳实施例，所述脉冲神经网络模型的训练方法包括：基于不同传感器数据构建多类型特征数据的神经元，不同神经元之间存在突触连接，根据所述神经元建立膜电位的动态变化公式：c*dv/dt＝-gl*(v-vl)+iin，其中c为电容，v为神经元膜电位，vl为漏电势，iin为输入电流，gl为漏电导，t为时间，其中预先配置所述vl漏电势，iin输入电流，gl漏电导、c电容的相关初始化参数，并将所述不同类型的特征数据作为不同神经元的输入的神经元膜电位，通过设置不同神经元之间的突触连接权重构建膜电位在不同神经元之间的特征数据融合的传导方式。

13、根据本发明另一个较佳实施例，若当前神经元突触前的神经元之间膜电位变化时，对应当前神经元膜电位的变化公式为：其中wi为对应神经元突触和突触后神经元的连接权重，k表示规范化的突触后电位的核函数，t表示时间，ti表示第i次激发传导时间，vrest表示静息膜电位，其中核函数k可以转化为如下表示其中τm和τs分别表示膜电压整合和突触电流衰减时间常数。

14、根据本发明另一个较佳实施例，所述训练方法包括：设置神经元膜电位阈值vr，若当前神经元膜电位v(t)＞所述神经元膜电位阈值vr，则当前神经元激发一个脉冲信号传导到下一个神经元，并且当前神经元在不应期内将自身的膜电位重新调整到所述静息膜电位vrest。

15、根据本发明另一个较佳实施例，所述方法包括：采用量化技术将所述脉冲神经网络模型中不同神经元之间的连接权重wi和激活输出的浮点型参数和8位整数建立映射关系，并所述连接权重wi和激活输出的浮点型参数通过所述映射关系转化为整数型数据计算；并采用剪枝技术将所述脉冲神经网络模型中不重要的神经元连接通道剪除。

16、为了实现至少一个上述发明目的，本发明进一步提供一种多感知融合传感器仿生系统，所述系统执行上述一种多感知融合传感器仿生方法。

17、本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述一种多感知融合传感器仿生方法。

技术特征：

1.一种多感知融合传感器仿生方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的一种多感知融合传感器仿生方法，其特征在于，所述传感器包括：气体传感器、音频传感器、电化学传感器、接触传感器和图像传感器，对应的传感器功能模块连接对应的传感器，所述传感器功能模块将对应传感器信号转化为对应的数值数据，并对每一数值数据进行传感器类型标注，得到不同类型传感器的特征数据。

3.根据权利要求1所述的一种多感知融合传感器仿生方法，其特征在于，所述方法包括：配置多个仿生目标，从多个仿生目标中选定其中一个作为第一仿生目标，并调用选定的至少2个类型的传感器功能模块得到的特征数据构建样数据集进行所述脉冲神经网络模型的训练，其中将所述特征数据进行包括归一化的标准化处理，得到所述第一仿生目标的多类型特征仿生样本数据集合。

4.根据权利要求1所述的一种多感知融合传感器仿生方法，其特征在于，获取所述第一仿生模型的仿生结果，并计算所述第一仿生模型的仿生结果的准确率，设置准确率阈值，当所述第一仿生模型的仿生结果的准确率小于所述准确率阈值，则重新选定不同类型的至少2个传感器功能模块的特征数据，并根据重新选定的至少2个类型的特征数据组建新的训练样本集，利用所述新的训练样本集训练所述脉冲神经网络模型，得到新的第一仿生模型仿生结果，直到新的第一仿生模型仿生结果的准确率大于所述准确率阈值。

5.根据权利要求1所述的一种多感知融合传感器仿生方法，其特征在于，所述脉冲神经网络模型的训练方法包括：基于不同传感器数据构建多类型特征数据的神经元，不同神经元之间存在突触连接，根据所述神经元建立膜电位的动态变化公式：c*dv/dt＝-gl*(v-vl)+iin，其中c为电容，v为神经元膜电位，vl为漏电势，iin为输入电流，gl为漏电导，t为时间，其中预先配置所述vl漏电势，iin输入电流，gl漏电导、c电容的相关初始化参数，并将所述不同类型的特征数据作为不同神经元的输入的神经元膜电位，通过设置不同神经元之间的突触连接权重构建膜电位在不同神经元之间的特征数据融合的传导方式。

6.根据权利要求5所述的一种多感知融合传感器仿生方法，其特征在于，若当前神经元突触前的神经元之间膜电位变化时，对应当前神经元膜电位的变化公式为：其中wi为对应神经元突触和突触后神经元的连接权重，k表示规范化的突触后电位的核函数，t表示时间，ti表示第i次激发传到传导时间，vrest表示静息膜电位，其中核函数k可以转化为如下表示其中τm和τs分别表示膜电压整合和突触电流衰减时间常数。

7.根据权利要求6所述的一种多感知融合传感器仿生方法，其特征在于，所述训练方法包括：设置神经元膜电位阈值vr，若当前神经元膜电位v(t)＞所述神经元膜电位阈值vr，则当前神经元激发一个脉冲信号传导到下一个神经元，并且当前神经元在不应期内将自身的膜电位重新调整到所述静息膜电位vrest。

8.根据权利要求1所述的一种多感知融合传感器仿生方法，其特征在于，所述方法包括：采用量化技术将所述脉冲神经网络模型中不同神经元之间的连接权重wi和激活输出的浮点型参数和8位整数建立映射关系，并所述连接权重wi和激活输出的浮点型参数通过所述映射关系转化为整数型数据计算；并采用剪枝技术将所述脉冲神经网络模型中不重要的神经元连接通道剪除。

9.一种多感知融合传感器仿生系统，其特征在于，所述系统执行上述权利要求1-8中任意一项所述的一种多感知融合传感器仿生方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述权利要求1-8中任意一项所述的一种多感知融合传感器仿生方法。

技术总结本发明公开了一种多感知融合传感器仿生方法和系统，配置多个传感器和传感器功能模块，所述传感器功能模块连接每一个传感器，传感器功能模块将传感器信号进行数据转化处理；将转化处理后的传感器数据进行特征提取，选取至少2个不同类型特征数据，根据所述提取的至少2个不同类型特征数据构建第一仿生目标的仿生样本数据集合；所述仿生样本数据集合划分为训练集和测试集，采用训练集训练脉冲神经网络模型，并采用脉冲时间依赖可塑性学习规则识别融合仿生传感数据；测试集测试脉冲神经网络模型的效果，得到训练好的多类型传感数据融合的第一仿生模型，根据第一仿生模型对第一仿生目标的仿生结果可选地调整不同类型特征数据进行再次构建仿生模型。技术研发人员：应仰威,周泓,裘宇柯受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/7/29