一种融合RFID和音频信号的多模态语音系统

本发明涉及多模态信号融合和语音恢复系统，具体为一种融合rfid和音频信号的多模态语音系统。

背景技术：

1、随着监听技术的升级、优化和改良，当前面临的技术挑战已不再是简单追求高音质标准，而是如何在严苛的声频技术标准和受限的工作环境下实现卓越的重放效果。现有的语音识别通常是基于单传感器的语音识别，使用单个传感器(如无线天线或麦克风)来收集与语音相关的信号。基于单传感器的方法通常无法在声音识别中获得良好的性能，因此它们通常不能很好地从单通道恢复声音相关信号。所以本发明决定采用多个传感器的多模态融合，用于语音增强和识别。该方法利用具有不同模态的多个传感器同时收集语音相关信号，并利用不同模态之间的互补性来增强语音识别性能。

技术实现思路

1、本发明为了解决现有的语音识别系统从单通道恢复声音相关信号而使得语音恢复性能差的问题，提供了一种融合rfid和音频信号的多模态语音系统。

2、本发明是采用如下的技术方案实现的：一种融合rfid和音频信号的多模态语音系统，包括cots rfid标签、以usrp为基础的阅读器和以计算机为基础的用户数据存储和处理的后台设备，阅读器和后台设备通过网络端口号进行连接；

3、包括以下步骤：

4、第一步：扬声器播放声音后，标签感知到振动并通过天线回传标签信号给阅读器，阅读器将回传的标签信号和阅读器信号形成的混合信号传给后台设备并存储；

5、第二步：系统对混合信号进行预处理并提取振动特征调制信号差msd；

6、第三步：将调制信号差msd与麦克风识别到的音频信号相乘获得低频分量，对低频分量进行相干解调，获得语音段；

7、第四步：语音段输入到融合网络中，完成声音的恢复，得到清晰的声音信号。

8、上述的一种融合rfid和音频信号的多模态语音系统，第二步中提取振动特征调制信号差msd的具体过程为：利用滑动窗口来计算混合信号的方差，据此分离得到标签信号；得到标签信号后，进一步从标签信号中提取srx,0和srx,1，提取过程在标签on状态和off状态下进行，标签在on状态下提取的信号为srx,0，标签在off状态下提取的信号为srx,1，最后根据公式计算调制信号差msd：msd＝△式中stx为阅读器发射天线发送的连续信号，hd为阅读器和标签之间的距离引起的信号衰减，h1为标签的调制增益。

9、上述的一种融合rfid和音频信号的多模态语音系统，基于c1g2协议随机化标签响应机制，特别是，随机设置每个查询query周期的帧大小，并让标签随机重新传输epc命令，这样显著降低周期性命令带来的噪声。

10、上述的一种融合rfid和音频信号的多模态语音系统，用放大的调制信号差msd替换常规的调制信号差msd，放大的调制信号差msd的计算公式为：

11、上述的一种融合rfid和音频信号的多模态语音系统，采用截止频率80hz的高通巴特沃斯滤波器来过滤调制信号差msd中的运动干扰，消除低频噪声。

12、上述的一种融合rfid和音频信号的多模态语音系统，标签粘贴在扬声器附近的物体上，将其放置在阅读器和扬声器之间，减少多径效应影响，减少信号受到其他物体阻碍。

13、本发明提供了一种融合rfid和音频信号的多模态语音系统，本系统采用非接触的设计，实现了较远距离语音信号恢复的可能性，提高了该系统的语音恢复性能以及应用范围。当需要进行语音恢复工作时，只需要将语音的信号特征输入该系统，即可完成交互，解决了现有语音恢复系统传感范围距离短，语音恢复性能差的问题。

技术特征：

1.一种融合rfid和音频信号的多模态语音系统，其特征在于：包括cots rfid标签、以usrp为基础的阅读器和以计算机为基础的用户数据存储和处理的后台设备，阅读器和后台设备通过网络端口号进行连接；

2.根据权利要求1所述的一种融合rfid和音频信号的多模态语音系统，其特征在于：第二步中提取振动特征调制信号差msd的具体过程为：利用滑动窗口来计算混合的方差，据此分离得到标签信号；得到标签信号后，进一步从标签信号中提取srx,0和srx,1，提取过程在标签on状态和off状态下进行，标签在on状态下提取的信号为srx,0，标签在off状态下提取的信号为srx,1，最后根据公式计算调制信号差msd：式中stx为阅读器发射天线发送的连续信号，hd为阅读器和标签之间的距离引起的信号衰减，h1为标签的调制增益。

3.根据权利要求2所述的一种融合rfid和音频信号的多模态语音系统，其特征在于：基于c1g2协议随机化标签响应机制，特别是，随机设置每个查询query周期的帧大小，并让标签随机重新传输epc命令，这样显著降低周期性命令带来的噪声。

4.根据权利要求2或3所述的一种融合rfid和音频信号的多模态语音系统，其特征在于：用放大的调制信号差msd替换常规的调制信号差msd，放大的调制信号差msd的计算公式为：

5.根据权利要求2或3所述的一种融合rfid和音频信号的多模态语音系统，其特征在于：采用截止频率80hz的高通巴特沃斯滤波器来过滤调制信号差msd中的运动干扰，消除低频噪声。

6.根据权利要求2或3所述的一种融合rfid和音频信号的多模态语音系统，其特征在于：标签粘贴在扬声器附近的物体上，将其放置在阅读器和扬声器之间。

技术总结本发明涉及多模态信号融合和语音恢复系统，具体为一种融合RFID和音频信号的多模态语音系统。该系统包括标签，以USRP为基础的阅读器，以计算机为基础的用户数据存储和处理的后台设备，阅读器和后台设备通过网络端口号进行连接。本发明提供了一套基于RFID标签的多模态语音系统，本系统采用非接触的设计，实现了较远距离语音信号恢复的可能性，提高了该系统的语音恢复性能，当需要进行语音恢复工作时，只需要将语音的信号特征输入该系统，即可完成交互。技术研发人员：朱飑凯,李璐,陈云云,郭瑞泽,任美齐,曲鹏昊,王仲豪,韩佩瑶,李峰,刘三满受保护的技术使用者：山西警察学院技术研发日：技术公布日：2024/6/11