基于基频电磁侧信道的音频信息感知方法、电子设备及介质

本发明属于侧信道利用与信息感知领域，特别是涉及一种基于基频电磁侧信道的音频信息感知方法、电子设备及介质。

背景技术：

1、目前，基于侧信道对移动设备音频信息进行感知的方法主要分为两类，一种是利用移动设备内部移动传感器感知扬声器处振动信号的方法，一种是利用外部信号源主动探测音源位置振动信号的方法。然而，这些方法应用于现实中的感知场景时，常面临着应用局限性大、实现效果不佳、可操作难度大等问题。例如，第一类基于移动传感器(加速度计、陀螺仪)的方法常受限于采样率低所导致的语音频率信息获取不完整的问题从而在根本上影响语音信号感知的正确性。第二类应用高频信号(wifi、lidar)在设备外部进行探测的方法因容易受到环境中固有干扰因素(障碍物阻隔、人为走动)影响而无法适用于非理想环境下的信号感知。

2、因此，以上感知方法难以适用于实际中复杂多变的现实场景，且因受限于技术原理，此类基于振动信号的侧信道感知方法需要依靠基于数据的训练模型得到语义识别结果，存在着计算资源消耗大、部署成本高等问题。所以，当前需要探索研究新的感知方法，实现低成本、操作便捷、环境适应性强、实现效果理想的音频信息感知技术。

3、近年来，有关电子设备电磁信号的研究与应用发展迅速。电磁信号作为电子设备工作时所产生的副产物，其中蕴含着与设备工作状态高度相关的有用信息，因此常作为一种有效的信息感知侧信道而被加以利用。然而，基于电磁侧信道进行音频信息感知的工作鲜少有研究涉及。目前相关研究揭示可通过接收并解耦高频电磁信号(mhz以上)从中提取设备的音频信息。但是，此方案所涉及的耦合现象仅存在于某些结构特殊的设备中，因此不适用于实际场景中广泛应用的移动设备，并且信号的解耦过程涉及一系列复杂的信号变换，极大地增加了语义信息分析环节的计算开销以及难度。因此，通过接收与音频信息直接相关联的基频电磁信号(0-4khz)从而不依赖于高频耦合来进行音频信息感知的方法成为当前首要考虑的一种方案。但是，目前市面上并无能接收基频电磁信号的可用设备，并且如何将潜在富含音频信息的基频电磁信号进行语义转换成为当前亟需解决的关键问题。

技术实现思路

1、本发明的目的是针对现有技术不足，提供了一种基于基频电磁侧信道的音频感知方法、电子设备及介质，针对基频电磁信号特征设计不依赖于数据训练的音频提取方法，可以实现侧信道信息利用场景下的音频信息感知，本发明的方法适应度高。

2、为了实现上述目的，本发明所采用的技术方案是：

3、一种基于基频电磁侧信道的音频信息感知方法，包括以下步骤：

4、s1：采集移动设备音频系统的基频电磁信号；

5、s2：对基频电磁信号进行预处理，去除基频电磁信号中固定频率的环境噪声信号；

6、s3：使用小波变换方法去除s2处理后基频电磁信号中非稳态的环境噪声信号；

7、s4：使用聚类算法提取s3处理后基频电磁信号中的音频信号，去除音频信号中基于器件特性所引起的信号失真部分；

8、s5：将经步骤s4处理后得到的音频信号转换为音频文件。

9、本发明利用移动设备音频电路本身辐射的基频电磁信号进行音频信息感知，基频电磁信号具有与原始音频信号同根同源的特性，基频电磁信号中天然蕴含完整丰富的语音信息，与已有侧信道感知方法相比，本发明在不需要复杂、昂贵的感知装置情况下，可以稳定地实现高精确度的语音感知；使用基于聚类的策略从电磁信号中提取语音特征进行音频信号恢复，可避免已有侧信道感知技术中所依赖执行的数据预训练环节，可以实现侧信道信息利用场景下的音频信号感知，本发明的方法适应度高。

10、进一步地，步骤s3的具体实现过程包括：

11、a1：将s2处理后得到的基频电磁信号分解为信号低频成分和信号高频成分；

12、a2：对信号低频成分进行小波变换，得到近似系数，对信号高频成分进行小波变换，得到细节系数；

13、a3：对细节系数进行滤波处理，去除非稳态的环境噪声信号；

14、a4：使用逆小波变换将近似系数和去噪后的细节系数还原为时域值，得到去除非稳态的环境噪声信号后的基频电磁信号。

15、经过s3处理后，基频电磁信号中包含的非稳态环境噪声已被大量消除。

16、进一步地，步骤s4的具体实现过程包括：

17、(1)从s3处理后得到的基频电磁信号的频谱图sd中的点p0(t0,f0，a0)开始，筛选点p0(t0,f0,a0)在预定义距离dp内的所有相邻点，当相邻点的数量大于或等于预定义的数量np时，将p0(t0,f0,a0)及p0(t0,f0,a0)的相邻点创建为一个新的聚类c0，其中a0表示时间t0、频率f0时s3处理后得到的基频电磁信号的幅值；

18、(2)以点p′(t′,f′,a′)∈c0为新的起点，筛选点p′(t′,f′,a′)在预定义距离dp内的所有相邻点，当相邻点的数量大于或等于预定义的数量np时，将p′(t′,f′,a′)的相邻点合并到聚类c0，以扩展c0，其中a′表示时间t′、频率f′时s3处理后得到的基频电磁信号的幅值；

19、(3)对扩展后的聚类内的其他点，重复步骤(2)，继续扩展该聚类，当预定义距离dp内的所有点都合并到扩展后的聚类中，则当前聚类完成，得到最终的聚类；

20、(4)将sd中剩余点继续重复步骤(1)～(3)，形成新的聚类cn，直到sd中所有点都被处理，生成信号集群c＝{c0,…cn,…cn}；

21、(5)计算每个聚类cn的点pi(ti,fi,ai)的平均振幅pi(ti,fi,ai)∈cn,ai表示时间ti、频率fi时s3处理后得到的基频电磁信号的幅值；

22、(6)提取平均振幅avgn大于或等于γamax的聚类，组成新的信号集群{c0,…cd,…cd}，此新的信号集群{c0,…cd,…cd}为音频信号，其中γ是系数，1≥γ≥0，amax为集群c中各点幅值的最大值。

23、经过s4处理后，基频电磁信号中的语音频率成分已被完全提取，可直接转化为音频文件进行机器语义识别。本发明使用基于聚类的策略从基频电磁信号中提取语音特征进行音频信号恢复，可避免已有侧信道感知技术中所依赖执行的数据预训练环节，实现了侧信道信息利用场景下的音频信号感知。

24、基于同一构思，本发明提供了一种电子设备，包括：

25、一个或多个处理器；

26、存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现基于基频电磁侧信道的音频信息感知方法的步骤。

27、基于同一构思，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现基于基频电磁侧信道的音频信息感知方法的步骤。

28、相比于现有技术，本发明的有益效果：

29、(1)本发明利用移动设备音频电路本身辐射的基频电磁信号进行音频信息感知，与已有侧信道感知方法相比，在不需要复杂、昂贵的感知装置情况下，可以稳定地实现高精确度的语音感知，面对大规模应用需求时可大幅降低设备部署的成本。

30、(2)本发明通过利用电磁信号穿透性强、空间辐射角度不受限的特点，可使感知技术易用于多个现实感知场景，适应度高，成本低。

31、(3)本发明使用基于聚类的策略从电磁信号中提取语音特征进行音频信号恢复，可避免已有侧信道感知技术中所依赖执行的数据预训练环节，实现了侧信道信息利用场景下的音频信号感知。