一种基于深度生成学习网络的多模态室内定位方法和系统

本发明涉及室内定位，特别是一种基于深度生成学习网络的多模态室内定位方法和系统。

背景技术：

1、随着全球室内定位系统的不断完善，户外定位在多数情况下都可以实现较为精准的定位。人们可以利用gps，北斗，glonass等全球导航系统为自己提供服务。但它们因为信号穿透力不足在室内衰减严重致使定位精度极差，无法在室内使用。基于这一点，人们便开始了长达多年的室内定位研究。直到现在，室内定位服务依然有巨大的市场前景。相关报告指出，预计2022年至2027年，室内定位和导航市场的复合增长率将达到34.07％。

2、虽然市场潜力巨大，但室内环境比起室外的露天环境要复杂的多。对于室内定位的场景、环境和目标来说，则会因为不同定位条件的差异存在相当多的不确定性。为了实现精准可靠的室内定位，在过去的二十年内，各种无线电定位技术层出不穷。这些工作按照信号类型可以分为wifi、蓝牙、磁场、可见光、lora、超宽带、rfid、声学信号、视觉图像等。在众多的定位技术中，可以利用不同信号的指纹定位技术因其部署难度低而备受关注。指纹定位技术是一种使用信号作为指纹，利用相似度技术匹配位置的室内定位技术。磁场信号无处不在的特性使其成为磁场定位技术发展的催化剂。磁场数据较为稳定，不易随时间变化，利用磁场作为指纹定位的信号源不仅可以降低维护成本，而且一般来说可以提供比wifi指纹定位更高的精度。

3、随着室内定位技术的不断普及，隐私问题日益受到关注。由于敏感信息可能通过位置数据泄露，因此存在跟踪和监视的风险。定位技术的隐私保护具有两面性。一方面本地化服务(localization server,ls)可以根据用户上传的数据实时跟踪其位置，并可能将其分享给第三方；另一方面如果将数据库和算法发送给用户，允许用户自行计算位置，那么ls将失去隐私，并可能被针对性攻击和滥用。

4、室内定位技术发展到当前阶段，隐私和安全问题的增加是当前阻碍市场增长的主要挑战。现有的工作一般聚焦于提高室内定位的准确性、稳定性、持续性和可维护性。然而，相当一部分工作都在不加约束使用采集到的用户数据，这在一定程度上破坏了用户的隐私。位置隐私安全保护是很难实现的，目前没有理想的解决方案。数据加密手段会增大计算开销增加时间成本；数据扰动手段会降低定位精度；数据匿名手段容易被破解；使用中间件需要复杂的部署和实施。当前也存在复合使用不同的技术手段的数据保护工作，但数据保护技术并非能随意叠加的，这些工作依旧不能满足位置隐私保护的需求。

5、基于以上事实，亟待在维持甚至提高定位精度的同时兼顾位置隐私的保护。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于深度生成学习网络的多模态室内定位方法和系统。

2、为达到上述目的，本发明是按照以下技术方案实施的：

3、本发明的目的之一是要提供一种基于深度生成学习网络的多模态室内定位方法，包括：

4、s1、通过移动设备的磁力计、加速度计和陀螺仪采集方位、角速度和加速度序列数据；

5、s2、服务器获取移动设备采集的角速度和加速度序列数据并转化成二维指纹图像；

6、s3、服务器通过变分自编码器从二维指纹图像中提取序列特征向量；

7、首先，将二维指纹图像输入到vae模型中，vae由编码器和解码器两部分组成：编码器负责将输入的二维指纹图像映射到潜在空间中的潜在特征向量，编码器的输出包括潜在空间中的均值向量和方差向量；然后从编码器输出的均值和方差中采样一个潜在特征向量；最后，将采样得到的潜在特征向量输入到解码器中，解码器负责将潜在特征向量解码为原始的序列特征向量，这个序列特征向量用于后续的序列数据处理和分析；

8、s4、服务器将提取的序列特征向量与移动设备采集的指纹信息进行拼接作为移动设备的卷积神经网络的输入，移动设备通过卷积神经网络输出预测的位置结果，并将预测的位置结果传输至服务设备；

9、首先，用户通过移动设备请求位置信息，利用内置传感器采集实时的传感器数据，将其中位置弱相关的数据上传到服务器；其次，服务器接收用户提供的位置弱相关数据，利用特征提取器提取特征并返回给用户；然后，csloc系统利用深度生成网络结合磁场指纹和惯性数据，生成新的模态特征，从而实现高精度的室内定位，将原始传感器数据与服务端提供的特征进行拼接，作为位置预测器的输入。

10、进一步地，所述步骤s2具体包括：

11、服务器将角速度和加速度序列数据转换为递归图，递归图公式为：

12、

13、

14、其中：r代表递归图，是一个标准化的欧几里得误差矩阵；k代表递归图的第k维度；ls代表序列的长度；i和j代表序列中分别代表r中索引i和索引j处的数据；u和v则代表当前维度瞬时数据作差取最大差值时的索引。

15、进一步地，所述步骤s3中，将提取的序列特征的特征长度大小设置为6，并将其从1×6序列特征转换为2×3序列特征。

16、进一步地，所述步骤s4中，将生成的2×3序列特征与移动设备采集的陀螺仪采集方位、角速度和加速度序列数据拼接为大小为5×3的2维特征矩阵。

17、本发明的目的之二是要提供一种基于深度生成学习网络的多模态室内定位系统，包括：

18、移动设备，内置磁力计、加速度计和陀螺仪，用于采集方位、角速度和加速度序列数据；移动设备通过内置的卷积神经网络输出预测的位置结果；

19、服务器，与移动设备通过网络进行传输通信，用于通过内置的变分自编码器获取移动设备采集的角速度和加速度序列数据并转化成二维指纹图像，并从二维指纹图像中提取序列特征向量，然后将提取的序列特征向量与移动设备采集的指纹信息进行拼接作为移动设备的卷积神经网络的输入；

20、服务设备，与移动设备通过网络传输通信，用于接收移动设备预测的位置结果。

21、与现有技术相比，本发明具有以下有益效果：

22、本发明利用全局位置弱相关的加速计和陀螺仪数据，在云端实现位置特征向量生成，并在用户设备端实现与磁力计数据的准确全局位置估计；在确保亚米级定位精度前提下，充分利用加速计、陀螺仪的累积误差带来的不确定性防止位置隐私泄漏。

技术特征：

1.一种基于深度生成学习网络的多模态室内定位方法，其特征在于，包括：

2.根据权利要求1所述的基于深度生成学习网络的多模态室内定位方法，其特征在于，所述步骤s2具体包括：

3.根据权利要求1所述的基于深度生成学习网络的多模态室内定位方法，其特征在于，所述步骤s3中，将提取的序列特征的特征长度大小设置为6，并将其从1×6序列特征转换为2×3序列特征。

4.根据权利要求3所述的基于深度生成学习网络的多模态室内定位方法，其特征在于，所述步骤s4中，将生成的2×3序列特征与移动设备采集的陀螺仪采集方位、角速度和加速度序列数据拼接为大小为5×3的2维特征矩阵。

5.一种基于深度生成学习网络的多模态室内定位系统，其特征在于，包括：

技术总结本发明属于室内定位技术领域，具体公开了一种基于深度生成学习网络的多模态室内定位方法和系统，该系统包括移动设备、服务器和服务设备；通过移动设备的磁力计、加速度计和陀螺仪采集方位、角速度和加速度序列数据；在服务器中转化成二维指纹图像并从二维指纹图像中提取序列特征向量，然后将提取的序列特征向量与移动设备采集的指纹信息进行拼接作为移动设备的卷积神经网络的输入，移动设备通过卷积神经网络输出预测的位置结果。本发明利用全局位置弱相关的加速计和陀螺仪数据，在云端实现位置特征向量生成，并在用户设备端实现与磁力计数据的准确全局位置估计；在确保亚米级定位精度前提下，防止位置隐私泄漏。技术研发人员：王林,徐荣楠,荆楠,于家新,王家淇受保护的技术使用者：燕山大学技术研发日：技术公布日：2024/7/25