基于物联网数据万能协议转换采集器的协议转换方法与流程

本发明涉及物联网通信的，尤其涉及一种基于物联网数据万能协议转换采集器的协议转换方法。

背景技术：

1、随着物联网技术的飞速发展，各类智能设备和传感器的普及使得数据量呈现爆炸式增长，这些设备和传感器往往采用不同的数据协议进行通信，导致数据格式多样且不兼容，给数据的收集、整合和分析带来了极大的挑战。

2、传统的数据协议转换方法主要依赖于手工设计的规则和转换逻辑，这些方法通常需要针对每种新的数据协议编写特定的转换代码，开发周期长且难以适应不断变化的协议格式；此外，由于物联网设备种类繁多，协议之间的差异性大，手工编写的转换规则往往难以做到全面覆盖，导致转换效果不佳。

3、近年来，随着深度学习技术的不断发展，基于深度神经网络的数据协议转换方法逐渐受到关注，这类方法通过学习大量已知协议的样本数据，自动挖掘出协议之间的内在联系和规律，从而实现对新协议的自动识别和转换；相比于传统方法，基于深度学习的方法具有更强的自适应能力和泛化能力，能够显著提高数据协议转换的准确率和效率。

4、然而，现有的基于深度学习的数据协议转换方法仍存在一些问题，首先，这些方法通常需要大量的标注样本进行训练，而获取大规模标注样本是一项耗时耗力的工作；其次，深度学习模型通常需要较高的计算资源进行训练和推理，对于资源受限的物联网边缘节点来说是一个巨大的挑战；最后，现有的方法往往只关注协议转换的准确性，而忽视了转换过程中的实时性和鲁棒性等方面的要求。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明解决的技术问题是：现有物联网数据协议转换技术存在标注样本获取困难、计算资源消耗大以及忽视实时性和鲁棒性的问题。

4、为解决上述技术问题，本发明提供如下技术方案：采集物联网中海量的数据协议进行数据预处理，形成样本数据集；

5、将所述样本数据集输入基于深度神经网络构建的特征提取模型中进行学习训练，训练结束后，所述特征提取模型能够自适应提取协议特征；

6、在物联网边缘节点上部署轻量级的协议转换任务和提取的所述协议特征，通过边缘节点之间的协同处理完成协议转换。

7、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述数据协议的类型包括但不限于工业协议、家庭自动化协议和通用物联网协议。

8、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述数据预处理，包括：

9、清洗所述数据协议中的重复值、缺失值、异常值；

10、将清洗后的所述数据协议的数据转换为统一格式，并统一时间戳格式，其中，所述统一格式包括但不限于json格式、csv格式；

11、再对所述数据协议标注类型标签，所述类型标签包括但不限于工业协议类标签、家庭自动化协议类标签和通用物联网协议类标签。

12、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，将预处理后的所述数据协议的数据封装成适合特征提取模型输入的格式，汇总封装好的数据在一个集合中，得到所述样本数据集；

13、其中，所述格式包括但不限于tensorflow、pytorch所需格式。

14、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述学习训练，包括：

15、所述样本数据集通过输入层输入所述特征提取模型中进行参数训练；

16、利用adam优化算法调整深度学习神经网络权重；

17、直至调整的网络结构满足设定要求时，结束训练；

18、其中，所述网络结构包括但不限于输入层、卷积层、池化层、全连接层和输出层，所述设定要求包括但不限于所述特征提取模型的输出为非负实数。

19、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述特征提取模型可通过下式进行表示：

20、

21、

22、其中，表示特征提取的结果函数，其取值为非负实数，表示信息过滤函数，为均值，为标准差，d、c、k、a是模型训练过程中通过优化算法学习得到的参数，用于调整模型对数据特征的敏感度和响应阈值，表示从物联网设备中采集的原始数据点，即数据协议，是一个线性整流函数，用于增加模型的非线性特征的提取能力，是一个指数级的衰减函数，用于增强模型对协议特征的敏感度，是一个逻辑斯蒂分布函数，用于筛选优化协议特征。

23、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述协议特征包括但不限于协议字段特征、通信行为特征和异常模式特征。

24、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述协同处理，通过消息协议在节点间建立稳定的消息传递机制，支持异步通信和数据传输，并根据节点的网络状态动态分配协议转换任务，完成负载均衡。

25、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述方法通过应用于协议转换采集器实现，所述采集器包括多协议通信模块、存储单元和接口模块、协议解析模块、协议转换模块、数据处理模块和系统管理模块，其中：

26、所述多协议通信模块，用于支持mqtt、coap、http、lora的通信协议；

27、所述存储单元，用于数据缓存和日志记录；

28、所述接口模块，用于提供与外部设备的连接接口；

29、所述协议解析模块，用于负责接收和解析不同协议的数据；

30、所述协议转换模块，用于将解析后的数据转换为统一格式；

31、所述数据处理模块，用于进行数据过滤、聚合、解析、协议转换和传输；

32、所述系统管理模块，用于提供设备配置、状态监控和日志管理。

33、作为本发明所述的基于物联网数据万能协议转换采集器的协议转换方法的一种优选方案，所述采集器接收来自不同设备的数据，通过所述协议解析模块进行解析，再由所述协议转换模块将数据转换为统一格式，通过所述数据处理模块进行处理和传输；

34、其中，所述协议转换模块内部署所述协议转换方法的应用程序，以实现对数据协议的转换。

35、本发明的有益效果：

36、1、通过采集物联网中海量的数据协议并进行数据预处理，实现了对不同协议格式的统一整理和标准化处理，形成了用于训练的高质量样本数据集，为后续的特征学习提供了丰富且多样化的数据基础，确保了特征提取模型能够学习到各类型协议的共性和特性，从而提高了模型的泛化能力和适应性；

37、2、利用深度学习的强大能力自动挖掘数据中的深层次特征，从而提高了协议转换的准确度和效率；

38、3、利用边缘计算的优势，将协议转换任务下沉到网络边缘，从而降低了数据传输延迟，减少了中心服务器的计算负担，并提高了系统的可扩展性和鲁棒性。