一种基于数据科学的智能物联网数据处理系统及方法

本发明属于应用于智能物联网数据处理，具体而言，涉及一种基于数据科学的智能物联网数据处理系统及方法。

背景技术：

1、随着物联网设备的普及和应用范围的扩大，产生的数据量呈指数级增长，传统的数据处理和分析方法已经难以应对如此庞大的数据量；

2、物联网涉及到多种类型的数据，包括结构化数据、半结构化数据和非结构化数据，如传感器数据、图像数据、文本数据等；传统的数据处理系统无法充分利用这些多样化的数据；某些物联网应用需要实时获取和处理数据，如智能监控系统、智能交通系统等，传统的数据处理方法无法满足这种实时性要求；随着物联网应用的增加，涉及到的数据安全和隐私问题日益突出,传统的数据处理系统存在安全漏洞，导致数据泄露或被篡改的风险；

3、因此引入基于数据科学的系统整合多种数据处理技术，包括机器学习、深度学习、自然语言处理等，以更全面地分析和理解多样化的数据类型；它利用实时数据处理技术，实现对数据的快速处理和响应，以满足实时性要求，并整合安全性和隐私保护的技术，包括数据加密、访问控制、身份认证等，以确保数据的安全性和隐私性，能够利用先进的数据处理技术和算法，快速高效地处理大规模数据，从而应对数据量巨大的挑战。

技术实现思路

1、本发明是基于上述技术问题，针对的智能物联网数据处理提出的一种基于数据科学的智能物联网数据处理系统及方法；不仅安全实时处理大规模数据，而且更全面地分析和理解多样化的数据类型。

2、本发明是这样实现的：

3、本发明的提出一种基于数据科学的智能物联网数据处理系统及方法，该方法应用了物联网传感器、数据科学物联网数据分析平台、调整模块、物联网交互屏幕和物联网数据库；其特征在于，所述方法包括以下步骤：

4、步骤1:物联网传感器实时数据传送到数据科学物联网数据分析平台；

5、步骤2：根据数据科学物联网数据分析平台对上传的数据进行处理及分析，并把数据结果发送到调整模块；

6、步骤3：调整模块根据数据结果进行设备调整；

7、步骤4:物联网交互屏幕随人员需要实时查看设备数据；

8、步骤5：物联网数据库对涉及的数据进行保存及更新。

9、根据本发明方面的一种能够实现的方式，所述步骤1中物联网传感器实时数据传送到数据科学物联网数据分析平台具体操作方法包括：

10、物联网传感器包括智能灯光、智能交通和智能导航等；对物联网传感器内容标记其中β＝0，1,2,...,p；p为正整数，表示物联网传感器内容中β可取值的最大值。

11、根据本发明方面的一种能够实现的方式，所述步骤2根据数据科学物联网数据分析平台对上传的数据进行处理及分析，并把数据结果发送到调整模块操作方法包括：

12、由于物联网生产海量数据，处理数据不能仅依靠单一模型；因此，需引入数据科学融合多模型和应用集成技术解决物联网激进预测问题；

13、基于数据科学物联网数据分析平台处理数据步骤

14、step1：通过各种传感器实时采集物联网设备生成的数据；去除重复数据、处理缺失值、处理异常值等，以确保数据质量；将数据转换为时间序列数据；

15、step2：构建多模型包括回归模型、分类模型、聚类模型、深度学习模型等；使用历史数据和输入实时数据对选定多个模型进行训练，并进行自定义参数调优；使用交叉验证等方法评估模型预测样本效果；

16、step3：基于投票方法和加权投票方法对多个模型预测样本进行集成处理；

17、投票方法：

18、对于一个二分类或多分类识别问题，在物联网中的表现方面在异常检测、目标识别和健康检测等；假设有m个模型，每个模型可以预测为k个不同的类别；对于第j个样本，第i个模型的预测结果表示为yi(j)，其中i＝1,2,...,m，j＝1,2,...,n，n为样本数量；投票方法的预测结果表示为yv(j)；

19、投票方法数学公式为：

20、

21、其中，1{}是示性函数，当括号中的条件成立时取值为1，否则为0；k表示分类的类别；预测结果yv(j)即为对第j个样本的投票结果，是m个模型中预测结果中出现次数最多的类别；对于投票方法，最终的预测结果是通过多数投票产生的，即被预测为得票数最多的类别；

22、加权投票方法：

23、假设有m个基本模型，每个模型可以预测为k个不同的类别；令wi表示第i个模型的权重，yi(j)表示第i模型对第j个样本的预测结果，那么加权投票方法的预测结yw(j)可以表示为：

24、

25、其中,k表示分类的类别,预测结果yw(j)即为对第j个样本的加权投票结果，是m个模型中预测结果加权和最大的类别；对于加权投票方法，每个基本模型的预测结果根据其表现的优劣进行加权，然后加权和最大的类别作为最终预测结果；若投票方法和加权投票方法最终预测结果存在冲突时，以投票方法为准。

26、根据本发明方面的一种能够实现的方式，所述步骤3中调整模块根据数据结果进行设备调整操作方法包括：

27、多个模型设置二分类和多分类标签分别为0、1和0、1、2...n；n是正整数；多个模型预测出结果后，调整模块根据识别出的结果和模块中自定义设置的触动机制进行调整反应。

28、根据本发明方面的一种能够实现的方式，所述步骤4中物联网交互屏幕随人员需要实时查看设备数据具体操作方法包括：

29、物联网交互屏幕这是一种设备，通常是一个显示屏或终端，具有交互界面和连接物联网的能力；它用来显示数据、接收用户输入，并与物联网中的设备或系统进行通信和控制；屏幕的显示内容根据人员的实时需求或特定的操作场景进行调整；屏幕上显示的数据和功能是根据当前人员的要求或操作目的进行动态变化的，随时查看当前物联网设备中的数据信息；屏幕实时显示物联网设备的数据，这些数据包括设备的状态、性能指标和传感器数据等；对物联网设备中的数据信息内容标记为us，其中s＝0，1,2,...,l；l为正整数，表示物联网设备中的数据信息内容s可取值的最大值；通过屏幕上的显示，人员随时监测设备的运行情况，并及时采取相应的措施。

30、根据本发明方面的一种能够实现的方式，所述步骤5中物联网数据库对涉及的数据进行保存及更新具体操作方法包括：

31、物联网数据库一个专门用于存储物联网系统中产生的各种数据的数据库；物联网数据库包括关系型数据库、nosql数据库或时序数据库等不同类型的数据库，根据实际需求选择；物联网数据库负责将涉及到的数据保存起来，这些数据包括设备传感器采集的实时数据、设备状态信息、用户操作记录、报警信息等；物联网系统运行过程中，数据会不断发生变化，因此数据库需要及时更新保存的数据，以确保数据库中的数据是最新的，更新数据涉及到新增数据、修改数据、删除数据等操作。

32、一种云端系统，根据数据科学物联网数据分析平台对上传的数据进行处理及分析，并把数据结果发送到调整模块；通过云端计算及分析对智能物联网数据处理。

33、基于上述任一方面，本发明的有益效果为：

34、1.本发明物联网传感器实时数据传送到数据科学物联网数据分析平台；根据数据科学物联网数据分析平台对上传的数据进行处理及分析，并把数据结果发送到调整模块；此方法一方面安全实时处理大规模数据；

35、2.本发明调整模块根据数据结果进行设备调整；物联网交互屏幕随人员需要实时查看设备数据；物联网数据库对涉及的数据进行保存及更新；此方法更全面地分析和理解多样化的数据类型。