基于FPGA硬件的非结构化数据实时分类存储方法与流程

本发明涉及非结构化数据分类存储，具体涉及一种基于fpga硬件的非结构化数据实时分类存储方法。

背景技术：

1、全球数据总量中八成以上的数据都是非结构化数据，大量的文档、图片等非结构化数据在企业内部各个终端内被存储、流转。

2、相关技术中，在对非结构化数据进行存储时，通常是采用统一的加密方式对待存储数据进行加密，无法满足所有数据的需求，泄密风险较高。

技术实现思路

1、本发明为解决上述技术问题，提供了一种基于fpga硬件的非结构化数据实时分类方法，先将待存储数据划分为不同的安全存储级别，然后根据安全存储级别采用不同的方式进行数据存储，从而能够满足所有数据的存储需求，大大降低了数据泄密风险。

2、本发明采用的技术方案如下：

3、一种基于fpga硬件的非结构化数据实时分类存储方法，fpga上设置有多核risc-v处理器，所述非结构化数据实时分类存储方法包括：在接收到企业用户发送的数据存储请求指令时，采用所述多核risc-v处理器对相应的待存储数据对应的数据源进行安全性验证，并在验证成功后，通过dma模块与fpga的pcie口进行通信，以接收所述待存储数据，其中，所述pcie口从外部设备接收所述待存储数据；通过所述多核risc-v处理器采用数据分类策略对所述待存储数据进行分类，以将所述待存储数据划分为不同的安全存储级别，并采用所述dma模块将不同安全存储级别的待存储数据存储至ddr器件中相应的地址空间中，其中，不同地址空间中数据的加密级别、访问权限和管理方式均不相同。

4、在本发明的一个实施例中，采用所述数据分类策略对所述待存储数据进行分类，以将所述待存储数据划分为不同的安全存储级别，包括以下步骤：获取所述外部设备中所述待存储数据的采集时间、所述待存储数据对应的采集者信息以及历史浏览记录；根据所述采集时间获取所述待存储数据的第一系数，并根据所述采集者信息获取所述待存储数据的第二系数，以及根据所述历史浏览记录获取所述待存储数据的第三系数；根据所述第一系数、所述第二系数和所述第三系数获取所述待存储数据的关键性系数；根据所述关键性系数将所述待存储数据划分为不同的安全存储级别。

5、在本发明的一个实施例中，根据所述采集时间采用以下公式计算所述第一系数：

6、

7、其中，m1为所述第一系数，t1为当前时刻，t2为所述采集时间，c1和d1是设定值。

8、在本发明的一个实施例中，根据所述采集者信息采用以下公式计算所述第二系数：

9、

10、其中，m2为所述第二系数，l1为采集者级别，k为大于1的设定值，c2为设定值。

11、在本发明的一个实施例中，根据所述历史浏览记录获取所述待存储数据的所述第三系数，包括：将所述采集时间到所述当前时刻之间的时间划分为多个时间范围，并对每个时间范围设置相应的第一比例因子；获取在每个时间范围的历史浏览频数；根据每个时间范围的所述第一比例因子和所述历史浏览频数通过以下公式计算所述第三系数：

12、

13、其中，m3为所述第三系数，α为调节系数，χi为第i个时间范围对应的第一比例因子，fi为第i个时间范围对应的历史浏览频数，n为划分的时间范围的个数。

14、在本发明的一个实施例中，所述历史浏览记录包括所述待存储数据的历史浏览频数，根据所述历史浏览记录通过以下公式获取所述待存储数据的所述第三系数：

15、m3＝c3*f，

16、其中，m3为所述第三系数，c3为设定值，f为所述待存储数据的历史浏览频数。

17、在本发明的一个实施例中，根据所述第一系数、所述第二系数和所述第三系数通过以下公式计算所述关键性系数：

18、m＝β1*m1+β2*m2+β3*m3，

19、其中，β1为所述第一系数对应的比例因子，β2为所述第二系数对应的比例因子，β3为所述第三系数对应的比例因子，m为所述关键性系数。

20、本发明的有益效果：

21、本发明先将待存储数据划分为不同的安全存储级别，然后根据安全存储级别采用不同的方式进行数据存储，从而能够满足所有数据的存储需求，大大降低了数据泄密风险。

技术特征：

1.一种基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，fpga上设置有多核risc-v处理器，所述非结构化数据实时分类存储方法包括：

2.根据权利要求1所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，采用所述数据分类策略对所述待存储数据进行分类，以将所述待存储数据划分为不同的安全存储级别，包括以下步骤：

3.根据权利要求2所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，根据所述采集时间采用以下公式计算所述第一系数：

4.根据权利要求3所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，根据所述采集者信息采用以下公式计算所述第二系数：

5.根据权利要求4所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，根据所述历史浏览记录获取所述待存储数据的所述第三系数，包括：

6.根据权利要求4所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，所述历史浏览记录包括所述待存储数据的历史浏览频数，根据所述历史浏览记录通过以下公式获取所述待存储数据的所述第三系数：

7.根据权利要求5或6所述的基于fpga硬件的非结构化数据实时分类存储方法，其特征在于，根据所述第一系数、所述第二系数和所述第三系数通过以下公式计算所述关键性系数：

技术总结本发明提供了一种基于FPGA硬件的非结构化数据实时分类存储方法，FPGA上设置有多核RISC‑V处理器，其中，实时分类存储方法包括：在接收到企业用户发送的数据存储请求指令时，采用多核RISC‑V处理器对相应的待存储数据对应的数据源进行安全性验证，并在验证成功后，通过DMA模块与FPGA的PCIE口进行通信，以接收待存储数据，其中，PCIE口从外部设备接收待存储数据；通过多核RISC‑V处理器采用数据分类策略对待存储数据进行分类，以将待存储数据划分为不同的安全存储级别，并采用DMA模块将不同安全存储级别的待存储数据存储至DDR器件中相应的地址空间中，其中，不同地址空间中数据的加密级别、访问权限和管理方式均不相同。由此，能够满足各数据的存储需求，降低了数据泄密风险。技术研发人员：黄圣超受保护的技术使用者：江苏大道云隐科技有限公司技术研发日：技术公布日：2024/8/27