一种利用安全沙箱对数据湖数据进行存取的方法和系统与流程

技术特征：
1.一种利用安全沙箱对数据湖数据进行存取的方法，其特征在于，所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块；所述方法具体包括：向所述数据湖存储数据时：所述安全沙箱在接收到请求方发送的存储请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；若是，则将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，由所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并由所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；若否，则禁止对所述待存储的数据的存储进程，向所述请求方返回鉴权不通过的消息；从所述数据湖获取数据时：所述安全沙箱在接收到所述请求方发送的获取请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；若是，则将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并由所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；若否，则禁止所述请求方对所述数据湖中的数据进行访问，向所述请求方返回鉴权不通过的消息。2.根据权利要求1所述的一种利用安全沙箱对数据湖数据进行存取的方法，其特征在于，所述请求鉴权模块执行对所述存储请求的鉴权处理具体包括：校验所述存储请求中的存储应用方标识是否存在：若否，则返回鉴权不通过的消息；若是，则对所述存储应用方表示进行校验，判断所述存储应用方是否为被允许的应用：若否，则返回鉴权不通过的消息；若是，则通过对所述存储应用方标识的校验，进一步校验所述存储请求中的令牌信息是否合法：若否，则返回鉴权不通过的消息；若是，则通过所述鉴权处理。3.根据权利要求2所述的一种利用安全沙箱对数据湖数据进行存取的方法，其特征在于，所述格式转换模块对所述待存储的数据进行格式转换具体包括：调用所述格式转换模块中的结构化数据组件和非结构化数据组件；当所述待存储的数据为结构化数据时，利用所述结构化数据组件将所述待存储的数据转化为所述结构化数据组件包含的结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径；当所述待存储的数据为非结构化数据时，利用所述非结构化数据组件将所述待存储的数据转化为所述非结构化数据组件包含的非结构化模式，并进行加密存储，同时保存所述
存储应用方标识、所述加密存储的时间和路径。4.根据权利要求3所述的一种利用安全沙箱对数据湖数据进行获取的方法，其特征在于，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。5.根据权利要求4所述的一种利用安全沙箱对数据湖数据进行存取的方法，其特征在于，所述参数控制模块在获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。6.一种利用安全沙箱对数据湖数据进行存取的系统，其特征在于，所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块；所述系统具体包括：第一处理单元，被配置为，当向所述数据湖存储数据时：在检测到所述安全沙箱接收到请求方发送的存储请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；若是，则调用所述请求鉴权模块将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，调用所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并调用所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；若否，则禁止对所述待存储的数据的存储进程，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息；第二处理单元，被配置为，当从所述数据湖获取数据时：在检测到所述安全沙箱接收到所述请求方发送的获取请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；若是，则调用所述请求鉴权模块将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并调用所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；
若否，则禁止所述请求方对所述数据湖中的数据进行访问，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息。7.根据权利要求6所述的一种利用安全沙箱对数据湖数据进行存取的系统，其特征在于，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。8.根据权利要求7所述的一种利用安全沙箱对数据湖数据进行存取的系统，其特征在于，所述第二处理单元具体被配置为：在所述参数控制模块获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至5中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。

技术总结
本发明提出一种利用安全沙箱对数据湖数据进行存取的方法。所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块。数据落地模块和数据接口模块。数据落地模块和数据接口模块。


技术研发人员：谢少飞 董晓斌 喻波 王志海 安鹏
受保护的技术使用者：北京明朝万达科技股份有限公司
技术研发日：2022.03.01
技术公布日：2022/6/28