一种数据处理方法、装置、设备、存储介质及计算机程序产品与流程

本技术涉及数据处理，尤其涉及一种数据处理方法、装置、设备、存储介质及计算机程序产品。背景技术：：：1、随着互联网技术的飞速发展，互联网得到了广泛的应用。在互联网应用过程中，互联网产生了大量的交互数据和业务数据，如何对这些数据存储以便后续进行应用已成为热门的研究课题。目前常用的一种数据存储方法为采用键值(key-value，kv)数据库进行数据库，其可存储数据量较大，请通过关键词进行查找，保证了数据的查询效率。在实现kv存储时，kv都将key有序持久化存储在排序字符串表(sorted string table，sst)中。全闪架构的存储系统追求极致的性能，sst的存储方式当前已经严重影响整个系统的读性能，导致读取效率较低，如何提高sst的读性能成为当前亟需解决的技术问题。2、申请内容3、为解决上述技术问题，本技术期望提供一种数据处理方法、装置、设备、存储介质及计算机程序产品，解决了目前sst的存储方式严重影响了存储系统的读性能的问题，提出了一种针对sst的数据存储的方法，改进了数据的存储方式，以提高数据查询效率，保证了sst的读性能。4、本技术的技术方案是这样实现的：5、本技术提供一种数据处理方法，其特征在于，所述方法包括：6、确定待存储数据；7、采用排序字符串表sst存储方式以键-值形式存储所述待存储数据，得到所述待存储数据的目标数据块信息；8、基于所述目标数据块信息，生成查询扩展信息；其中，所述查询扩展信息用于实现对所述待存储数据的查询。9、上述方案中，所述基于所述目标数据块信息，生成查询扩展信息，包括：10、获取所述目标数据块信息中的每一条目entry信息、每一所述entry信息对应的重启点数组索引和重启点内的索引位置；11、对每一所述entry信息进行哈希处理，得到每一关键字的哈希值；12、确定每一关键字的哈希值、对应的所述重启点数组索引和所述重启点内的索引位置为对应的entry信息的扩展数据；13、基于所述目标数据块信息包括的全部entry信息的扩展数据，得到所述查询扩展信息。14、上述方案中，所述基于所述目标数据块信息包括的全部entry信息的扩展数据，得到所述查询扩展信息，包括：15、确定查询数据的预设查找方式；16、按照所述预设查找方式对应的排序方法对全部所述entry信息的扩展数据进行排序，得到所述查询扩展信息。17、上述方案中，所述基于所述目标数据块信息，生成查询扩展信息之后，所述方法还包括：18、若接收到关于所述待存储数据进行查询的查询请求，解析所述查询请求中包括的查询关键字；19、采用所述查询关键字，基于所述查询扩展信息执行查询操作得到查询结果。20、上述方案中，所述采用所述查询关键字，基于所述查询扩展信息执行查询操作得到查询结果，包括：21、采用预设查找方式在存储区域中进行查找，得到所述查询关键字所属的目标数据块信息；22、基于所述目标数据块信息，确定对应的所述查询扩展信息；23、采用所述预设查找方式，从所述查询扩展信息中查询所述查询关键字对应的数据内容，得到查询结果。24、上述方案中，所述基于所述目标数据块信息，确定对应的所述查询扩展信息，包括：25、基于所述目标数据块信息，确定目标过滤器；26、若通过所述目标过滤器查询到所述查询关键字，确定对应的所述查询扩展信息。27、上述方案中，所述采用所述预设查找方式，从所述查询扩展信息中查询所述查询关键字对应的数据内容，得到查询结果，包括：28、采用所述预设查找方式，从所述查询扩展信息中获取与所述查询关键字匹配的第一扩展数据；29、基于所述第一扩展数据中的重启点数组索引和重启点内的索引位置，确定得到对应的第一entry信息；30、若所述第一entry信息的关键字与所述查询关键字相同，确定所述查询结果为所述第一entry信息。31、上述方案中，所述方法还包括：32、若所述第一entry信息的关键字与所述查询关键字不同，从所述查询扩展信息中获取所述第一扩展数据相邻的下一个扩展数据，得到第二扩展数据；33、计算所述查询关键字的哈希值，得到查询哈希值；34、若所述查询哈希值与所述第二扩展数据中的关键字哈希值相同，基于所述第二扩展数据中的重启点数组索引和重启点内的索引位置，确定得到对应的第二entry信息；35、若所述第二entry信息的关键字与所述查询关键字相同，确定所述查询结果为所述第二entry信息；36、若所述第二entry信息的关键字与所述查询关键字不同，更新所述第一entry信息为所述第二entry信息，所述第一扩展数据为所述第二扩展数据后，重复执行步骤“从所述查询扩展信息中获取所述第一扩展数据相邻的下一个扩展数据，得到第二扩展数据”，直至确定得到所述查询关键字对应的第三entry信息，或者直至查询到所述查询扩展信息中的最后一个扩展数据中的关键字哈希值与所述查询哈希值不同，确定所述查询结果为未查询到所述查询关键字对应的entry信息。37、本技术提供一种数据处理装置，所述装置包括：确定单元、存储单元和生成单元；其中：38、所述确定单元，用于确定待存储数据；39、所述存储单元，用于采用排序字符串表sst存储方式以键-值形式存储所述待存储数据，得到所述待存储数据的目标数据块信息；40、所述生成单元，用于基于所述目标数据块信息，生成查询扩展信息；其中，所述查询扩展信息用于实现对所述待存储数据的查询。41、本技术提供一种数据处理设备，所述设备至少包括：存储器、处理器和通信总线；其中：42、所述存储器，用于存储可执行指令；43、所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；44、所述处理器，用于执行所述存储器中存储的数据处理程序，实现如上述任一项所述的数据处理方法的步骤。45、本技术提供一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被执行时用于实现如上述任一项所述的数据处理方法的步骤。46、本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述任一项所述的数据处理方法的步骤。47、本技术实施例提供了一种数据处理方法、装置、装置、存储介质及计算机程序产品，通过数据处理设备确定待存储数据后，采用sst存储方式以键-值形式存储待存储数据后，得到待存储数据的目标数据块信息，并基于目标数据块信息，生成查询扩展信息。这样，通过采用sst存储方式对待存储数据进行存储后，根据待存储数据的目标数据块信息，生成用于后续查询的查询扩展信息，解决了目前sst的存储方式严重影响了存储系统的读性能的问题，提出了一种针对sst的数据存储的方法，改进了数据的存储方式，以提高数据查询效率，保证了sst的读性能。技术实现思路当前第1页12当前第1页12