一种电子商务数据库数据页预读方法及系统与流程

本发明涉及电子商务领域，具体为一种电子商务数据库数据页预读方法及系统。

背景技术：

1、电子商务正在改变人们的生活方式，从购物到支付再到物流，所有环节都在变得更加便捷和高效。消费者可以随时随地浏览和购买全球商品，无需受限于实体店的营业时间和地理位置。电子商务平台涉及海量的商品信息、用户数据、订单记录、交易历史等，这些数据需要高效、安全地存储和管理。数据库系统为这些数据提供了结构化的存储方案，确保数据的完整性、一致性和高可用性。电子商务平台的流量和数据量随着业务增长而不断增加，数据库需要具备良好的高并发处理能力，以支持成千上万用户的同时访问和操作。

2、数据页预读技术能够在用户实际发出请求之前，将可能需要的数据提前加载到内存中，不仅可以减少因频繁磁盘访问导致的瓶颈，而且减少了数据库在高并发访问下的i/o操作次数，网站能够在短时间内响应更多的用户请求，优化整体查询性能。但是现有的预读方式存在过度预读、错误预读等，这都降低了预读技术在数据库中的实际效果。

技术实现思路

1、为了解决上述问题，本发明提供了一种电子商务数据库数据页预读方法，所述方法包括以下步骤：

2、获取对数据页所属数据表中所有数据页的访问记录，找到包含对数据页访问的会话，基于会话中的访问记录确定数据页所属的访问模式，根据访问模式和对数据页所属数据表的访问频次确定要预读的数据页并加入到预读列表中；

3、当满足预设条件时，从所述访问记录中找到包含对所述要预读的数据页进行访问的会话，在所述会话中找到和所述要预读的数据页最相关的数据页并加入到预读列表中；

4、根据预读列表中数据页的来源确定将预读数据页预读到缓冲池的位置。

5、优选地，所述基于会话中的访问记录确定数据页所属的访问模式，具体为：

6、提取所述会话中以所述数据页为起点的预设范围内数据页访问记录，基于所述预设范围内数据页访问记录确定每个会话中所述数据页的访问方式，所述访问方式包括顺序访问、随机访问；

7、对所有包含所述数据页的会话中的每一个会话确定一种访问方式，计算顺序访问出现的概率，基于所述概率确定数据页所属的访问模式，所述访问模式包括顺序模式、随机模式、混合模式。

8、优选地，所述根据访问模式和对数据页所属数据表的访问频次确定要预读的数据页并加入到预读列表中，具体为：

9、基于对数据页所属数据表的访问频次确定预设个数；

10、若访问模式为顺序模式，则按照数据页的编号从数据页的后续数据页中确定预设个数的数据页作为要预读的数据页并加入到预读列表中；

11、若访问模式为随机模式，则获取包含对所述数据页访问的所有会话，统计所有会话中所述数据页接下来访问的每个数据页的概率，按照所述概率从大到小的顺序确定预设个数的数据页作为要预读的数据页并加入到预读列表中；

12、若访问模式为混合模式，则获取包含对所述数据页访问的所有会话中，对数据页访问方式为顺序访问和随机访问的比值，根据所述比值和所述预设个数确定第一值和第二值，按照访问模式为顺序模式确定第一值个数的数据页并加入到预读列表中，并按照随机模式确定第二值个数的数据页并加入到预读列表中。

13、优选地，所述在所述会话中找到和所述要预读的数据页最相关的数据页并加入到预读列表中，具体为：

14、统计会话中对所述要预读的数据页访问后下一个访问的数据页的概率，将概率最大的下一个访问的数据页作为所述要预读的数据页最相关的数据页并加入到预读列表中。

15、优选地，所述根据预读列表中数据页的来源确定将预读数据页预读到缓冲池的位置，具体为：

16、按照预读列表中数据页的来源对数据页赋予不同权重，按照所述权重对历史访问频率进行加权，将加权后频率大于阈值的数据页预读到young区，否则将数据页预读到old区。

17、此外，本发明还提供了一种电子商务数据库数据页预读系统，所述系统包括以下模块：

18、第一预读数据页确定模块，用于获取对数据页所属数据表中所有数据页的访问记录，找到包含对数据页访问的会话，基于会话中的访问记录确定数据页所属的访问模式，根据访问模式和对数据页所属数据表的访问频次确定要预读的数据页并加入到预读列表中；

19、第二预读数据页确定模块，用于当满足预设条件时，从所述访问记录中找到包含对所述要预读的数据页进行访问的会话，在所述会话中找到和所述要预读的数据页最相关的数据页并加入到预读列表中；

20、预读模块，用于根据预读列表中数据页的来源确定将预读数据页预读到缓冲池的位置。

21、优选地，所述基于会话中的访问记录确定数据页所属的访问模式，具体为：

22、提取所述会话中以所述数据页为起点的预设范围内数据页访问记录，基于所述预设范围内数据页访问记录确定每个会话中所述数据页的访问方式，所述访问方式包括顺序访问、随机访问；

23、对所有包含所述数据页的会话中的每一个会话确定一种访问方式，计算顺序访问出现的概率，基于所述概率确定数据页所属的访问模式，所述访问模式包括顺序模式、随机模式、混合模式。

24、优选地，所述根据访问模式和对数据页所属数据表的访问频次确定要预读的数据页并加入到预读列表中，具体为：

25、基于对数据页所属数据表的访问频次确定预设个数；

26、若访问模式为顺序模式，则按照数据页的编号从数据页的后续数据页中确定预设个数的数据页作为要预读的数据页并加入到预读列表中；

27、若访问模式为随机模式，则获取包含对所述数据页访问的所有会话，统计所有会话中所述数据页接下来访问的每个数据页的概率，按照所述概率从大到小的顺序确定预设个数的数据页作为要预读的数据页并加入到预读列表中；

28、若访问模式为混合模式，则获取包含对所述数据页访问的所有会话中，对数据页访问方式为顺序访问和随机访问的比值，根据所述比值和所述预设个数确定第一值和第二值，按照访问模式为顺序模式确定第一值个数的数据页并加入到预读列表中，并按照随机模式确定第二值个数的数据页并加入到预读列表中。

29、优选地，所述在所述会话中找到和所述要预读的数据页最相关的数据页并加入到预读列表中，具体为：

30、统计会话中对所述要预读的数据页访问后下一个访问的数据页的概率，将概率最大的下一个访问的数据页作为所述要预读的数据页最相关的数据页并加入到预读列表中。

31、优选地，所述根据预读列表中数据页的来源确定将预读数据页预读到缓冲池的位置，具体为：

32、按照预读列表中数据页的来源对数据页赋予不同权重，按照所述权重对历史访问频率进行加权，将加权后频率大于阈值的数据页预读到young区，否则将数据页预读到old区。

33、最后，本发明还提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

34、针对电子商务网站用户比较分散，数据库预读容易产生过度预读或者错误预读的问题，本发明基于会话中的访问记录确定数据页所属的访问模式，并根据访问模式和对数据页所属数据表的访问频次确定要预读的数据页并加入到预读列表中；而且在满足预设条件时，进一步将预读列表中的数据页相关的数据页加入到预读列表中，此外，还根据预读列表中数据页来源确定预读到缓冲池的位置。不仅提高了预读的准确性，而且能够提高数据库的速度，在电子商务大数据量访问时，显著提高电子商务网站的性能。