一种根据冷热分区的订单增量表优化方法与流程

1.本发明涉及网约车领域，尤其涉及一种根据冷热分区的订单增量表优化方法。


背景技术：

2.随着网约车出行逐渐成为人们的日常，网约车平台的数据量也越来越多，每天有超过几百万的订单数据量需要处理。由于网约车平台仍有追溯历史数据的需要，所以历史数据并不会删除，越来越多的数据使得数据仓库每天都要面临巨大的荷载。
3.目前，订单以下单时间作为分区进行数据的存储，每个订单都有从开始下单到结束的整个状态，最高状态为60即订单取消，小于60分别是订单在取消前的各种过程，例如15为司机待服务、44是订单后付款等
……
。按下单时间存入分区后的订单记入当天分区，如果此时订单状态没有达到最高就按订单当时状态记录，例如当天24点截止订单状态为44。
4.另外，数据仓库中的数据只允许追加，不允许定点修改。市面上流行的数据仓库工具也无修改数据的功能，这也就使得订单状态如果改变就要将全部订单删除并且按分区进行重新导入所有的订单，此时得到最新的订单状态。而一般订单状态需要更改的订单每天只有几百单，而每天几百万的订单都需要因为这几百单订单进行全部删除并且重新导入更新状态后的订单。
5.现有技术中整个数据仓库面临着以下问题：1、历史数据的不断积累，订单量越来越多数据每天都需要对全量数据进行删除和重新导入，占用大量的io资源并且服务器每天都要面临超强压力；2、每次数据的全量更新都需要消耗很长的时间，一但中间数据产出出现问题整个下游数据就无法使用，造成业务的瘫痪；3、数据产出过程中必须需要人员的值班，也极大的挤压了工作人员的精力。


技术实现要素：

6.鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种根据冷热分区的订单增量表优化方法。
7.根据本发明的一个方面，提供了一种根据冷热分区的订单增量表优化方法，所述优化方法包括：
8.从业务数据库中获取全部订单；
9.根据所述全部订单的下单时间，根据下单时间作为分区依据进行时间分区，切成n个时间分区数据模块，每一天作为一个分区模块；n为天数；
10.在现有的时间分区下，判断当前订单是否达到最高状态，并按照状态划分为冷热区，如果是，所述当前订单被分配入冷区，否则，所述当前订单被分配入热区；获得订单分配结果；
11.将所述订单分配结果进行数据更新优化。
12.可选的，所述将所述订单分配结果进行数据更新优化具体包括：
13.定位到各订单的初始时间分区，更新各自分区下边的热区模块，冷区模块已经达
到最高状态，不再进行更新；
14.判断所述热区模块中的订单是否在更新时达到最高状态，如果是，订单进入初始分区中的冷区，否则，订单继续保持在热区模块中；
15.依次按照初始分区更新，直到更新完所有的分区数据；
16.次日更新时，依次更新每个初始分区下边的热区，并转移热区订单至冷区。
17.本发明提供的一种根据冷热分区的订单增量表优化方法，所述优化方法包括：从业务数据库中获取全部订单；根据所述全部订单的下单时间，根据下单时间作为分区依据进行时间分区，切成n个时间分区数据模块，每一天作为一个分区模块；n为天数；在现有的时间分区下，判断当前订单是否达到最高状态，并按照状态划分为冷热区，如果是，所述当前订单被分配入冷区，否则，所述当前订单被分配入热区；获得订单分配结果；将所述订单分配结果进行数据更新优化。通过对现有增量表分冷热区，减少了处理数据和更新数据的耗时和io的占用，降低了服务器的压力，保证每天数据能按时输出，从而也保证了下游数据使用的时效性，为业务提供良好的数据保证。
18.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
20.图1为本发明实施例提供的。
具体实施方式
21.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
22.本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
23.下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
24.如图1所示，一种根据冷热分区的订单增量表优化方法，所述优化方法包括：从业务数据库中获取全部订单；根据所述全部订单的下单时间，根据下单时间作为分区依据进行时间分区，切成n个时间分区数据模块，每一天作为一个分区模块；n为天数；
25.在现有的时间分区下，判断当前订单是否达到最高状态，并按照状态划分为冷热区，如果是，所述当前订单被分配入冷区，否则，所述当前订单被分配入热区；获得订单分配结果；将订单分配结果进行数据更新优化。
26.将订单分配结果进行数据更新优化具体包括：定位到各订单的初始时间分区，更
新各自分区下边的热区模块，冷区模块已经达到最高状态，不再进行更新；
27.判断热区模块中的订单是否在更新时达到最高状态，如果是，订单进入初始分区中的冷区，否则，订单继续保持在热区模块中；
28.依次按照初始分区更新，直到更新完所有的分区数据；
29.次日更新时，依次更新每个初始分区下边的热区，并转移热区订单至冷区。
30.通过冷热分区减少了对已经是最高状态订单的删除和导入，只删除和导入非最高订单状态的热区订单，得到最高状态后转移至冷区，避免了下次对数据的删除和导入，极大的降低了更新数据时大批量删除和导入占用的内存，和时间的消耗。具体冷热分区的增量表处理逻辑如图1所示。
31.有益效果：通过对现有增量表分冷热区，减少了处理数据和更新数据的耗时和io的占用，降低了服务器的压力，保证每天数据能按时输出，从而也保证了下游数据使用的时效性，为业务提供良好的数据保证。
32.通过添加冷热区分层，减少了冷区内最高状态数据的变动，也减少了在变动过程中数据发生异常现象的产生，维持了数据的稳定性。
33.只更新热区数据，大大提高了每次更新效率，数据更新过程更流畅较少服务器压力和报警，减少了人员的值班情况，使得员工有更好的精力完成工作。
34.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。