一种集装箱码头集装箱的箱位指派方法、系统及计算机程序与流程

本发明涉及集装箱码头自动化，尤其涉及一种集装箱码头集装箱的箱位指派方法。

背景技术：

1、随着船舶大型化和集装箱吞吐量的不断增长，对堆场资源的需求日益增加，对资源利用率和装卸效率的提升日益迫切。集装箱的箱位分配是堆场决策的关键问题，优秀的集装箱箱位分配方法可以有效降低翻箱率，提高装船作业效率，降低机械能耗。

2、随着集装箱箱位分配问题规模的增大，问题的复杂度随之升高，精确求解方法在有效时间内难以求出近似最优解，因此现有的分配方法通常采用群智能优化算法进行求解，但这往往是基于集装箱信息的准确完备与集装箱进场次序已知的情况下。而实际情况下，集装箱的信息与进场次序是无法准确预知的，由于进场时间的不确定，容易造成堆存混乱，翻箱率升高，装船作业效率低下，影响港口的服务水平。在集装箱进场时间不确定的情况下，群智能算法由于优化稳定性差，收敛速度慢，难以满足决策的实时性要求。

3、在目前的港口实际生产中，集装箱箱位大多依据长期总结出的分配规则和策略进行分配。当集装箱进场时，对待选箱位进行评价打分，由人工依据经验选择箱位或者由计算机选出得分最高的箱位。这种方法在港口生产作业过程中是可行有效的，但是难以达到全局的最优。

技术实现思路

1、鉴于目前技术存在的上述不足，本发明提供一种集装箱码头集装箱的箱位指派方法，考虑集装箱进场时间的不确定性，将集装箱箱位实时指派问题构建为马尔科夫决策模型，解决集装箱箱位指派的实时性问题，有效降低装船翻箱次数，提高装船作业效率。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、一种集装箱码头集装箱的箱位指派方法，包括以下步骤：

4、获取目标船舶及集装箱信息，并根据目标船舶及集装箱信息获得集装箱的装船优先级；

5、获取目标箱区分配的堆存列信息，并根据集装箱的装船优先级和堆存列信息构建用于箱位实时指派的马尔科夫决策模型；

6、使用深度强化学习算法对马尔科夫决策模型进行训练，获得箱位实时指派策略模型；

7、获取进场集装箱的装船优先级及状态信息；

8、将装船优先级及状态信息输入箱位实时指派策略模型，获得进场集装箱的指派箱位。

9、依照本发明的一个方面，所述获取目标船舶及集装箱信息，并根据目标船舶及集装箱信息获得集装箱的装船优先级包括：

10、装船优先值越大表示越先装船，当装船优先值小的集装箱堆存在装船优先值大的集装箱上面时，判断产生翻箱，计算公式为：

11、pk＝dk*10+wk

12、其中，pk、dk、wk中，k为上标；pk表示第k个集装箱的装船优先值；dk表示第k个集装箱的目的港，目的港越远，dk越大；wk表示第k个集装箱的重量级，重量级越大，wk越大。

13、依照本发明的一个方面，所述根据集装箱的装船优先级和堆存列信息构建用于箱位实时指派的马尔科夫决策模型时，基于集装箱进场时间的不确定性，以一个集装箱进场时刻为一个决策期。

14、依照本发明的一个方面，所述根据集装箱的装船优先级和堆存列信息构建用于箱位实时指派的马尔科夫决策模型包括：

15、基于箱区分配列已堆存信息与待决策集装箱装船优先值构建状态空间；

16、基于分配的堆存列构建动作空间；

17、基于最大化装船作业效率和堆场利用率设计奖励函数。

18、依照本发明的一个方面，所述状态空间为：

19、

20、其中，中，1、2、i均为上标；k表示集装箱数量，也是决策期数量；sk表示决策期k下的状态空间；表示决策期k下的分配列已堆存信息；表示集装箱k的信息；i表示分配的堆存列的数量；表示决策期k下第i列已堆存的集装箱中最大的装船优先值，若该列无集装箱堆存，则为0；表示决策期k下第i列已堆存的集装箱数量；判断决策期k下第i列是否可以堆存，1表示可以堆存，0表示不可以堆存；判断决策期k下堆存在第i列是否会产生翻箱，1表示不会翻箱，0表示会翻箱；pk表示第k个集装箱的装船优先值。

21、依照本发明的一个方面，所述动作空间为：

22、a＝{0,1,···,i-1}

23、其中，a表示动作空间；i表示分配的堆存列的数量。

24、依照本发明的一个方面，所述奖励函数为：

25、

26、其中，中，1、2、3均为上标；pk中，k为上标；中，i均为上标；rk,i表示将集装箱k分配到列i的奖励值；分别代表堆存奖励值、贝位奖励值、层数奖励值，θ、β、γ分别是对应的权重，θ+β+γ＝1；bi表示列i所属贝位；b表示贝位总数；n表示一列可堆存集装箱数量；判断决策期k下第i列是否可以堆存，1表示可以堆存，0表示不可以堆存；判断决策期k下堆存在第i列是否会产生翻箱，1表示不会翻箱，0表示会翻箱；pk表示第k个集装箱的装船优先值；表示决策期k下第i列已堆存的集装箱中最大的装船优先值，若该列无集装箱堆存，则为0；表示决策期k下第i列已堆存的集装箱数量。

27、依照本发明的一个方面，所述使用深度强化学习算法对马尔科夫决策模型进行训练，获得箱位实时指派策略模型包括：

28、设计具有非法动作屏蔽功能的的动作选择策略；

29、初始化模型参数与深度强化学习算法参数；

30、考虑集装箱进场时间不确定，随机生成集装箱装船优先值进行训练，获得训练好的箱位实时指派策略模型。

31、依照本发明的一个方面，所述深度强化学习算法为double dueling deep q-network。

32、依照本发明的一个方面，所述动作选择策略为：

33、

34、其中，中，i为上标；ik为决策期k下选择堆存集装箱k的列；random表示随机选择；argmax(qk'(i))表示选择qk'(i)为最大值时对应的ik；δ为随机数，每次决策时随机，δ∈(0,1)；ε为探索率，ε∈(0,1)；qk(i)为深度强化学习算法的神经网络输出的q值；qk'(i)为经过非法动作屏蔽后的q值；判断决策期k下第i列是否可以堆存，1表示可以堆存，0表示不可以堆存；ε1为探索率最小值；ε0为探索率最大值；δε为探索率的衰减值；epi为当前训练迭代步数；δepi为探索率衰减步长。

35、一种集装箱码头集装箱的箱位指派系统，基于如上所述的集装箱码头集装箱的箱位指派方法，包括：

36、优先级获取模块，用于获取目标船舶及集装箱信息，并根据目标船舶及集装箱信息获得集装箱的装船优先级；

37、模型构建模块，用于获取目标箱区分配的堆存列信息，并根据集装箱的装船优先级和堆存列信息构建用于箱位实时指派的马尔科夫决策模型；

38、模型训练模块，用于使用深度强化学习算法对马尔科夫决策模型进行训练，获得箱位实时指派策略模型；

39、信息获取模块，用于获取进场集装箱的装船优先级及状态信息；

40、箱位指派模块，用于将装船优先级及状态信息输入箱位实时指派策略模型，获得进场集装箱的指派箱位。

41、一种计算机程序，所述计算机程序被执行时实现如上所述的集装箱码头集装箱的箱位指派方法的步骤。

42、本发明实施的优点：

43、本发明提供一种集装箱码头集装箱的箱位指派方法，考虑集装箱进场时间的不确定性，将集装箱箱位实时指派问题构建为马尔科夫决策模型，通过深度强化学习算法d3qn进行训练，拟合q值。

44、本方法根据集装箱目的港口、重量级等信息设计装船优先值，针对所属同一船舶的集装箱，分配箱区中的堆存目标列；根据目标列堆存情况与当前时刻待堆存集装箱设计状态空间，根据分配的堆存列设计动作空间，以最大化装船效率和堆场利用率为目标设计奖励函数，以一个集装箱进场作为一个决策时刻，随机生成其装船优先值，通过深度强化学习算法进行训练。

45、本方法训练后的模型解决了集装箱箱位指派的实时性问题，有效降低了装船翻箱次数，提高了装船作业效率；且利用此方法时，不同目的港的集装箱可堆存在同一列，提高了堆场的利用率。