信息推送方法、装置、电子设备及可读存储介质与流程

1.本技术涉及数据处理技术领域，具体而言，本技术涉及一种信息推送方法、装置、电子设备及可读存储介质。


背景技术：

2.为了提高推荐结果的多样性，多策略融合是在线搜索、推荐系统面临的典型问题。目前工业界提高推荐信息多样性的方式主要是在召回环节按不同优化目标建立召回支路。
3.将召回结果直接合并后经过粗排预排序后返回结果给精排。而粗排过程负责对召回信息做高效、轻量级排序截断，筛选出少量相对优质的信息(规模在百级)给到精排，在精排队列长度有限情况下，如何让不同召回支路广告都有机会进入精排争取曝光机会是粗排过程的一个挑战。


技术实现要素：

4.本技术实施例提供了一种信息推送方法、装置、电子设备、计算机可读存储介质及计算机程序产品，可以解决现有技术的上述问题。技术方案如下：
5.根据本技术实施例的一个方面，提供了一种信息推送方法，该方法包括：
6.以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息；第一占比为相应推送策略对应的待选的目标候选推送信息的数量占预设数量的比例；
7.确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果；
8.根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略；
9.基于每个待选的目标推送信息对应的目标推送策略，根据目标推送策略对应的推送排序结果，从各初始候选推送信息中选取目标候选推送信息；
10.从目标候选推送信息中确定目标推送信息，将目标推送信息推送至目标对象
11.作为一种可选的实施例，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，包括：
12.根据每种推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量；
13.初始化目标候选推送信息序列，目标候选推送信息序列中每个元素表征一个待选的目标候选推送信息；
14.根据每种推送策略对应的目标候选推送信息的数量，在目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，标记的推送策略表征了相应元素对应的目标推送策略。
15.作为一种可选的实施例，述根据目标推送策略对应的推送排序结果，从各初始候
选推送信息中选取目标候选推送信息，包括：
16.确定参考信息，参考信息为已选取出的目标候选推送信息；
17.根据目标推送策略对应的推送排序结果，从各候选推送信息中除参考信息之外的信息中选取当前次操作对应的目标候选推送信息。
18.作为一种可选的实施例，获取候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，包括：
19.获取多样化配置信息，多样化配置信息中包括至少一个策略组以及各策略组的第二占比，每个策略组包括至少一个推送策略，第二占比表征了相应策略组对应的目标候选推送信息的数量占预设数量的占比；
20.确定每个策略组中每个推送策略对应的第三占比，第三占比用于表征相应推送策略选取的目标候选推送信息，占相应推送策略所在的策略组中所有推送策略选取的目标候选推送信息的占比；
21.对于每个推送策略，根据推送策略所在的策略组的第二占比以及推送策略在相应策略组中的第三占比，确定推送策略的第一占比。
22.作为一种可选的实施例，确定每个策略组中策略的第三占比，包括：
23.获取待推送信息的目标对象的对象信息；
24.根据对象信息，确定与对象信息对应的第三占比。
25.作为一种可选的实施例，对象信息包括针对历史推送信息的反馈信息；
26.确定与对象信息对应的第三占比，包括：
27.从预先确定的占比配置信息中确定与目标对象的反馈信息对应的第三占比；
28.其中，占比配置信息包括与至少一种反馈信息一一对应的占比关系；占比关系用于表征策略组中每个策略的第三占比。
29.作为一种可选的实施例，获取多样化配置信息，之前还包括：
30.创建至少一个策略组，初始化策略组中每个推送策略的第三占比；
31.响应于策略组中的至少一个推送策略的第三占比更新或者策略组中推送策略的数量更新，确定更新后的策略组中所有推送策略的第三占比；
32.若更新后的策略组中所有推送策略的第三占比之和小于预设值，则增加策略组中的至少一个推送策略的第三占比，直至策略组中的所有推送策略的第三占比等于预设值；
33.若更新后的策略组中所有推送策略的第三占比之和大于预设值，则对策略组中的至少一个推送策略的更新后的第三占比进行压缩，直至策略组中的所有推送策略的第三占比等于预设值。
34.根据本技术实施例的另一个方面，提供了一种信息推送装置，该装置包括：
35.信息获取模块，用于获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息；第一占比为相应推送策略对应的待选的目标候选推送信息的数量占预设数量的比例；
36.单策略排序模块，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果；
37.策略混排模块，用于根据第一占比，从至少一个推送策略中随机确定每个待选的
目标候选推送信息对应的目标推送策略；
38.推送信息选取模块，用于基于每个待选的目标推送信息对应的目标推送策略，根据目标推送策略对应的推送排序结果，从各初始候选推送信息中选取目标候选推送信息；
39.推送模块，用于从目标候选推送信息中确定目标推送信息，将目标推送信息推送至目标对象。
40.作为一种可选的实施例，策略混排模块包括：
41.信息数量确定子模块，用于根据每种推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量；
42.序列初始化子模块，用于初始化目标候选推送信息序列，目标候选推送信息序列中每个元素表征一个待选的目标候选推送信息；
43.随机标记子模块，用于根据每种推送策略对应的目标候选推送信息的数量，在目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，标记的推送策略表征了相应元素对应的目标推送策略。
44.作为一种可选的实施例，推送信息选取模块包括：
45.参考信息确定子模块，用于确定参考信息，参考信息为已选取出的目标候选推送信息；
46.排序筛选子模块，用于根据目标推送策略对应的推送排序结果，从各候选推送信息中除参考信息之外的信息中选取当前次操作对应的目标候选推送信息。
47.作为一种可选的实施例，信息获取模块包括：
48.配置信息获取子模块，用于获取多样化配置信息，多样化配置信息中包括至少一个策略组以及各策略组的第二占比，每个策略组包括至少一个推送策略，第二占比表征了相应策略组对应的目标候选推送信息的数量占预设数量的占比；
49.第三占比确定子模块，用于确定每个策略组中每个推送策略对应的第三占比，第三占比用于表征相应推送策略选取的目标候选推送信息，占相应推送策略所在的策略组中所有推送策略选取的目标候选推送信息的占比；
50.第一占比确定子模块，用于对于每个推送策略，根据推送策略所在的策略组的第二占比以及推送策略在相应策略组中的第三占比，确定推送策略的第一占比。
51.作为一种可选的实施例，对象信息包括针对历史推送信息的反馈信息；
52.第三占比确定子模块具体用于：从预先确定的占比配置信息中确定与目标对象的反馈信息对应的第三占比；
53.其中，占比配置信息包括与至少一种反馈信息一一对应的占比关系；占比关系用于表征策略组中每个策略的第三占比。
54.作为一种可选的实施例，推送装置还包括配置更新模块，配置更新模块包括：
55.策略组创建子模块，用于创建至少一个策略组，初始化策略组中每个推送策略的第三占比；
56.策略更新子模块，用于响应于策略组中的至少一个推送策略的第三占比更新或者策略组中推送策略的数量更新，确定更新后的策略组中所有推送策略的第三占比；
57.第一占比调整子模块，用于若更新后的策略组中所有推送策略的第三占比之和小于预设值，则增加策略组中的至少一个推送策略的第三占比，直至策略组中的所有推送策
略的第三占比等于预设值；
58.第二占比调整子模块，若更新后的策略组中所有推送策略的第三占比之和大于预设值，则对策略组中的至少一个推送策略的更新后的第三占比进行压缩，直至策略组中的所有推送策略的第三占比等于预设值。
59.根据本技术实施例的另一个方面，提供了一种电子设备，该电子设备包括：包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述信息推送方法的步骤。
60.根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的信息推送方法的步骤。
61.根据本技术实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，计算机程序被处理器执行时实现上述信息推送方法的步骤。
62.本技术实施例提供的技术方案带来的有益效果是：
63.通过获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，一方面保证了获取目标候选推送信息时的多样性，另一方面解决了策略优先级所存在的缺少公平性的问题，保证了各策略间的公平竞争，有利于客观高效评估策略效果，既节省了策略优先级反复对齐和策略效果不符合预期情况下，排查策略覆盖问题的时间，也在框架层面提供一套统一的效果评价机制，以用于长期考核策略的效果，进一步提高推送系统优化效率。
附图说明
64.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
65.图1为现有技术确定目标候选推送信息的流程示意图；
66.图2为本技术实施例提供的信息推送方法的核心构思的流程示意图；
67.图3为本技术实施例提供的一种实现信息推送的系统架构示意图；
68.图4为本技术实施例提供的一种信息推送方法的流程示意图；
69.图5为本技术实施例提供的一种随机确定每个待选的目标候选推送信息对应的目标推送策略的流程示意图；
70.图6为本技术再一个实施例提供的一种信息推送方法的流程示意图；
71.图7为本技术实施例提供的一种多样化配置信息的示意图；
72.图8为本技术另一个实施例提供的一种信息推送方法流程示意图；
73.图9为本技术再一个实施例的信息推送方法的流程示意图；
74.图10为本技术实施例提供的一种信息推送装置的结构示意图；
75.图11为本技术实施例提供的电子设备的结构示意图。
具体实施方式
76.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
77.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现为“b”，或者实现为“a和b”。
78.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
79.首先对本技术涉及的几个名词进行介绍和解释：
80.粗排：受计算资源和响应时延(百ms)的限制，为了平衡计算性能和推送效果，推送系统通常采用分阶段漏斗状系统架构，包括召回-》粗排-》精排。粗排负责对检索召回广告队列做高效、轻量级排序截断，筛选出少量相对优质的目标候选推送信息(规模在百级)给到精排，同时，也要有对潜力优质信息的探索发掘能力。
81.推送策略：给定一组广告，对广告进行排序的方案，例如按ecpm排序、按兴趣相关性得分排序等，为了表述简单，文中简称为“策略”。一个推送策略解决的问题包括两方面，给哪些广告打分、以及广告的打分方法。
82.多样性排序：给定一组初始候选推送信息，由多种推送策略共同作用下，对初始候选推送信息进行排序截断的过程。
83.多样性排序策略框架：排序系统中用以支持多样性排序的功能模块，提供了排序策略、以及策略之间相互关系的接口定义。在多样性排序策略框架中，以分桶的方式支持多样性排序，每种推送策略对应一个桶，满足策略要求的信息被放入相应桶中(一个信息可能属于多个桶)，桶内信息按照策略指定的算法进行排序，形成该策略的信息队列。最后，从多个策略的队列中依次选取头部(top)广告加入最终结果队列中，每个策略队列中选取的信息数由策略quota定义。
84.桶：具有某类特性的广告集合，属于同一个桶里的广告通常被同一种排序策略处理
85.配额(quota)，某种策略所被允许使用的排序队列位置的最大数量，使用队列总长度的占比表示。
86.ecpm(effective cost per mille)指的是每一千次展示可以获得的收益，展示的单位可以是网页。
87.ecpm类策略:以衡量ecpm为目标的排序策略，这类策略的核心关注点在于获得更准确的广告ecpm预估值或者序关系。典型的如：现有的通过lite/pctr*lite/pcvr*bid计算
ecpm的策略、使用拟合精排ecpm的模型预估结果的排序策略等。ecpm类策略是大多数流量下的主流排序策略。
88.点击率预测(predict click-through rate，pctr)，pctr要解决的问题是预测特定对象在特定推送信息位对特定推送信息的、特定环境下的点击概率。
89.转化率预测(predictclick value rate，pcvr),简言之就是对象点击推送信息到成为一个有效激活或者注册甚至付费对象的转化率。
90.非ecpm类策略:不直接以ecpm为优化目标的排序策略。如合约保送精排策略，是为了满足强业务运营要求而设置的策略，又比如兴趣破圈探索策略，是为拓宽对象视野，探索对象兴趣而设置策略。对于推送系统而言，ecpm最大化是系统优化核心目标，而非ecpm类策略的存在往往是为了推送信息生态建设与对象体验等长期效益。
91.为了提高推荐结果的多样性，多策略融合是在线搜索、推荐系统面临的典型问题。目前工业界提高推送信息多样性的方式主要是在召回环节按不同优化目标建立召回支路。
92.将召回结果直接合并后经过粗排预排序后返回结果给精排。而粗排过程负责对召回推送信息做高效、轻量级排序截断，筛选出少量相对优质的推送信息(规模在百级)给到精排，在精排队列长度有限情况下，如何让不同召回支路广告都有机会进入精排争取曝光机会是粗排过程的一个挑战。现有技术包括：
93.1)按不同推送策略给广告打分，将打分融合成一个分值(加权平均、位次融合等)，不同推送策略体现为不同打分因子。这种方式能将不同打分依据融合成单一因子，系统实现简单，但存在如下不足：
94.a、推送策略量纲不同难融合，即使使用简单的最大最小值归一化后融合，融合后也可能存在物理含义有效性解释不足的问题；
95.b、不易归因，权重一定程度可以体现推送策略对打分结果的影响程度，但影响程度大(权重大)未必能刻画出推送策略对系统的影响。例如，当新增一个新推送策略时，该新增的推送策略作为一个独立打分因子加入打分公式，新增的打分因子的权重不是最大的，但这个独立因子的加入足够提高新推送信息的排序位次，提高了高潜力新推送信息进入精排的次数，由此可见单靠打分因子权重判定推送策略影响是不全面的。
96.2)不同推送策略独立排序，指定推送策略quota和合并顺序，按指定顺序合并结果。
97.请参见图1，其示例性地示出了现有技术确定目标候选推送信息的流程示意图，如图所示，针对初始候选推送信息ad1至adn，若当前场景下存在两个推送策略(推送策略一和推送策略二)，分别获得初始候选推送信息在两种推送策略下的推送排序结果。指定推送策略一和推送策略二的quota分别为60％和40％，并且确定推送策略一的优先级高于推送策略二的优先级，那么在最终获取10个目标候选推送信息的情况下，前6个目标候选推送信息由推送策略一的推送排序结果中获取，后4个目标候选推送信息由推送策略二的推送排序结果中获取，若进一步确定不同推送策略选取的目标候选推送信息不重复，则在从推送策略二的推送排序结果中选取目标候选推送信息时，则需要避开基于推送策略一选取的目标候选推送信息。
98.由图1可知，虽然该方法通过quota方式控制了不同推送策略的影响，但顺序合并的方式也引入了推送策略优先级问题：一方面是高优先级策略有可能将高质量信息先挑选
走，导致低优先级策略在效果后验分析中容易处于劣势，但在实际应用过程中，效果并不是推送策略优劣唯一的判定标准，对于两个效果接近的推送策略，系统应该选择性能更高的一个。另一方面这种方式与系统中依赖序关系的策略也会存在耦合，最终导致在线生效quota与配置不一致。如下表，配置lite和ltr quota为3:1，但具有不同优先级情况下最终生效quota情况不一样，且均与配置不一致
99.本技术提供的信息推送方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，旨在解决现有技术的如上技术问题。
100.下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
101.图2为本技术实施例的信息推送方法的核心构思的流程示意图，如图所示，获取候选推送信息集合(包括n个初始候选推送信息)、候选推送信息集合对应的m个推送策略以及每种推送策略对应的第一占比，第一占比为相应推送策略对应的待选的目标候选推送信息的数量占预设数量的比例。
102.确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，对各推送策略下的推送排序结果按照第一占比随机交叉混排，获得预设数量目标候选推送信息。
103.对各推送策略下的推送排序结果按照第一占比随机交叉混排，是指一方面，基于每种推送策略确定的目标候选推送信息，占预设数量的比例为相应推送策略对应的第一占比，另一方面，基于不同推送策略确定目标候选推送信息的顺序是随机的，比如确定第一个目标候选推送信息是基于策略一的，第二个目标候选推送信息是基于策略四的、第三个目标候选推送信息是基于策略二的，
…
等等，也即上述的“随机交叉混排”。
104.本技术实施例能够规避现有技术中优先级所带来的问题，使得各策略方制定的推送策略在更为公平的系统环境下进行验证与对比，一方面节省了策略优先级反复对齐和策略效果不符合预期情况下，排查排序策略覆盖问题的时间，另一方面也在框架层面提供一套统一的效果评价机制，以用于长期考核策略的效果。
105.图3为本技术实施例提供的一种实现信息推送的系统架构示意图，如图所示，系统主要包括以下模块：
106.1)检索模块：当产生推送请求时，检索模块从百万级的推送信息库中检索出符合定向条件的初始候选推送信息，初始候选推送信息的规模量级在万级。
107.2)粗排模块：负责对检索模块召回的初始候选推送信息队列做高效、轻量级排序截断，筛选出少量相对优质的目标候选推送(规模在百级)给到精排模块，同时，也要有对潜力优质信息的探索发掘能力。
108.本技术实施例的粗排模块包括至少一个单路排序模块以及多路归并模块，由于初始候选推送信息的量级仍然较大，因此本技术实施例可以设置多个并行的单路排序模块获取目标候选推送信息，例如，根据初始候选推送信息的唯一标识尾数是奇数还是偶数，设置两个单路排序模块分别对唯一标识尾数是奇数或偶数的初始候选推送信息进行处理。
109.通过统计对象针对历史推送信息的反馈信息，可以确定对象历史对推送信息的偏
好(例如点击情况、曝光情况、注册情况等等)，可以量化获得离线分，即离线的分数进行表征；而利用历史推送信息的反馈信息作为训练样本，也可以进行模型训练，获得预测当前或者未来对象对推送信息的偏好的在线预测模型，每个单路排序模块通过调用打分模块中的离线分或在线预测模型，从初始候选推送信息中选择符合对象偏好的推送信息，并针对符合对象偏好的推送信息，利用多样化排序策略框架获得对应每个单路排序模块的目标候选推送信息，多路归并模块将所有单路排序模块获得的目标候选推送信息进行排序，保留排序靠前的目标候选推送信息输入至精排模块。
110.单路排序模块、多路归并模块和精排模块可以将输入和/或输出的推送信息保存在日志中，以方便后续分析。
111.3)精排模块：负责出价计费，对粗排模块返回的少量高质量的，目标候选推送信息按照ecpm价值排序，选取前几名高ecpm的目标候选推送信息作为目标推送信息。精排模块统计各策略的效果信息，并保存至推送信息日志中，以进行业务报表。
112.多样性排序策略框架主要应用于粗排模块，如图3所示，该框架主要包括：
113.1)策略配置模块：负责策略注册、预设与动态设置。
114.策略配置模块进一步包括策略注册模块和策略配置获取模块，策略注册模块能够存储策略生成方注册推送策略，并生成策略的唯一标识；通过加载策略占比初始化配置文件，能够确定各策略初始的第三占比，策略配置获取模块可存储第二占比、第三占比，以及根据第二占比和第三占比生成策略的第一占比。策略配置获取模块可以根据离线数据分析结论，初始化策略的配额，同时还支持动态地调整策略的配额。
115.2)单策略排序模块：负责获取单策略的排序因子，对初始候选推送信息进行排序，生成单策略对应的排序结果。
116.3)策略混排模块：按策略配额生成随机位置队列，对多个排序结果进行混排截断，获得目标候选推送信息队列。
117.本技术实施例中提供了一种信息推送方法，如图4所示，该方法包括：
118.s101、获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比。
119.需要说明的是，本技术实施例的候选推送信息集合包括至少一个初始候选推送信息，可以是根据目标对象的对象信息、当前正在浏览的网页的上下文信息等等方式，从百万级信息库中检索出符合定向条件的信息，这些初始候选推送信息的规模量级在万级。例如若目标对象为体育爱好者，则获取的初始候选推送信息可以是与体育相关的信息，还比如若目标对象正在浏览新生儿喂养的短视频，则获取的初始候选推送信息可以是与育儿相关的信息。
120.本技术的第一占比为相应推送策略对应的待选的目标候选推送信息的数量占预设数量的比例。预设数量即最终获取的目标候选推送信息的数量，本技术基于每种推送策略获取的目标候选推送信息，占预设数量的比例，为相应的推送策略对应的第一占比。例如，若某一推送策略的第一占比为10％，表示基于该推送策略选取的目标候选推送信息的数量占预设数量的10％。
121.本技术实施例获取的推送策略，可以包括ecpm推送策略(即以ecpm最大化为目标确定目标候选推送信息)、基于对象的历史点击信息相似性的推送策略(即以获取与对象的
历史点击信息的最大相似性为目标确定目标候选推送信息)、基于相似对象高点击率的推送策略等等，本技术实施例对获取的推送策略不作具体的限定。
122.s102、确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果。
123.本技术实施例可以获得每种推送策略下，各初始候选推送信息的推送排序结果，一般地，排序越靠前的初始候选推送信息越有机会被选为目标候选推送信息。同一个初始候选推送信息在不同策略对应的排序结果中的次序可能相同也可能不同。
124.s103、根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略。
125.应当理解的是，若将所有获取的目标候选推送信息构成一个序列，对于现有技术中对策略设置不同优先级的方式，该序列中各目标候选推送信息的排序是固定的，优先级更高的策略选取相应的第一占比的目标候选推送信息后，才会由优先级次高的策略选取相应的第一占比的目标候选推送信息，直至序列中的最后一个目标候选推送信息。而根据本技术的方法在该序列中，每个序号的目标候选推送信息所对应的目标推送策略都是随机确定的，只不过每一种目标推送策略选取的目标候选推送信息的比例仍然是对应的第一占比。由于在确定每个序号的目标候选推送信息对应的策略是完全随机的，因此规避了公平性缺陷的问题。
126.s104、基于每个待选的目标推送信息对应的目标推送策略，根据目标推送策略对应的推送排序结果，从各初始候选推送信息中选取目标候选推送信息。
127.本技术实施例先随机确定每个待选的目标推送信息对应的目标推送策略，在确定目标推送策略后，再基于目标推送策略的排序结果，从各初始候选推送信息中选取目标候选推送信息。例如，若确定第一个目标候选推送信息的目标推送策略为策略n，第二个目标候选推送信息的目标推送策略为策略m，那么将基于策略n获取的推送排序结果中的第一个初始候选推送信息作为第一个目标候选推送信息，冉家将基于策略mn获取的推送排序结果中的第一个初始候选推送信息作为第二个目标候选推送信息，直至获得所有的目标候选推送信息。
128.s105、从目标候选推送信息中确定目标推送信息，将目标推送信息推送至目标对象。
129.需要说明的是，在经过上述步骤获取目标候选推送信息的过程可以立即为信息推荐过程中的召回和粗排过程，对粗排的结果进行进一步精排，即可获得目标推送信息，并将目标推送信息推送至目标对象，本技术实施例在精排阶段，可以使用ecpm策略，从而平衡系统效益和对象体验的均衡。
130.本技术实施例通过获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，一方面保证了获取目标候选推送信息时的多样性，另一方面解决了策略优先级所存在的缺少公平性的问题，保证了各策略间的公平竞争，有利于客观高效评估策略效果，既节省了策略优先级反复对齐和策略效果不符合预期情况下，排查策略覆盖问题的
时间，也在框架层面提供一套统一的效果评价机制，以用于长期考核策略的效果，进一步提高推送系统优化效率。
131.在上述各实施例的基础上，作为一种可选实施例，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，包括：
132.s201、根据每种推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量。
133.需要说明的是，在目标候选推送信息的总量确定的情况下，通过将每种推送策略的第一占比与该总量(也即预设数量)相乘，即可确定各推送策略对应的目标候选推送信息的数量。
134.s202、初始化目标候选推送信息序列，目标候选推送信息序列中每个元素表征一个待选的目标候选推送信息。
135.本技术实施例对于步骤s201和s202的先后顺序不作具体的限定，例如s201和s02可以同时执行。初始化的目标候选推送信息序列中的各元素为空，但元素的个数为预设数量，也即与目标候选推送信息的数量相同。
136.s203、根据每种推送策略对应的目标候选推送信息的数量，在目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，标记的推送策略表征了相应元素对应的目标推送策略。
137.本技术实施例在将推送策略上传至系统时，可以由系统生成对应的唯一标识，在对元素进行标记时，具体可以标记目标推送策略的唯一标识。
138.需要说明的是，本技术实施例根据每种推送策略的第一占比，首先确定各推送策略对应的目标候选推送信息的数量，之后初始化目标候选推送信息序列，目标候选推送信息序列中的每个元素都表征一个待选的目标候选推送信息，也即与一个推送策略对应，进一步根据每种推送策略对应的目标候选推送信息的数量，在目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，既使得行程的目标候选推送信息序列中各元素对应的目标推送策略是随机的，避免了现有技术根据策略优先级导致的公平性问题，还保证了目标候选推送信息序列中各目标候选推送信息对应的策略的数量也能够符合第一占比。
139.请参见图5，其示例性地示出了本技术实施例随机确定每个待选的目标候选推送信息对应的目标推送策略的流程示意图，如图所示，本技术实施例首先可以根据各推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量，图中策略一对应的目标候选推送信息的数量为3，策略2对应的目标候选推送信息的数量为2，初始化目标候选推送信息序列，目标候选推送信息序列中每个元素表征一个待选的目标候选推送信息，图中初始化的目标候选推送信息序列共有5个元素，首先(随机或顺序)将5个元素中的3个元素与策略一对应，再将剩余的2个元素与策略二对应，图示中将前3个元素标记为策略一，将后两个元素标记为策略二，再对初始化的目标候选推送信息序列中的元素的位置进行随机重排，从而获得随机重排后的目标候选推送信息序列，图中可以看出各策略对应的元素的位置已经被打散。
140.在上述各实施例的基础上，作为一种可选实施例，根据目标推送策略对应的推送排序结果，从各初始候选推送信息中选取目标候选推送信息，包括：
141.s301、确定参考信息，参考信息为已选取出的目标候选推送信息。
142.需要说明的是，本技术实施例可以根据目标候选推送信息序列中元素的顺序逐个确定每个元素对应的目标候选推送信息，从而在确定每个(当前)元素对应的目标候选推送信息时，将当前元素之前的各个元素已经选取出的目标推送信息作为参考信息。例如，在对目标候选推送信息序列中第k个元素确定对应的目标候选推送信息时，则将第1～k-1个元素对应的所有目标候选推送信息均作为参考信息。
143.s302、根据目标推送策略对应的推送排序结果，从各候选推送信息中除参考信息之外的信息中选取当前次操作对应的目标候选推送信息。
144.在确定目标推送策略后，本技术实施例可以将从目标推送策略的推送排序结果中，从除参考信息之外的信息中选取当前次操作对应的目标候选推送信息中确定当前次操作对应的目标候选推送信息，例如，将除参考信息之外的第一个信息确定为当前次操作对应的目标候选推送信息。
145.具体的，本技术实施例对当前待选的目标候选推送信息，将上一次基于当前待选的目标候选推送信息对应的目标策略确定的目标候选推送信息作为基准信息，从目标策略的推送排序结果中位于基准信息后的首个候选推送信息开始，依次与参考信息进行比对，将首个与参考信息不同的候选推送信息，作为目标元素对应的目标候选推送信息，并将当前选取的目标候选推送信息作为本次基于目标策略确定的目标候选推送信息。
146.需要说明的是，本技术在确定目标候选推送信息时，通过将已选取的目标候选信息作为参考信息，并将目标排序结果中除参考信息之外的信息中选取目标候选推送信息，以避免选取到重复的目标候选推送信息，保证了选取的目标候选推送信息的多样性。
147.下面结合一个具体示例说明本技术实施例的信息推送方法的流程，请参见图6，该实施例中初始候选推送信息集合包括ad1～adt，推送策略包括策略一和策略二，其中策略一的第一占比为66.7％，策略而的第一占比为33.3％，最终确定的目标候选推送信息的数量为6。
148.根据两种推送策略的第一占比，确定策略一对应的目标候选推送信息的数量为4，策略二对应的目标候选推送信息的数量为2，初始化目标候选推送信息序列，目标候选推送信息序列共有6个元素，根据两种推送策略对应的目标候选推送信息的数量，先按顺序标记前4个元素对应策略二，后2个元素对应策略二，之后对目标候选推送信息序列的元素进行随机重排，获得随机重排的目标候选推送信息序列，分别获取初始候选推送信息在每种策略下的推送排序结果。
149.由于目标候选推送信息序列中的第一个元素标记策略一，因此从策略一的推送排序结果中确定目标候选推送信息，将排序为1的初始候选推送信息ad1作为目标候选推送信息序列中的第一个目标候选推送信息，并将ad1作为本次基于策略一确定的目标候选推送信息。
150.继续获取目标候选推送信息序列中的第二个目标候选推送信息，由于该目标候选推送信息对应的推送策略为策略二，策略二的推送排序结果中还没有选出过目标候选推送信息，且排序为1的初始候选推送信息ad4也不同于ad1，因此将ad4作为目标候选推送信息序列中的第二个目标候选推送信息。
151.继续获取目标候选推送信息序列中的第三个目标候选推送信息，由于该目标候选
推送信息对应的推送策略为策略一，而基于策略一获得的上一个目标候选推送信息为ad1，那么从ad1后开始查找与目前已经获取的目标候选推送信息——ad1和ad4不同的初始候选推送信息，由于排序为2的ad3不同于ad1和ad4，因此将ad3作为目标候选推送信息序列中的第三个目标候选推送信息，同时也将ad3作为本次基于策略一确定的目标候选推送信息。
152.类似地，可获得最终的目标候选推送信息队列：ad1、ad4、ad3、ad7、ad2、ad6。
153.在上述各实施例的基础上，作为一种可选实施例，获取候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，包括：
154.s401、获取多样化配置信息，多样化配置信息中包括至少一个策略组以及各策略组的第二占比，每个策略组包括至少一个推送策略。
155.需要说明的是，本技术实施例的第二占比，表征了相应策略组对应的目标候选推送信息的数量占预设数量的占比，由此可知，所有策略组的第二占比之和，应为100％。
156.s402、确定每个策略组中每个推送策略对应的第三占比。
157.本技术实施例的第三占比，用于表征相应推送策略选取的目标候选推送信息，占相应推送策略所在的策略组中所有推送策略选取的目标候选推送信息的占比，由此可知，一个策略组中所有推送策略的第三占比之和，应为100％。
158.请参见图7，其示例性地示出了本技术实施例的多样化配置信息的示意图，如图所示，一个多样化配置信息包括n个策略组，n为大于1的自然数，每个策略组可以设置第二占比，所有第二占比相加等于100％，每个策略组包括n个推送策略，每个策略组下的推送策略的第三占比相加等于100％。并且，每个策略组下可以自由地增加或删减策略，增加的策略的数量最少为1个。
159.s403、对于每个推送策略，根据推送策略所在的策略组的第二占比以及推送策略在相应策略组中的第三占比，确定推送策略的第一占比。
160.对于每个推送策略，首先该推送策略出现在几个策略组中，然后确定该推送策略所在的策略组的第二占比，乘以该推送策略在相应策略组中的第三占比，即可获得第一占比。具体可用公式：
161.u
i1
＝∑u
j2uij3
162.其中，u
i1
表示策略i的第一占比，u
j2
表示策略i所在的策略组j的第二占比，u
ij3
表示策略i在策略组j中的第三占比。
163.举例来说，若存在两个策略组，其中策略组1的第二占比为80％，策略组2的第二占比为20％，策略1在策略组1中的第三占比为20％，策略1在策略组2中的第三占比为50％，则策略1的第一占比为：80％
×
20％ 20％
×
50％＝26％。
164.需要说明的是，由于本技术实施例的第一占比是通过各策略组的第二占比以及每个策略组中每个推送策略对应的第三占比，因此可以动态配置占比信息(包括第二占比和第三占比)，调整最终目标候选推送信息所对应的策略的数量。
165.在上述各实施例的基础上，作为一种可选实施例，确定每个策略组中策略的第三占比，包括：
166.s501、获取待推送信息的目标对象的对象信息；
167.需要强调的是，当本技术实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据(包括对象信息)的收集、使用和处理需要遵守相关国家和地区的相
关法律法规和标准。
168.s502、根据对象信息，确定与对象信息对应的第三占比。
169.本技术实施例中策略的第三占比，是根据目标对象的对象信息确定的，使得针对不同的目标对象，即使采用相同的策略组，也可以获得不同第一占比的推送策略，为个性化推送信息奠定基础。
170.在上述各实施例的基础上，作为一种可选实施例，对象信息包括针对历史推送信息的反馈信息；例如，可以是目标对象针对历史推送信息的点击率、转化率等等。
171.相应的，本技术实施例确定与对象信息对应的第三占比，包括：
172.从预先确定的占比配置信息中确定与目标对象的反馈信息对应的第三占比；
173.其中，占比配置信息包括与至少一种反馈信息一一对应的占比关系；占比关系用于表征策略组中每个策略的第三占比。
174.以反馈信息为点击率为例，本技术实施例的占比配置信息可以设置多个点击率区间所对应的占比关系，从而在确定目标对象的实际点击率后，根据该实际点击率所处的区间，确定相应的占比关系。
175.请参见图8，其示例性地示出了本技术另一个实施例的信息推送方法流程示意图，如图所示，本技术实施例针对于对象的反馈信息——点击率设置了4个档位，并分别针对每种档位设置了一种占比关系，需要注意的是，本实施例中一个策略组中包括3种推送策略，因此占比关系用于描述3种推送策略的第三占比的关系。
176.通过获取针对目标对象的信息推送请求，该请求中包括目标对象的点击率的信息或者点击率对应的档位，可以理解的是，若请求中仅包括点击率，则需要进一步根据点击率确定对应的档位。首先判断档位是否小于2，若档位不小于2，也即档位为3，则将档位3对应的占比关系确定与对象信息对应的第三占比，图示中为10：0：0，也即利用策略组选取目标候选推送信息时，全部利用该策略组中的第一个策略选取目标候选推送信息。如果确定档位小于2，则进一步判断档位是否小于1，若小于1，则说明档位为0，根据档位0对应的占比关系确定策略的第三占比；若不小于1，则说明档位为1或者2，处于方便描述的目的，本技术中档位为1和2均对应同一种占比关系，由此说明，本技术实施例的一个占比关系可以对应多个档位(也即多种反馈信息)。
177.在确定策略的第三占比后，结合策略组的第二占比即可获得策略的第一占比，进而通过上述实施例对各策略的推送排序结果，按照第一占比进行随机交叉混排，获得目标候选推送信息队列，将目标候选推送信息进行精排处理，最终获得目标推送信息，将目标推送信息推送至目标对象进行曝光。
178.在上述各实施例的基础上，作为一种可选实施例，获取多样化配置信息，之前还包括动态调整策略的第三占比的步骤，具体的包括：
179.s601、创建至少一个策略组，初始化策略组中每个推送策略的第三占比。
180.本技术实施例可以由策略方在注册策略后，根据系统上已经注册的策略，根据预设的规则创建至少一个策略组，例如，将针对同一类型的推送信息的推送策略创建为一个策略组，具体的，若策略1和策略2针对的是学术类型的推送信息的推送策略，策略3和策略4针对是游戏类型的推送信息的推送策略，则可以将策略1和策略2设置在一个策略组中，将策略3和策略4设置在另一个策略组中。
181.本技术实施例在初始化推送策略的第三占比时，可以基于推送策略的历史效果进行设置，若推送策略尚不存在历史效果，则可以在一个预设范围内随机进行设置，可以理解的是，一个策略组中所有推送策略的初始化的第三占比之和也为100％。
182.s602、响应于策略组中的至少一个推送策略的第三占比更新或者策略组中推送策略的数量更新，确定更新后的策略组中所有推送策略的第三占比。
183.本技术实施例支持对策略组中的推送策略的数量进行更新，也可以对推送策略的第三占比进行更新，能够进一步提高推送信息时的应变性，提高推送系统的优化效率，通过动态配额机制允许推送系统为不同对象定制不同优化目标的排序策略组合，提供更为个性化推荐结果，提高对象体验，进而构建一个长期健康的推送生态系统。
184.s603、若更新后的策略组中所有推送策略的第三占比之和小于预设值，则增加策略组中的至少一个推送策略的第三占比，直至策略组中的所有推送策略的第三占比等于预设值；若更新后的策略组中所有推送策略的第三占比之和大于预设值，则对策略组中的至少一个推送策略的更新后的第三占比进行压缩，直至策略组中的所有推送策略的第三占比等于预设值。
185.应当理解的是，本技术中的预设值可以为100％，若在推送策略的数量或者推送策略的第三占比更新后，导致更新后的策略组中所有推送策略的第三占比之和不等于预设值，都需要调整至少一个推送策略的第三比值，使得策略组中的所有推送策略的第三占比等于预设值。
186.请参见图9，其示例性地示出了本技术再一个实施例的信息推送方法的流程示意图，如图所示，包括：
187.s701、策略方注册推送策略；
188.s702、根据至少一个策略方已注册的推送策略，创建多样化配置信息，多样化配置信息中包括至少一个策略组以及各策略组的第二占比，每个策略组包括至少一个推送策略；
189.s703、根据目标对象的对象信息，确定各策略组中每个推送策略的第三占比以及候选推送信息集合；
190.s704、对于每个推送策略，根据推送策略所在的策略组的第二占比以及推送策略在相应策略组中的第三占比，确定推送策略的第一占比；
191.s705、确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果；
192.s706、根据每种推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量；
193.s707、初始化目标候选推送信息序列，目标候选推送信息序列中每个元素表征一个待选的目标候选推送信息；
194.s708、根据每种所述推送策略对应的目标候选推送信息的数量，在所述目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，所述标记的推送策略表征了相应元素对应的目标推送策略；
195.s709、确定参考信息，参考信息为已选取出的目标候选推送信息；
196.s710、根据目标推送策略对应的推送排序结果，从各候选推送信息中除参考信息
之外的信息中选取当前次操作对应的目标候选推送信息；
197.s711、从目标候选推送信息中确定目标推送信息，将目标推送信息推送至目标对象。
198.本技术实施例提供了一种信息推送装置，如图10所示，该信息推送装置可以包括：信息获取模块101、单策略排序模块102、策略混排模块103、推送信息选取模块104和推送模块105，其中，
199.信息获取模块101，用于获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息；第一占比为相应推送策略对应的待选的目标候选推送信息的数量占预设数量的比例；
200.单策略排序模块102，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果；
201.策略混排模块103，用于根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略；
202.推送信息选取模块104，用于基于每个待选的目标推送信息对应的目标推送策略，根据目标推送策略对应的推送排序结果，从各初始候选推送信息中选取目标候选推送信息；
203.推送模块105，用于从目标候选推送信息中确定目标推送信息，将目标推送信息推送至目标对象。
204.本技术实施例的装置可执行本技术实施例所提供的方法，其实现原理相类似，本技术各实施例的装置中的各模块所执行的动作是与本技术各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
205.本技术实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现信息推送方法的步骤，与相关技术相比可实现：
206.通过获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，一方面保证了获取目标候选推送信息时的多样性，另一方面解决了策略优先级所存在的缺少公平性的问题，保证了各策略间的公平竞争，有利于客观高效评估策略效果，既节省了策略优先级反复对齐和策略效果不符合预期情况下，排查策略覆盖问题的时间，也在框架层面提供一套统一的效果评价机制，以用于长期考核策略的效果，进一步提高推送系统优化效率。
207.作为一种可选的实施例，策略混排模块包括：
208.信息数量确定子模块，用于根据每种推送策略的第一占比，确定各推送策略对应的目标候选推送信息的数量；
209.序列初始化子模块，用于初始化目标候选推送信息序列，目标候选推送信息序列
中每个元素表征一个待选的目标候选推送信息；
210.随机标记子模块，用于根据每种推送策略对应的目标候选推送信息的数量，在目标候选推送信息序列中随机选取相应数量的元素，进行相应推送策略的标记，标记的推送策略表征了相应元素对应的目标推送策略。
211.作为一种可选的实施例，推送信息选取模块包括：
212.参考信息确定子模块，用于确定参考信息，参考信息为已选取出的目标候选推送信息；
213.排序筛选子模块，用于根据目标推送策略对应的推送排序结果，从各候选推送信息中除参考信息之外的信息中选取当前次操作对应的目标候选推送信息。
214.作为一种可选的实施例，信息获取模块包括：
215.配置信息获取子模块，用于获取多样化配置信息，多样化配置信息中包括至少一个策略组以及各策略组的第二占比，每个策略组包括至少一个推送策略，第二占比表征了相应策略组对应的目标候选推送信息的数量占预设数量的占比；
216.第三占比确定子模块，用于确定每个策略组中每个推送策略对应的第三占比，第三占比用于表征相应推送策略选取的目标候选推送信息，占相应推送策略所在的策略组中所有推送策略选取的目标候选推送信息的占比；
217.第一占比确定子模块，用于对于每个推送策略，根据推送策略所在的策略组的第二占比以及推送策略在相应策略组中的第三占比，确定推送策略的第一占比。
218.作为一种可选的实施例，对象信息包括针对历史推送信息的反馈信息；
219.第三占比确定子模块具体用于：从预先确定的占比配置信息中确定与目标对象的反馈信息对应的第三占比；
220.其中，占比配置信息包括与至少一种反馈信息一一对应的占比关系；占比关系用于表征策略组中每个策略的第三占比。
221.作为一种可选的实施例，推送装置还包括配置更新模块，配置更新模块包括：
222.策略组创建子模块，用于创建至少一个策略组，初始化策略组中每个推送策略的第三占比；
223.策略更新子模块，用于响应于策略组中的至少一个推送策略的第三占比更新或者策略组中推送策略的数量更新，确定更新后的策略组中所有推送策略的第三占比；
224.第一占比调整子模块，用于若更新后的策略组中所有推送策略的第三占比之和小于预设值，则增加策略组中的至少一个推送策略的第三占比，直至策略组中的所有推送策略的第三占比等于预设值；
225.第二占比调整子模块，若更新后的策略组中所有推送策略的第三占比之和大于预设值，则对策略组中的至少一个推送策略的更新后的第三占比进行压缩，直至策略组中的所有推送策略的第三占比等于预设值。
226.在一个可选实施例中提供了一种电子设备，如图11所示，图11所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
227.处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
228.总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
229.存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
230.存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤，通过获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，一方面保证了获取目标候选推送信息时的多样性，另一方面解决了策略优先级所存在的缺少公平性的问题，保证了各策略间的公平竞争，有利于客观高效评估策略效果，既节省了策略优先级反复对齐和策略效果不符合预期情况下，排查策略覆盖问题的时间，也在框架层面提供一套统一的效果评价机制，以用于长期考核策略的效果，进一步提高推送系统优化效率。
231.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容，通过获取候选推送信息集合、候选推送信息集合对应的至少一个推送策略以及每种推送策略对应的第一占比，候选推送信息集合包括至少一个初始候选推送信息，确定候选推送信息集合中的各初始候选推送信息，在每种推送策略下的推送排序结果，根据第一占比，从至少一个推送策略中随机确定每个待选的目标候选推送信息对应的目标推送策略，一方面保证了获取目标候选推送信息时的多样性，另一方面解决了策略优先级所存在的缺少公平性的问题，保证了各策略间的公平竞争，有利于客观高效评估策略效果，既节省了策略优先级反复对齐和策略效果不符合预期情况下，排查策略覆盖问题的时间，也在框架层面提供一套统
一的效果评价机制，以用于长期考核策略的效果，进一步提高推送系统优化效率。
232.本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
233.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图示或文字描述以外的顺序实施。
234.应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
235.以上仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。