一种用于供应链计划系统的数据预处理系统及其方法与流程

本发明涉及智能化数据预处理，尤其涉及一种用于供应链计划系统的数据预处理系统及其方法。

背景技术：

1、供应链计划系统是一种用于管理供应链网络中的各种资源和活动的软件系统，它可以帮助企业提高效率、降低成本、增加利润和满足客户需求。供应链计划系统的核心功能之一是根据预测和实际需求，生成最优的生产、采购、库存和运输计划。为了实现这一功能，供应链计划系统需要处理大量的数据，包括主数据和业务数据。主数据是指描述供应链网络中的实体和关系的数据，如物料、工厂、仓库、供应商、客户等。业务数据是指描述供应链网络中的运行情况的数据，如订单、库存、生产、采购、运输等。这些数据是供应链计划系统的输入，也是输出计划的依据。因此，数据的质量对于供应链计划系统的性能和效果至关重要。

2、然而，在实际应用中，供应链计划系统面临着数据质量问题的挑战。由于数据来源的多样性、数据采集和传输的复杂性、数据更新和维护的困难等原因，供应链计划系统中的数据可能存在不规范、不一致、不完整、不准确等问题。这些问题数据会影响供应链计划系统的正确运行，导致错误或者低效的计划结果，进而影响企业的运营效率和客户满意度。因此，期待一种用于供应链计划系统的数据预处理系统及其方法。

技术实现思路

1、本发明实施例提供一种用于供应链计划系统的数据预处理系统及其方法，其获取待处理特征值数据的集合；对所述待处理特征值数据的集合进行基于子集的关联特征分析以得到特征值数据间关联特征向量的序列；以所述特征值数据间关联特征向量的序列中的某一特征值数据间关联特征向量作为查询特征向量，计算其与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数；基于所述数据分布差异语义度量系数，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据。这样，可以帮助供应链计划系统更好地理解和管理数据，从而提高决策的准确性和效率。

2、本发明实施例还提供了一种用于供应链计划系统的数据预处理方法，其包括：获取待处理特征值数据的集合；对所述待处理特征值数据的集合进行基于子集的关联特征分析以得到特征值数据间关联特征向量的序列；以所述特征值数据间关联特征向量的序列中的某一特征值数据间关联特征向量作为查询特征向量，计算其与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数；基于所述数据分布差异语义度量系数，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据。

3、在上述用于供应链计划系统的数据预处理方法中，所述待处理特征值数据为最迟补货期。

4、在上述用于供应链计划系统的数据预处理方法中，对所述待处理特征值数据的集合进行基于子集的关联特征分析以得到特征值数据间关联特征向量的序列，包括：对所述待处理特征值数据的集合进行数据预处理以得到特征值数据输入向量的序列；利用深度学习网络模型对所述特征值数据输入向量的序列进行特征提取以得到所述特征值数据间关联特征向量的序列。

5、在上述用于供应链计划系统的数据预处理方法中，对所述待处理特征值数据的集合进行数据预处理以得到特征值数据输入向量的序列，包括：将所述待处理特征值数据的集合进行子集划分以得到待处理特征值数据的子集的集合；将所述待处理特征值数据的子集的集合中的各个待处理特征值数据的子集按照特征值数据样本维度进行排列以得到所述特征值数据输入向量的序列。

6、在上述用于供应链计划系统的数据预处理方法中，所述深度学习网络模型为基于一维卷积层的特征值数据子集模式特征提取器。

7、在上述用于供应链计划系统的数据预处理方法中，利用深度学习网络模型对所述特征值数据输入向量的序列进行特征提取以得到所述特征值数据间关联特征向量的序列，包括：将所述特征值数据输入向量的序列中的各个特征值数据输入向量通过所述基于一维卷积层的特征值数据子集模式特征提取器以得到所述特征值数据间关联特征向量的序列。

8、在上述用于供应链计划系统的数据预处理方法中，以所述特征值数据间关联特征向量的序列中的某一特征值数据间关联特征向量作为查询特征向量，计算其与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数，包括：以如下数据分布差异语义度量公式来计算所述某一特征值数据间关联特征向量与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数；其中，所述数据分布差异语义度量公式为：；其中，是所述特征值数据间关联特征向量的序列中第个特征值数据间关联特征向量，即所述某一特征值数据间关联特征向量，是所述特征值数据间关联特征向量的序列中第个特征值数据间关联特征向量，表示特征向量的1范数，为所述特征值数据间关联特征向量的序列的长度-1，为所述特征值数据间关联特征向量的序列的表示，表示所述数据分布差异语义度量系数。

9、在上述用于供应链计划系统的数据预处理方法中，基于所述数据分布差异语义度量系数，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据，包括：基于所述数据分布差异语义度量系数与预定阈值之间的比较，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据。

10、在上述用于供应链计划系统的数据预处理方法中，还包括训练步骤：对所述基于一维卷积层的特征值数据子集模式特征提取器进行训练；其中，所述训练步骤，包括：获取训练待处理特征值数据的集合；将所述训练待处理特征值数据的集合进行子集划分以得到训练待处理特征值数据的子集的集合；将所述训练待处理特征值数据的子集的集合中的各个训练待处理特征值数据的子集按照特征值数据样本维度进行排列以得到训练特征值数据输入向量的序列；将所述训练特征值数据输入向量的序列中的各个训练特征值数据输入向量通过所述基于一维卷积层的特征值数据子集模式特征提取器以得到训练特征值数据间关联特征向量的序列；以所述训练特征值数据间关联特征向量的序列中的某一训练特征值数据间关联特征向量作为查询特征向量，计算其与所述训练特征值数据间关联特征向量的序列中的其他所有训练特征值数据间关联特征向量之间的训练数据分布差异语义度量系数；获取所述某一训练特征值数据间关联特征向量与所述训练特征值数据间关联特征向量的序列中的其他所有训练特征值数据间关联特征向量之间的数据分布差异语义度量系数的真实值；计算所述训练数据分布差异语义度量系数和所述数据分布差异语义度量系数的真实值之间的交叉熵函数值；以所述交叉熵函数值来作为差值损失函数值来对所述基于一维卷积层的特征值数据子集模式特征提取器进行训练，其中，在所述训练的每一轮迭代中，对所述训练特征值数据间关联特征向量的序列进行优化。

11、本发明实施例还提供了一种用于供应链计划系统的数据预处理系统，其包括：数据获取模块，用于获取待处理特征值数据的集合；关联特征分析模块，用于对所述待处理特征值数据的集合进行基于子集的关联特征分析以得到特征值数据间关联特征向量的序列；语义度量系数计算模块，用于以所述特征值数据间关联特征向量的序列中的某一特征值数据间关联特征向量作为查询特征向量，计算其与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数；是否存在异常数据判断模块，用于基于所述数据分布差异语义度量系数，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据。

12、与现有技术相比，本技术的用于供应链计划系统的数据预处理系统及其方法，其获取待处理特征值数据的集合；对所述待处理特征值数据的集合进行基于子集的关联特征分析以得到特征值数据间关联特征向量的序列；以所述特征值数据间关联特征向量的序列中的某一特征值数据间关联特征向量作为查询特征向量，计算其与所述特征值数据间关联特征向量的序列中的其他所有特征值数据间关联特征向量之间的数据分布差异语义度量系数；基于所述数据分布差异语义度量系数，确定所述某一特征值数据间关联特征向量对应的所述待处理特征值数据的子集内是否存在异常数据。这样，可以帮助供应链计划系统更好地理解和管理数据，从而提高决策的准确性和效率。