一种应用于融合信息的农产品信息聚类方法及系统与流程

本技术涉及信息处理，特别涉及一种应用于融合信息的农产品信息聚类方法及系统。

背景技术：

1、随着信息技术的快速发展，各类信息呈爆炸式增长。在农产品企业营销和客户管理中，往往需要处理大量来自不同农产品营销渠道的信息，如客户信息、农产品销售信息、农产品市场反馈等。这些信息通常被称为融合信息，具有数据量大、类型多样、来源分散等特点。如何有效地管理和利用融合信息，挖掘其中的价值，是企业面临的重要课题。

2、公开号为cn109544248a的中国专利公开了一种基于互联网信息进行销售线索挖掘的方法，包括：通过确定哪些因素会影响线索挖掘的数量：线索的来源渠道不够，只停留在传统的线索获取渠道，比如网站、电话、邮寄；营销团队在营销策略设计时，对线索的获取方式和场景考虑不周全；如何获取更多的销售线索：深入研究产品的目标客户特征，对目标客户进行多维度的分析，找到目标客户可能出现的地方和场景；通过多种渠道获取线索，不依赖某一种线索来源，多做尝试；如何确定高质量线索：线索中的联系人对产品感兴趣或者有明确的购买意向；线索中的联系人对购买产品有决策权；线索包含的数据维度有助于销售人员做后续的跟进和转化；如何提高了销售线索的质量：对不同渠道来源的线索质量进行数据化的评估；从高质量线索的标准出发，在线索获取的时候，就引入高质量线索的数据维度和比较合适的线索获取投放场景。

3、传统的农产品供需评估方法在农产品多源异构信息融合方面存在局限性，难以充分挖掘农产品多维属性、销售行为、供需关系等融合信息的价值，未能全面刻画农产品的特征，未能充分考虑不同农产品购买群体的差异性，导致农产品供需评估和推荐的精准度不高。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术的一个目的在于提出一种应用于融合信息的农产品信息聚类方法及系统，提高了农产品供需信息推荐的精准性和个性化。

2、本技术的一个方面提供了一种应用于融合信息的农产品信息聚类方法，包括：

3、步骤s100：收集农产品的结构化属性数据、销售行为数据和供需网络数据，构成原始数据集d；

4、所述收集农产品的结构化属性数据、销售行为数据和供需网络数据，构成原始数据集d的具体方法为：

5、步骤s110：从农产品信息管理数据库中收集农产品的结构化属性数据，包括：农产品类别属性、农产品价值属性，其中，表示结构化属性数据的数量；表示第个结构化属性数据；

6、步骤s120：从电商平台上收集农产品的销售行为数据，包括：浏览记录、购买记录、搜索记录，其中，表示销售行为数据的数量；表示第个销售行为数据；

7、步骤s130：从供需媒体平台上收集农产品的供需网络数据，包括：供应信息、需求信息、交易数据，其中，表示供需网络数据的数量；表示第个供需网络数据；

8、步骤s140：由结构化属性数据、销售行为数据和供需网络数据进行预处理，得到原始数据集；

9、步骤s200：对农产品的结构化属性数据、销售行为数据和供需网络数据进行特征学习，得到属性特征、行为特征和供需特征并进行特征融合得到农产品多视图特征表示；

10、所述对农产品的结构化属性数据、销售行为数据和供需网络数据进行特征学习，得到属性特征、行为特征和供需特征并进行特征融合得到农产品多视图特征表示的具体方法为：

11、步骤s210：使用自编码器对结构化属性数据进行特征学习，提取得到属性特征；

12、所述使用自编码器对结构化属性数据进行特征学习，提取得到属性特征的具体方法为：

13、步骤s211：构建自编码器，所述自编码器包括编码器和解码器；

14、步骤s212：利用结构化属性数据训练自编码器，以重构损失和正则化损失作为训练自编码器的损失函数，以最小化损失函数作为训练目标，对自编码器的权重矩阵和偏置向量进行优化；

15、所述自编码器的优化目标为：，其中，为输入数据与输出数据之间的重构损失，为正则化项，λ为正则化系数，表示对权重矩阵w和偏置向量b进行最小化；

16、步骤s213：当权重矩阵w和偏置向量b达到最小值时，得到训练好的自编码器，将编码器部分提取出来，对结构化属性数据进行前向传播，得到属性特征；

17、步骤s220：使用lda主题模型和word2vec分别对销售行为数据进行特征学习，得到行为特征，所述行为特征包括主题行为特征和词嵌入行为特征；

18、所述lda主题模型是一种生成式概率模型，用于发现文档集合中潜在的主题。

19、所述word2vec是一种用于词向量表示的模型，通过神经网络将词映射到向量空间，使得具有相似语义的词在向量空间中彼此接近。

20、所述使用lda主题模型和word2vec分别对销售行为数据进行特征学习，得到行为特征，所述行为特征包括主题行为特征和词嵌入行为特征的具体方法为：

21、使用lda主题模型对销售行为数据进行特征学习，对销售行为数据中的购买记录中每个主题的关键词进行概率分布的统计，得到主题行为特征；

22、所述lda主题模型的公式为：，其中，表示在销售行为数据的购买记录d中观察到关键词的概率，为购买记录的第k个主题，k表示主题的总数；k≤k；

23、将最大化销售行为数据中的中心词和背景词的共现频率，以及最小化中心词和负样本词的共现频率作为训练word2vec的目标函数，得到word2vec；

24、所述word2vec的目标函数为：

25、；

26、其中，表示最大化销售行为数据中的中心词和背景词的共现频率，表示最小化中心词和负样本词的共现频率，表示中心词wo的向量嵌入的转置，表示背景词wi的向量嵌入，表示负采样词，k'表示负采样的次数，表示对k'个负采样词的损失求平均值；表示第次负采样；≤k'；

27、使用word2vec对销售行为数据进行特征学习，得到每个关键词的嵌入向量，将嵌入向量进行拼接得到词嵌入行为特征；

28、步骤s230：使用图卷积网络对供需网络数据进行特征学习，得到供需特征；

29、所述图卷积网络的训练过程为：将供需网络数据中的每个农产品视为一个农产品节点，创建节点集合v，将农产品之间的供需关系作为边，边的权重根据供需关系的强度进行设置，构建边集合，得到农产品供需网络图；

30、为每个农产品节点提取农产品的节点特征，所述节点特征包括：农产品的供应量、需求量、价格波动，将每个节点特征表示为一个向量，构建节点特征矩阵；

31、根据边集合构建邻接矩阵a，其中矩阵a中元素的值为边(i，j)的权重；i和j分别表示农产品节点i和农产品节点j；

32、初始化图卷积网络的层数l和每层的权重矩阵，将节点特征矩阵作为初始的节点表示；

33、对于每一层l，l∈[1，l]，将其邻接矩阵进行归一化得到；

34、根据上一层的节点表示、权重矩阵和归一化的邻接矩阵，通过激活函数得到下一层的节点表示，计算公式为：，得到最后一层的节点表示作为节点的供需特征；为激活函数；

35、使用交叉熵损失函数作为训练图卷积网络的损失函数，使用反向传播算法和优化器最小化损失函数，当损失函数达到最小值时，训练完成，得到训练好的图卷积网络；

36、步骤s240：将学习到的属性特征、行为特征、供需特征进行特征融合，得到农产品多视图特征表示e；

37、所述农产品多视图特征表示，为农产品多视图特征表示的子特征，；

38、步骤s300：使用聚类算法在属性特征上将农产品划分为个属性簇，在行为特征上将农产品划分为个行为簇，在供需特征上将农产品划分为个供需簇；

39、所述使用聚类算法在属性特征上将农产品划分为个属性簇，在行为特征上将农产品划分为个行为簇，在供需特征上将农产品划分为个供需簇的具体方法为：

40、所述在属性特征上将农产品划分为个属性簇的具体方法为：

41、步骤s311：随机确定个聚类中心，对于每个农产品，将其视作一个样本点，计算与该样本点距离最近的一个聚类中心，将该样本点分配给对应的聚类中心，每个聚类中心及其样本点为一个聚类；

42、步骤s312：对于每个聚类，重新计算其聚类中心，以该聚类中样本点的平均值作为新的聚类中心；

43、步骤s313：重新划分每个样本点到距离其最近的聚类中心的聚类中，直到聚类结果不再变化时停止，得到个基于属性特征进行聚类的农产品的属性簇；

44、所述在行为特征上将农产品划分为个行为簇的具体方法为：

45、步骤s321：通过已训练好的lda主题模型学习得到销售行为数据中的购买记录中的主题分布，得到个主题，利用k-means聚类算法按照主题行为特征对农产品进行分类，得到个主题行为簇；

46、步骤s322：根据词嵌入行为特征，使用k-means聚类算法将农产品基于行为模式进行分类，得到个词嵌入行为簇；

47、所述在供需特征上将农产品划分为个供需簇的具体方法为：

48、步骤s331：将每个农产品节点设定为一个社区，则初始社区数量为节点集合v的数量，计算农产品供需网络图中的总边权重为，表示农产品供需网络图中供需关系强度的总和；

49、步骤s332：对于每个农产品节点i，遍历其所有邻居农产品节点j，计算农产品节点i分配给邻居农产品节点j所在社区时的模块度q的变化量；

50、所述模块度q的计算公式为：，其中，、为与农产品节点i、农产品节点j相连的边权重之和，指农产品i和农产品j所属的社区是否为相同，当相同时为1，否则为0；

51、步骤s333：计算每个农产品节点分配给每个社区的模块度，得到模块度提升最大所对应的社区，将该农产品节点分配给该社区，直到社区分配的农产品节点的结果不再变化；

52、步骤s334：将每个社区看作一个社区节点，构建社区网络，将社区节点之间的边权重设定为原始每个社区之间的边权重之和，社区节点的自环边权重为原始每个社区内部的边权重之和；

53、步骤s335：根据社区网络得到社区划分结果，每个社区代表一个根据农产品的供需特征划分的供需簇；

54、步骤s400：利用属性簇、行为簇和供需簇，对每一个簇构建群体画像，实时获取当前农产品的农产品信息，计算该农产品与每个簇之间的隶属度分数，根据隶属度分数计算该农产品的供需评分；

55、所述利用属性簇、行为簇和供需簇，对每一个簇构建群体画像，实时获取当前农产品的农产品信息，计算该农产品与每个簇之间的隶属度分数，根据隶属度分数计算该农产品的供需评分的具体方法为：

56、步骤s410：将属性簇、行为簇和供需簇进行编号，对于第ri个簇的第rj个特征，计算该簇内所有农产品在该特征上的均值和标准差，得到第ri个簇的群体画像，表示第ri个簇的第rj个特征上的均值和标准差，rj表示特征的总数量，rj∈{1,2,...,rj}；所述特征是指属性簇、行为簇和供需簇分别对应的属性特征、行为特征、供需特征；

57、步骤s420：计算农产品与每个群体画像之间的距离，并将距离转化为隶属度分数；

58、所述隶属度分数的计算公式为：，其中，vi表示农产品vi，表示农产品vi与第ri个簇的群体画像之间的距离，γ为控制参数；表示农产品vi的隶属度分数；

59、步骤s430：根据农产品与各个簇之间的隶属度分数，计算该农产品的供需评分；

60、所述供需评分的计算公式为：，其中表示第ri个簇的权重系数，表示农产品vi在所有簇中的最大隶属度分数；

61、步骤s500：根据农产品的隶属度分数，选取与该农产品最相似的个簇作为该农产品的候选供需集合，将候选供需集合按照隶属度分数降序排序，生成该农产品的条供需信息；

62、所述根据农产品的隶属度分数，选取与该农产品最相似的个簇作为该农产品的候选供需集合，将候选供需集合按照隶属度分数降序排序，生成该农产品的条供需信息的具体方法为：

63、步骤s510：计算农产品与每个簇的隶属度分数，将每个簇按照隶属度分数进行降序排序，选取前个簇作为该农产品的候选供需集合；

64、步骤s520：按照排序后的簇的序列，从候选供需集合中依次选取簇，根据该簇的特征生成该农产品的条供需信息。

65、本技术的一个方面提供了一种应用于融合信息的农产品信息聚类系统，包括：

66、数据集构建模块，用于收集农产品的结构化属性数据、销售行为数据和供需网络数据，构成原始数据集d；

67、特征融合模块，用于对农产品的结构化属性数据、销售行为数据和供需网络数据进行特征学习，得到属性特征、行为特征和供需特征并进行特征融合得到农产品多视图特征表示；

68、聚类簇划分模块，用于使用聚类算法在属性特征上将农产品划分为个属性簇，在行为特征上将农产品划分为个行为簇，在供需特征上将农产品划分为个供需簇；

69、供需评分计算模块，用于利用属性簇、行为簇和供需簇，对每一个簇构建群体画像，实时获取当前农产品的农产品信息，计算该农产品与每个簇之间的隶属度分数，根据隶属度分数计算该农产品的供需评分；

70、个性化推荐模块，用于根据农产品的隶属度分数，选取与该农产品最相似的个簇作为该农产品的候选供需集合，将候选供需集合按照隶属度分数降序排序，生成该农产品的条供需信息。

71、本技术的一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现一种应用于融合信息的农产品信息聚类方法中的步骤。

72、本技术的一个方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行一种应用于融合信息的农产品信息聚类方法中的步骤。

73、本技术提出的一种应用于融合信息的农产品信息聚类方法及系统相对于现有技术，具备以下优点：

74、本技术考虑了结构化属性数据、销售行为数据和供需网络数据等多种数据源，针对不同数据类型提出了相应的预处理和特征学习方法，如自编码器、lda、word2vec、gcn，这种多源数据融合的思路有助于全面刻画农产品特征，提升供需评估的精准度。

75、在农产品聚类时，本技术采用了多维度聚类的思路，在不同的特征子空间分别进行聚类，然后再融合不同维度的聚类结果，这种多粒度、多角度的聚类方式能够捕捉农产品的多样性和差异性，得到更加精细和全面的农产品画像。

76、在群体画像构建时，本技术不仅考虑了聚类中心，还引入了聚类的标准差信息，从均值和离散度两个层面刻画群体特征，在供需评分时，提出了隶属度分数计算的方法，量化了农产品对不同聚类的相对匹配程度，这些细粒度的建模有助于挖掘农产品的隐藏供需关系，提高供需匹配的精准度。

77、本技术从数据、算法、策略等多个层面体现了个性化的思想，力求从群体和个体两个层面，挖掘农产品的差异化特征和供需关系，提供量身定制的农产品供需关系匹配服务，这种个性化的理念与当前的农产品精准营销趋势高度契合。