一种基于图论的分布式海量节点团体划分方法与流程

技术特征：
1.一种基于图论的分布式海量节点团体划分方法，其特征在于：保留对数加权关系权重和有限随机迭代gn的分布式切割，实现海量复杂网络的精准高效切割，利用ws小世界理论保证划分社区的聚类系数符合真实社交网络，具体包含如下步骤：步骤1，随机抽样：将话单通联数据整理成带通联频次的无向关系数据；步骤2，对数平滑：将通联频次直接作为边权重时，将边权重进行对数降级ln(e
i
)，为避免取对数后为0的情况，对所有ln(e
i
) 0.1进行平滑处理；步骤3，迭代去边：计算随机样本关系中每条边的加权中介中心性δ
st
(e)，删除最大中介中心性的边；步骤4，间隔抽样模块度；每删除m次边计算一次整个网络的模块度q，并保留当前网络探测结果；步骤5，多核多进程分布式计算：迭代计算中介中心性后需要重新探测网布网络节点的最短路径；将最短路径封装为单独的方法，调用多核服务器的全部资源进行计算，并将全部节点作为任务分发到不同计算子机器进行分布式计算；在切割2/3边之后，选择最大模块度q对应的探测结果；步骤6，ws小世界验证：探测后的每个子团体都需要符合真实世界社交结构，采用ws小世界聚类系数c来验证探测结果收敛性。2.根据权利要求1所述的一种基于图论的分布式海量节点团体划分方法，其特征在于：所述步骤1具体如下：每次随机取m条边，计算边的中介中心性，每迭代删除m次边计算一次模块度，其中，k和m的取值与全部边数n有关，具体如下：3.根据权利要求1所述的一种基于图论的分布式海量节点团体划分方法，其特征在于：在步骤3中：计算随机样本关系中每条边的加权中介中心性δ
st
(e)，具体计算如下：其中，σ
st
(e)表示经过边e的s
→
t的最短路径条数，σ
st
表示s
→
t的最短路径条数。4.根据权利要求1所述的一种基于图论的分布式海量节点团体划分方法，其特征在于：在步骤4中：模块度q的具体计算如下：其中，e
ij
表示社区i和社区j之间的边的数量，a
i
＝∑
i
e
ij
，表示所有连接到社区i的边数量。5.根据权利要求1所述的一种基于图论的分布式海量节点团体划分方法，其特征在于：所述步骤6具体如下：
其中，n为网络的节点数，k
i
为节点i与另外k
i
个节点相连，e
i
为这k
i
个节点之间的边数，当某子团体的聚类系数大于0.4时，则认为是符合真实结构的有效团体，对于聚类系数小于0.4的无效团体，则将该团体加入与该团体连接最多的有效团体中。

技术总结
本发明公开了一种基于图论的分布式海量节点团体划分方法，属于社交网络探测领域，通过对复杂网络关系的随机采样，结合加权对数GN算法进行切割，间隔计算模块度并分布式有限迭代，能在短时间内完成10万 量级节点关系的复杂网络切割，并对切割后的团体进行WS小世界验证，该方法能有效克服已存在方法的缺陷，能确保精准高效真实的社交网络探测，本发明保留对数加权关系权重和有限随机迭代的分布式切割，实现海量复杂网络的精准高效切割，利用小世界理论保证划分社区的聚类系数符合真实社交网络。络。络。


技术研发人员：李春霞 田小虎 彭艳兵 邱秀连 王峥
受保护的技术使用者：南京烽火星空通信发展有限公司
技术研发日：2022.04.29
技术公布日：2022/8/16