基于人工智能的网站地图生成方法、系统、设备及介质与流程

本发明涉及网站地图，尤其涉及基于人工智能的网站地图生成方法、系统、设备及介质。

背景技术：

1、在当今的互联网生态中，电子商务网站(电商平台)的繁荣使得网站地图(sitemap)成为了优化网站结构、提升搜索引擎排名(seo)不可或缺的工具。传统的网站地图生成方法，如利用xml网站地图生成器或在线服务，通过自动化手段极大地减轻了人工编写网站地图的负担，为搜索引擎提供了清晰的网站结构与内容概览，有效促进了网站内容的索引与排名。

2、然而，在电子商务这一特定领域内，网站地图的生成与优化面临着独特的挑战：

3、1.商品信息的频繁变更：电子商务网站上的商品信息，如商品上架、下架、价格调整等，变动频繁且迅速。这种动态性要求网站地图必须能够实现实时更新，以确保搜索引擎能够抓取到最新的页面信息。传统静态或半动态的网站地图生成方式难以跟上这种快速变化的节奏，容易导致搜索引擎索引到的页面信息过时，进而影响商品的搜索排名和曝光率。

4、2.海量页面与关键页面识别：大型电商网站的页面数量庞大，可能达到上百万甚至上千万级别。在这样的规模下，如何有效识别出对seo至关重要的页面(如热销商品页面、高转化率页面等)，并在网站地图中给予合理的链接权重分配，成为了一个亟待解决的问题。传统的分析算法在处理如此大规模的数据时，往往效率低下，难以满足实时生成和优化网站地图的需求。

5、3.增量更新与准确性问题：虽然增量更新方法可以在一定程度上缓解全量更新的压力，但在电子商务网站中，仅仅依赖增量更新难以准确捕捉到关键页面的细微变化。例如，商品描述的微调、图片的更换等，虽然看似细微，但可能对用户的购买决策和搜索引擎的评估产生重要影响。

技术实现思路

1、本发明的目的在于提供基于人工智能的网站地图生成方法、系统、设备及介质，以解决上述现有技术问题的至少之一。

2、第一方面，本发明提供了基于人工智能的网站地图生成方法，所述方法具体包括：

3、采用网页爬虫技术获取若干个网页的url地址和对应的页面内容，形成网页内容语料库；

4、采用自然语言处理技术对所述网页内容语料库进行内容提取和内容处理，获得文本特征向量；

5、基于所述文本特征向量，采用文本相似度算法计算不同网页的页面内容之间的相似度得分，通过比较所述相似度得分和预设相似度得分阈值确定若干个近似重复网页组，或者，基于所述文本特征向量，采用k-means聚类算法对多个网页进行聚类分析，确定若干个近似重复网页组；

6、通过评估每个近似重复网页组中每个近似重复网页的重要性，确定每个近似重复网页组中重要性最高的近似重复网页；

7、将所述近似重复网页组之外的若干个网页和每个近似重复网页组中重要性最高的近似重复网页录入网站地图，并对所述网站地图中的每个网页进行安全风险评估。

8、第二方面，本发明提供了基于人工智能的网站地图生成系统，所述系统具体包括：

9、第一生成模块，用于采用网页爬虫技术获取若干个网页的url地址和对应的页面内容，形成网页内容语料库；

10、第二生成模块，用于采用自然语言处理技术对所述网页内容语料库进行内容提取和内容处理，获得文本特征向量；

11、第三生成模块，用于基于所述文本特征向量，采用文本相似度算法计算不同网页的页面内容之间的相似度得分，通过比较所述相似度得分和预设相似度得分阈值确定若干个近似重复网页组，或者，基于所述文本特征向量，采用k-means聚类算法对多个网页进行聚类分析，确定若干个近似重复网页组；

12、第四生成模块，用于通过评估每个近似重复网页组中每个近似重复网页的重要性，确定每个近似重复网页组中重要性最高的近似重复网页；

13、第五生成模块，用于将所述近似重复网页组之外的若干个网页和每个近似重复网页组中重要性最高的近似重复网页录入网站地图，并对所述网站地图中的每个网页进行安全风险评估。

14、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的基于人工智能的网站地图生成方法。

15、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于人工智能的网站地图生成方法。

16、与现有技术相比，本发明具有以下技术效果的至少之一：

17、1、本发明能够有效提升网站地图的质量和时效性，优化搜索引擎对网站的收录和排名，提高网站的可见度和流量。

18、2、本发明解决了网站内容重复、网页价值评估和网站地图优化等问题，有效提升了搜索引擎收录效率和用户访问体验。

19、3、本发明通过多维度分析实现了网页内容的智能去重和优化，为网站管理者提供了一种高效的网页管理方案，有助于提高网站整体质量和搜索引擎排名。

20、4、本发明不仅能够自动生成准确反映网站最新状态的网站地图，还能有效识别和处理近似重复内容，为网站提供个性化的seo优化建议，从而显著提升网站的搜索引擎排名和用户体验，满足当前互联网环境下对网站优化的高要求。

技术特征：

1.基于人工智能的网站地图生成方法，其特征在于，所述方法具体包括：

2.根据权利要求1所述的方法，其特征在于，所述采用网页爬虫技术获取若干个网页的url地址和对应的页面内容，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述采用自然语言处理技术对所述网页内容语料库进行内容提取和内容处理，获得文本特征向量，具体包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述文本特征向量，采用文本相似度算法计算不同网页的页面内容之间的相似度得分，通过比较所述相似度得分和预设相似度得分阈值确定若干个近似重复网页组，具体包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述文本特征向量，采用k-means聚类算法对多个网页进行聚类分析，确定若干个近似重复网页组，具体包括：

6.根据权利要求1所述的方法，其特征在于，所述通过评估每个近似重复网页组中每个近似重复网页的重要性，确定每个近似重复网页组中重要性最高的近似重复网页，具体包括：

7.根据权利要求1所述的方法，其特征在于，所述对所述网站地图中的每个网页进行安全风险评估，具体包括：

8.基于人工智能的网站地图生成系统，其特征在于，所述系统具体包括：

9.一种计算机设备，其特征在于，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如权利要求1至7中任一项所述的基于人工智能的网站地图生成方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至7中任一项所述的基于人工智能的网站地图生成方法。

技术总结本发明提供了基于人工智能的网站地图生成方法、系统、设备及介质，所述方法具体包括：基于文本特征向量，采用文本相似度算法计算不同网页的页面内容之间的相似度得分，通过比较所述相似度得分和预设相似度得分阈值确定若干个近似重复网页组；通过评估每个近似重复网页组中每个近似重复网页的重要性，确定每个近似重复网页组中重要性最高的近似重复网页；将所述近似重复网页组之外的若干个网页和每个近似重复网页组中重要性最高的近似重复网页录入网站地图，并对所述网站地图中的每个网页进行安全风险评估。本发明解决了网站内容重复、网页价值评估和网站地图优化等问题，有效提升了搜索引擎收录效率和用户访问体验。技术研发人员：周桂麟,徐治钦受保护的技术使用者：广州盈风网络科技有限公司技术研发日：技术公布日：2025/1/6