一种链上多模态数字内容的标识集构建方法及装置

本发明涉及本发明涉及计算机、人工智能、区块链，并特别涉及一种链上多模态数字内容的标识集构建方法、装置、存储介质和电子装置。

背景技术：

1、在当前的数字化时代，新兴的区块链技术，如matic、ethereum和optimism，已经革命性地促进了去中心化资产交易和数据存储。这些技术借助全球分布的节点网络，实现了数据存储的去中心化，为数字内容带来了空前的自由度和安全性。然而，这种去中心化结构同时也对内容监管提出了重大挑战。特别值得关注的是，区块链上的数字内容，包括媒体文件，可能会经历动态演化，即一开始合规的内容随着时间变化后可能演变成不当或不适宜的内容，从而可能引发法律和道德问题，乃至社会混乱。当前的内容监测技术，大多基于静态的内容标识集，难以适应区块链环境下内容的高度虚拟性、多样性、以及这种动态变化性。

2、尽管区块链技术提供了诸多优势，但现有的内容监测方法在应对区块链环境中的动态和多样性内容时显得力不从心。主要问题在于，这些方法依赖于静态的内容标识集，缺乏对新兴数字内容快速演变的适应性。此外，现有技术无法有效处理多模态内容，如图像、视频和音频，这限制了它们在全面内容理解和分类中的应用范围。

3、目前技术对于多模态内容的支持并不完善，同时，现有技术大多为通用框架，对于新型链上数字内容的处理并没有达到良好的效果。

技术实现思路

1、针对当前针对新型数字链上的内容标识的缺失问题，本发明提出一种针对性的多模态数字内容标识集发现和构建技术。

2、具体来说，如图3所示，本发明提出了一种链上多模态数字内容的标识集构建方法，其中包括：

3、智能合约事件监测步骤1，利用区块链交互库，对目标智能合约中的元数据更新事件进行监测，当该目标智能合约的元数据发生更新，执行跨模态转换步骤；

4、跨模态转换步骤2，采用多模态模型，分析更新后的元数据，将其转换成文本描述；

5、文本特征提取步骤3，提取该文本描述和该元数据的语义信息，得到其高维语义特征；

6、降维处理步骤4，将该高维语义特征转换到低维空间，得到低维语义特征；

7、聚类分析步骤5，根据该低维语义特征对该文本描述和该元数据的语义信息进行聚类，得到多个聚类，每个聚类对应一个新主题；

8、主题提取分类步骤6，从每个聚类中提取关键词，作为该新主题的主题内容，将各个新主题和其对应的主题内容作为该目标智能合约的数字内容标识集构建结果。

9、所述的链上多模态数字内容的标识集构建方法，其中该多模态模型为闭源模型gpt-4、gemini和开源qwenvl、llava。

10、所述的链上多模态数字内容的标识集构建方法，其中该元数据包括图像，和/或文字，和/或视频。

11、所述的链上多模态数字内容的标识集构建方法，其中该主题提取分类步骤包括：

12、根据tf-idf分数提取每个新主题的多个候选关键词，利用keybert对候选关键词的特征进行微调，得到各候选关键词的候选特征，为每个新主题抽取代表性文档，将代表性文档嵌入并平均化以创建新主题的主题特征；选择该候选特征与该主题特征相似度最高的多个候选关键词作为新主题的该主题内容。

13、本发明还提出了一种链上多模态数字内容的标识集构建装置，其中包括：

14、智能合约事件监测模块，利用区块链交互库，对目标智能合约中的元数据更新事件进行监测，当该目标智能合约的元数据发生更新，执行跨模态转换模块；

15、跨模态转换模块，采用多模态模型，分析更新后的元数据，将其转换成文本描述；

16、文本特征提取模块，提取该文本描述和该元数据的语义信息，得到其高维语义特征；

17、降维处理模块，将该高维语义特征转换到低维空间，得到低维语义特征；

18、聚类分析模块，根据该低维语义特征对该文本描述和该元数据的语义信息进行聚类，得到多个聚类，每个聚类对应一个新主题；

19、主题提取分类模块，从每个聚类中提取关键词，作为该新主题的主题内容，将各个新主题和其对应的主题内容作为该目标智能合约的数字内容标识集构建结果。

20、所述的链上多模态数字内容的标识集构建装置，其中该多模态模型为闭源模型gpt-4、gemini和开源qwenvl、llava。

21、所述的链上多模态数字内容的标识集构建装置，其中该元数据包括图像，和/或文字，和/或视频。

22、所述的链上多模态数字内容的标识集构建装置，其中该主题提取分类模块包括：

23、根据tf-idf分数提取每个新主题的多个候选关键词，利用keybert对候选关键词的特征进行微调，得到各候选关键词的候选特征，为每个新主题抽取代表性文档，将代表性文档嵌入并平均化以创建新主题的主题特征；选择该候选特征与该主题特征相似度最高的候选关键词作为新主题的该主题内容。

24、本发明还提出了一种电子设备，其中包括所述的一种链上多模态数字内容的标识集构建装置。

25、所述的电子设备，其中该电子设备连接有信息显示设备，该信息显示设备用于以用户设置的显示参数、属性或通过人工智能模型，显示该数字内容标识集构建结果。

26、本发明还提出了一种存储介质，用于存储一种执行所述链上多模态数字内容的标识集构建方法的计算机程序。

27、由以上方案可知，本发明的优点在于：

28、1.多模态内容理解

29、本发明采用先进的多模态模型，能够理解并分析多种类型的数字内容，包括文本、图像、视频和音频。通过这种多模态方法，本技术能够提供更全面的内容分析，捕捉不同内容形式中的关键信息，实现更准确的主题构建和内容分类。

30、2.动态演化与合约监测

31、智能合约事件监测技术使得本专利能够实时监测和应对区块链上nft及其他数字资产元数据的动态变化，从而实现对去中心化数字内容的高效和精确管理。

32、3.自适应主题构建与分类

33、本专利的技术架构具有高度的模块化和灵活性，每个步骤都可以根据技术发展和特定需求进行优化或替换。这不仅确保了该方法的持续有效性，也使其能够适应未来技术的进步和新型链上内容的不断演化。

34、4.可拆卸化与可技术更新性

35、结合多模态理解和主题分析，本技术能够自适应地发现并构建新出现的内容主题，并对这些主题进行细致的分类。这种自适应能力是通过持续学习不断动态演化的区块链内容而实现的，确保了技术的时效性和有效性。

技术特征：

1.一种链上多模态数字内容的标识集构建方法，其特征在于，包括：

2.如权利要求1所述的链上多模态数字内容的标识集构建方法，其特征在于，该多模态模型为闭源模型gpt-4、gemini和开源qwenvl、llava。

3.如权利要求1所述的链上多模态数字内容的标识集构建方法，其特征在于，该元数据包括图像，和/或文字，和/或视频。

4.如权利要求1所述的链上多模态数字内容的标识集构建方法，其特征在于，该主题提取分类步骤包括：

5.一种链上多模态数字内容的标识集构建装置，其特征在于，包括：

6.如权利要求5所述的链上多模态数字内容的标识集构建装置，其特征在于，该多模态模型为闭源模型gpt-4、gemini和开源qwenvl、llava。

7.如权利要求5所述的链上多模态数字内容的标识集构建装置，其特征在于，该元数据包括图像，和/或文字，和/或视频。

8.如权利要求5所述的链上多模态数字内容的标识集构建装置，其特征在于，该主题提取分类模块包括：

9.一种电子设备，其特征在于，包括权利要求5-8所述的一种链上多模态数字内容的标识集构建装置。

10.如权利要求9所述的电子设备，其特征在于，该电子设备连接有信息显示设备，该信息显示设备用于以用户设置的显示参数、属性或通过人工智能模型，显示该数字内容标识集构建结果。

11.一种存储介质，用于存储一种执行权利要求1-4所述链上多模态数字内容的标识集构建方法的计算机程序。

技术总结本发明提出一种链上多模态数字内容的标识集构建方法及装置，包括：利用区块链交互库，对目标智能合约中的元数据更新事件进行监测，当该目标智能合约的元数据发生更新，采用多模态模型，分析更新后的元数据，将其转换成文本描述；提取该文本描述和该元数据的语义信息，得到其高维语义特征；将该高维语义特征转换到低维空间，得到低维语义特征；根据该低维语义特征对该文本描述和该元数据的语义信息进行聚类，得到多个聚类，每个聚类对应一个新主题；从每个聚类中提取关键词，作为该新主题的主题内容，将各个新主题和其对应的主题内容作为该目标智能合约的数字内容标识集构建结果。技术研发人员：陈宏硕,曹逸轩,叶世伟,罗平受保护的技术使用者：中国科学院计算技术研究所技术研发日：技术公布日：2024/8/5