基于多模态的活动策划方法及装置与流程

本公开涉及计算机，尤其涉及一种基于多模态的活动策划方法及装置。

背景技术：

1、目前，常见的举办活动方法需要大量的人力在整个过程中进行策划、组织、宣传等工作，且每次活动的相关资料如流程、内容、宣发物料等数据通常都是分散的，难以对以往会议成功举办的经验进行充分利用和学习。其中，宣传物料，如宣传视频、横幅等制作通常需要专业美术人员操作，不仅流程繁琐，成本高昂，整体的策划周期也相对较长。也就是说，目前活动筹备过程中，存在大量重复性工作依赖人工完成，需要花费大量的时间和精力进行定制，且传统的活动筹办方案较为固化，难以根据不同活动类型和需求进行灵活的调整与优化，活动过程中产生的大量数据如会议记录、宣传资料等通过难以保存和利用。

2、因此，提供一种能够提高活动筹备效率的方法，降低活动成本，是目前亟待解决的问题。

技术实现思路

1、有鉴于此，本申请提出一种基于多模态的活动策划方法及装置，以解决上述问题。

2、本申请一方面，提出一种基于多模态的活动策划方法，包括如下步骤：

3、接收用户活动筹备请求；

4、根据所述用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果；

5、根据所述目标检索结果生成对应的活动方案和活动宣传物料。

6、作为本申请的一可选实施方案，可选地，所述根据所述用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果，包括：

7、根据所述用户活动筹备请求，利用所述检索增强生成模型生成对应的检索查询；

8、基于所述检索查询在所述多模态知识库中进行检索，得到目标检测结果。

9、作为本申请的一可选实施方案，可选地，在根据所述用户活动筹备请求，利用所述检索增强生成模型生成对应的查询向量之前，还包括：

10、利用预训练的transformer模型根据原始输入文本生成对应的查询；

11、根据所述查询在所述多模态知识库中进行检索，得到检索文档；

12、将所述检索文档与所述原始输入文本融合，输入所述transformer模型进行模型预训练。

13、作为本申请的一可选实施方案，可选地，所述根据所述目标检测结果生成对应的活动方案和活动宣传物料，包括：

14、对所述目标检测结果进行编码，生成对应的文档向量；

15、将所述文档向量输入生成模型，得到对应的活动方案和活动宣传物料。

16、作为本申请的一可选实施方案，可选地，所述接收用户活动筹备请求之前，还包括：

17、预先构建多模态知识库。

18、作为本申请的一可选实施方案，可选地，所述预先构建多模态知识库，包括：

19、获取文本素材，并提取所述文本素材中的文本关键信息；

20、获取图像和视频素材，并提取所述图像和视频素材中的图像关键信息；

21、将所述文本关键信息和所述图像关键信息采用多模态融合技术构建多模态知识库。

22、作为本申请的一可选实施方案，可选地，所述将所述文本关键信息和所述图像关键信息采用多模态融合技术构建多模态知识库，包括：

23、将所述文本关键信息和所述图像关键信息分别转换为对应的向量嵌入；

24、利用多层的transformer编码器对不同模态的所述向量嵌入进行多次融合，得到融合后的表示向量；

25、利用融合后的所述表示向量及关联关系构建多模态知识库。

26、作为本申请的一可选实施方案，可选地，在根据所述目标检索结果生成对应的活动方案和活动宣传物料之后，还包括：

27、利用生成对抗网络对所述活动方案和所述活动宣传物料进行优化。

28、本申请另一方面，提供一种装置，用于实现上述任一项所述的基于多模态的活动策划方法，包括：

29、请求接收模块，被配置为接收用户活动筹备请求；

30、检索模块，被配置为根据所述用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果；

31、生成模块，被配置为根据所述目标检索结果生成对应的活动方案和活动宣传物料。

32、本申请另一方面，提供一种控制系统，包括：

33、处理器；

34、用于存储处理器可执行指令的存储器；

35、其中，所述处理器被配置为执行所述可执行指令时实现上述任一项所述的基于多模态的活动策划方法。

36、本发明的技术效果：

37、本申请利用检索增强生成技术通过在检索和生成过程中引入多模态知识库，能够生成更加丰富、语义连贯的内容。具体的，包括：接收用户活动筹备请求；根据用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果；根据目标检索结果生成对应的活动方案和活动宣传物料。本申请利用知识库和智能规划算法，根据企业特点和活动需求，快速自动生成优化的活动方案。通过多模态ai生成技术，实现活动宣传物料、现场布置等环节的自动化和个性化，为活动策划提供沉浸式预览和体验服务，有效解决了传统活动筹备的低效、高成本、难定制等痛点，为园区企业提供全新的智能化活动服务。

38、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

技术特征：

1.一种基于多模态的活动策划方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多模态的活动策划方法，其特征在于，所述根据所述用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果，包括：

3.根据权利要求2所述的基于多模态的活动策划方法，其特征在于，在根据所述用户活动筹备请求，利用所述检索增强生成模型生成对应的查询向量之前，还包括：

4.根据权利要求1所述的基于多模态的活动策划方法，其特征在于，所述根据所述目标检测结果生成对应的活动方案和活动宣传物料，包括：

5.根据权利要求1-4任一项所述的基于多模态的活动策划方法，其特征在于，所述接收用户活动筹备请求之前，还包括：

6.根据权利要求5所述的基于多模态的活动策划方法，其特征在于，所述预先构建多模态知识库，包括：

7.根据权利要求6所述的基于多模态的活动策划方法，其特征在于，所述将所述文本关键信息和所述图像关键信息采用多模态融合技术构建多模态知识库，包括：

8.根据权利要求1-4任一项所述的基于多模态的活动策划方法，其特征在于，在根据所述目标检索结果生成对应的活动方案和活动宣传物料之后，还包括：

9.一种装置，用于实现权利要求1-8任一项所述的基于多模态的活动策划方法，其特征在于，包括：

10.一种控制系统，其特征在于，包括：

技术总结本申请涉及一种基于多模态的活动策划方法及装置，该方法包括接收用户活动筹备请求；根据用户活动筹备请求，基于检索增强生成模型在预先构建的多模态知识库中进行检索，得到目标检索结果；根据目标检索结果生成对应的活动方案和活动宣传物料。本申请利用知识库和智能规划算法，根据企业特点和活动需求，快速自动生成优化的活动方案。通过多模态AI生成技术，实现活动宣传物料、现场布置等环节的自动化和个性化，为活动策划提供沉浸式预览和体验服务，有效解决了传统活动筹备的低效、高成本、难定制等痛点，为园区企业提供全新的智能化活动服务。技术研发人员：李杰,周俊峰,汪洋受保护的技术使用者：上海临港元企智能科技有限公司技术研发日：技术公布日：2024/9/2