一种基于多模态模型的工单转派方法、装置及电子设备与流程

本技术涉及计算机，可用于金融领域，特别涉及一种基于多模态模型的工单转派方法、装置及电子设备。

背景技术：

1、随着互联网技术的发展以及业务拓展的需要，一些平台会开发及维护多个功能模块。例如，银行会开发及维护的功能模块有“存取款”、“贷款”、“基金”、“理财”等功能模块。用户在使用这些功能模块时可能会遇到各种各样的问题，为便于及时解决用户遇到的问题，平台会提供客服联系通道用于处理用户使用各个功能模块时遇到的问题。客服联系通道可以与功能模块集成在同一渠道中(例如都集成在手机银行渠道中，或者都集成在电话银行渠道中)，也可以采用不同的渠道，例如电话客服。用户通过客服联系通道向客服反馈的内容将会在后台形成问题反馈工单，再将工单转派给相关负责人进行处理。

2、现有技术中，通常是由人工确定工单应当转派给哪位负责人。例如，客服根据客户提供的问题信息确定用户使用的是哪个功能模块遇到的问题，将工单转派给相应模块的负责人。然而，这种工单转派方法依赖于人工的培训与经验，人力成本较高，

3、在一些平台中，也提供了用户自己建立问题反馈工单的通道，然而这通常要求用户能够通过文字准确地描述自身使用哪个功能模块时遇到了具体什么样的问题，从用户提交的文字描述中选取转派工单的关键词，根据关键词自动将工单转派给相关负责人进行处理。然而，这种自动转派工单的方法对于文字描述的准确性较高，通常会由于用户描述不准确而使得问题得不到有效解决，解决问题的过程过于繁琐，用户体验感较差。

技术实现思路

1、本说明书提供一种基于多模态模型的工单转派方法、装置及电子设备，以解决现有工单转派系统的人力成本高、对用户要求较高、用户体验感差的问题。

2、为解决上述技术问题，本说明书第一方面提供一种基于多模态模型的工单转派方法，用于将来自各个功能模块的问题工单分别转派给相关负责人进行处理；所述方法包括：获取问题工单的内容，所述问题工单的内容可包括以下任意两者：文字描述、图像附件、视频附件、音频附件；根据所述问题工单内容确定所述问题工单的提示语；将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型，得到所述多模态模型输出的所述问题工单的含义；所述问题工单的含义中包含问题工单涉及的功能模块的标识；根据所述问题工单含义中功能模块的标识，确定目标负责人的标识；将所述问题工单转派给所述目标负责人。

3、在一些实施例中，所述提示语包括工单内容的组成结构；和/或，期望多模态模型进行的处理操作或者对多模态模型输出内容的要求。

4、在一些实施例中，所述多模态模型包括：用于对输入多模态模型的文字描述进行处理的第一子模型；用于对输入多模态模型的图像附件进行处理的第二子模型；用于对输入多模块模型的视频附件和/或音频附件的第三子模型；自注意力层，用于根据输入多模态模型的提示语确定所述第一子模型、所述第二子模型、所述第三子模型分别对应的权重；全连接层，用于根据所述自注意力层输出的权重对所述第一子模型、所述第二子模型、所述第三子模型的输出进行处理，得到所述多模态模型的输出。

5、在一些实施例中，在将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型之前，还包括：针对各功能模块中的每个功能模块，分别获取处于已转派状态的问题工单样本；所述问题工单样本中包括问题工单的内容、标注的工单含义；根据问题工单样本的内容确定各问题工单样本分别对应的提示语；采用各问题工单样本及其分别对应的提示语训练所述多模态模型，其中，所述问题工单样本中问题工单的内容、提示语作为所述多模态模型的输入，所述问题工单样本中标注的工单含义作为多模态模型的输出。

6、在一些实施例中，将所述问题工单转派给所述目标负责人之后，还包括：筛选出处于已转派状态的目标问题工单；确定各目标问题工单是否再转派；若预设时长内再转派的问题工单占比达到预设占比，则筛选出所述预设时长内处于已转派状态且没有再转派的问题工单作为问题工单样本；采用所述问题工单样本重新训练所述多模态模型。

7、在一些实施例中，将所述问题工单转派给所述目标负责人之后，还包括：获取已转派的问题工单的转派准确度；将转派准确度与所述问题工单对应存储；在达到所述多模态模型的预设更新条件之后，自动筛选出转派准确度大于预设准确度的目标问题工单作为问题工单样本；采用所述问题工单样本重新训练所述多模态模型。

8、在一些实施例中，根据所述问题工单内容确定所述问题工单的提示语，包括：若所述问题工单中包括文字描述，则确定所述问题工单的提示语中包括文字标识；和/或，根据所述问题工单中附件的后缀名确定附件的类型；根据附件的类型确定所述问题工单的提示语中是否包含图片、是否包含视频和/或音频。

9、在一些实施例中，根据所述问题工单中附件的后缀名确定附件的类型，包括：获取数据库中的文件类型表格；所述文件类型表格中包括多种后缀名，以及每个后缀名分别对应的附件类型；从所述文件类型表格中查找所述问题工单中附件的后缀名对应的目标附件类型。

10、在一些实施例中，在将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型之前，包括：若所述问题工单的内容包括文字描述，则对文字描述进行预处理，所述预处理包括分词、去除停用词；将预处理结果转换为词嵌入矩阵；相应地，将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型，包括：将所述词嵌入矩阵作为所述问题工单的内容与所述提示语一起输入预先训练的多模态模型。

11、本说明书第二方面提供一种基于多模态模型的工单转派装置，用于将来自各个功能模块的问题工单分别转派给相关负责人进行处理；所述装置包括：第一获取单元，用于获取问题工单的内容，所述问题工单的内容可包括以下任意两者：文字描述、图像附件、视频附件、音频附件；第一确定单元，用于根据所述问题工单内容确定所述问题工单的提示语；处理单元，用于将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型，得到所述多模态模型输出的所述问题工单的含义；所述问题工单的含义中包含问题工单涉及的功能模块的标识；第二确定单元，用于根据所述问题工单含义中功能模块的标识，确定目标负责人的标识；转派单元，用于将所述问题工单转派给所述目标负责人。

12、在一些实施例中，所述提示语包括工单内容的组成结构；和/或，期望多模态模型进行的处理操作或者对多模态模型输出内容的要求。

13、在一些实施例中，所述多模态模型包括：用于对输入多模态模型的文字描述进行处理的第一子模型；用于对输入多模态模型的图像附件进行处理的第二子模型；用于对输入多模块模型的视频附件和/或音频附件的第三子模型；自注意力层，用于根据输入多模态模型的提示语确定所述第一子模型、所述第二子模型、所述第三子模型分别对应的权重；全连接层，用于根据所述自注意力层输出的权重对所述第一子模型、所述第二子模型、所述第三子模型的输出进行处理，得到所述多模态模型的输出。

14、在一些实施例中，所述装置还包括：第二获取单元，用于针对各功能模块中的每个功能模块，分别获取处于已转派状态的问题工单样本；所述问题工单样本中包括问题工单的内容、标注的工单含义；第三确定单元，用于根据问题工单样本的内容确定各问题工单样本分别对应的提示语；训练单元，用于采用各问题工单样本及其分别对应的提示语训练所述多模态模型，其中，所述问题工单样本中问题工单的内容、提示语作为所述多模态模型的输入，所述问题工单样本中标注的工单含义作为多模态模型的输出。

15、在一些实施例中，所述装置还包括：第一筛选单元，用于筛选出处于已转派状态的目标问题工单；第四确定单元，用于确定各目标问题工单是否再转派；第二筛选单元，用于若预设时长内再转派的问题工单占比达到预设占比，则筛选出所述预设时长内处于已转派状态且没有再转派的问题工单作为问题工单样本；所述训练单元还用于采用所述问题工单样本重新训练所述多模态模型。

16、在一些实施例中，所述装置还包括：第三获取单元，用于获取已转派的问题工单的转派准确度；存储单元，用于将转派准确度与所述问题工单对应存储；第三筛选单元，用于在达到所述多模态模型的预设更新条件之后，自动筛选出转派准确度大于预设准确度的目标问题工单作为问题工单样本；所述训练单元还用于采用所述问题工单样本重新训练所述多模态模型。

17、在一些实施例中，所述第一确定单元包括：第一确定子单元，用于若所述问题工单中包括文字描述，则确定所述问题工单的提示语中包括文字标识；和/或，第二确定子单元，用于根据所述问题工单中附件的后缀名确定附件的类型；第三确定子单元，用于根据附件的类型确定所述问题工单的提示语中是否包含图片、是否包含视频和/或音频。

18、在一些实施例中，所述第二确定子单元包括：获取子单元，用于获取数据库中的文件类型表格；所述文件类型表格中包括多种后缀名，以及每个后缀名分别对应的附件类型；查找子单元，用于从所述文件类型表格中查找所述问题工单中附件的后缀名对应的目标附件类型。

19、在一些实施例中，所述装置包括：预处理单元，用于在将所述问题工单的内容与所述提示语一起输入预先训练的多模态模型之前，若所述问题工单的内容包括文字描述，则对文字描述进行预处理，所述预处理包括分词、去除停用词；转换单元，用于将预处理结果转换为词嵌入矩阵；相应地，所述处理单元将所述词嵌入矩阵作为所述问题工单的内容与所述提示语一起输入预先训练的多模态模型。

20、本说明书第三方面提供一种电子设备，包括：存储器和处理器，所述处理器和所述存储器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面任一项所述的基于多模态模型的工单转派方法。

21、本说明书第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面任一项所述的基于多模态模型的工单转派方法。

22、本说明书第五方面提供一种计算机程序产品，包含有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的基于多模态模型的工单转派方法。

23、本说明书提供的基于多模态模型的工单转派方法、装置及电子设备，采用多模态模型理解问题工单的内容，通过设置问题工单的提示语，将提示语与问题工单的内容一并输入多模态模型，使得多模态模型能够处理多种形式的问题反馈，对于用户提交的任意形式的工单内容都能够进行处理，从而无需限定用户表达问题的方式，使得用户体验更好；结合多种问题的多种表现形式进行工单转派，能够更为准确地理解工单中所表达的问题，提高工单转派的准确性；通过工单转派系统自动转派工单，无需人工转派，转派效率高。