交互式视觉搜索引擎的制作方法

技术特征：
1.一种客户端计算设备，所述客户端计算设备与执行视觉搜索引擎的计算系统进行网络通信，其中所述视觉搜索引擎被配置为基于被提供给所述视觉搜索引擎的图像来生成输出，其中所述客户端计算设备包括显示器，所述显示器显示由所述客户端计算设备执行的应用的图形用户界面(gui)，并且进一步地其中所述客户端计算设备被配置为执行动作，所述动作包括：向执行所述视觉搜索引擎的所述计算系统传输多模态查询，其中所述应用与所述视觉搜索引擎进行对接，并且其中所述多模态查询包括：图像；以及文本；从所述计算系统接收所述视觉搜索引擎的输出，其中所述视觉搜索引擎基于所述多模态查询来生成所述输出；以及在所述应用的所述gui中显示所述视觉搜索引擎的所述输出。2.根据权利要求1所述的客户端计算设备，其中所述应用是个人数字助理，并且进一步地其中所述客户端计算设备是移动电话。3.根据权利要求1所述的客户端计算设备，其中所述输出包括由所述视觉搜索引擎的聊天机器人构建的消息，其中所述消息包括对来自所述客户端计算设备的用户的输入的请求。4.根据权利要求3所述的客户端计算设备，其中所述图像包括对象，并且进一步地其中所述消息包括对包括所述对象的第二图像的请求。5.根据权利要求4所述的客户端计算设备，所述动作还包括：向执行所述视觉搜索引擎的所述计算系统传输所述第二图像；从所述计算系统接收所述视觉搜索引擎的第二输出，其中所述视觉搜索引擎基于所述多模态查询中的文本和所述第二图像来生成所述第二输出；以及在所述应用的所述gui中显示所述视觉搜索引擎的所述第二输出。6.根据权利要求5所述的客户端计算设备，其中所述第二输出包括从网页提取的信息，其中所述视觉搜索引擎指派标识所述第二图像中的所述对象的类型的标签，构建包括所述标签的查询，向web搜索引擎传输所述查询，并且从所述web搜索引擎接收从所述网页提取的所述信息。7.一种由客户端计算设备执行的方法，所述方法包括：在所述客户端计算设备的显示器上显示应用的图形用户界面(gui)；通过所述gui接收查询，其中所述查询包括图像；向执行视觉搜索引擎的计算系统传输所述查询；在所述gui中显示从所述计算系统接收的消息，所述消息由所述视觉搜索引擎基于所述查询而生成，其中所述消息包括对来自所述客户端计算设备的用户的附加输入的请求；通过所述gui接收所述附加输入；向执行所述视觉搜索引擎的所述计算系统传输所述附加输入；以及在所述gui中显示从所述计算系统接收的输出，其中所述视觉搜索引擎基于所述图像和所述附加信息来生成所述输出。8.根据权利要求7所述的方法，其中所述附加输入是所述对象的属性的值。
9.根据权利要求7所述的方法，其中所述附加输入是所述对象的第二图像。10.根据权利要求7所述的方法，其中所述查询是包括文本的多模态查询，并且进一步地其中视觉搜索引擎基于所述多模态查询中的所述文本来生成所述输出。11.根据权利要求7所述的方法，其中所述客户端计算设备是移动电话。12.根据权利要求7所述的方法，其中所述输出包括在所述应用的所述gui中显示的视频。13.根据权利要求7所述的方法，其中所述应用是数字助理。

技术总结
本文中描述了一种视觉搜索引擎。该视觉搜索引擎被配置为基于从客户端计算设备接收的多模态查询(其中多模态查询包括图像和文本)向客户端计算设备返回信息。该视觉搜索引擎还被配置为与客户端计算设备的用户进行交互以消除用户的信息检索意图的歧义。消除用户的信息检索意图的歧义。消除用户的信息检索意图的歧义。


技术研发人员：黄丽 胡厚东 M
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2020.06.17
技术公布日：2022/4/12