交互式视觉搜索引擎的制作方法

交互式视觉搜索引擎


背景技术：

1.计算机实现的视觉搜索引擎被配置为从客户端计算设备接收数字图像作为输入查询，并且还被配置为基于输入查询向客户端计算设备返回搜索结果。在示例中，常规的视觉搜索引擎可以从客户端计算设备接收包括花的图像作为输入查询，并且视觉搜索引擎可以将花的标识作为搜索结果返回给客户端计算设备。因此，在该示例中，用户可能正在花园中行走，并且观察到用户感兴趣的花。用户可以使用移动计算设备(诸如，智能电话)来生成包括花的图像，然后将该图像提供给视觉搜索引擎。视觉搜索引擎接收图像，标识在图像中捕获的花，并且将搜索结果返回给移动计算设备，其中该搜索结果包括关于花的信息。
2.在另一示例中，常规的视觉搜索引擎可以从客户端计算设备接收包括衣着类商品的图像作为输入查询。常规的视觉搜索引擎然后可以将第二图像作为搜索结果返回给客户端计算设备，其中第二图像包括与包括在第一图像中的衣着类商品相似的第二衣着类商品。因此，用户可以观察到用户有兴趣购买的衣着类商品。用户可以使用移动计算设备来生成包括衣着类商品的图像，并且将该图像提供给视觉搜索引擎。视觉搜索引擎接收图像，标识包括与在由客户端计算设备提供给视觉搜索引擎的在图像中捕获的衣着类商品相似的第二衣着类商品的第二图像，并且将第二图像作为搜索结果返回给移动计算设备。在非限制性示例中，视觉搜索引擎可以将超链接指派给第二图像，使得当用户选择第二图像时，可以在移动计算设备上呈现网页，其中用户可以通过网页购买在第二图像中捕获的衣着类商品。
3.虽然常规的视觉搜索引擎提供了上面所阐述的功能，但是常规的视觉搜索引擎的整体功能有些有限。例如，关于上面所阐述的示例，其中视觉搜索引擎被提供有包括花的图像，常规的视觉搜索引擎可以提供关于这样的花的信息，该信息与用户对有兴趣了解的花的内容无关。例如，用户可能对了解花的标识不感兴趣；然而，用户可能想知道何时种花以及多久浇一次花。为了通过使用常规的视觉搜索引擎来获得这样的信息，用户必须指示计算设备向视觉搜索引擎提供花的图像。视觉搜索引擎在接收到图像后，可以将花的标识作为搜索结果返回给计算设备。例如，花的标识可以是“雏菊”。用户然后必须导航到常规的搜索引擎并提出文本查询，其中该文本查询包括花的标识(由视觉搜索引擎返回)以及代表用户的信息检索意图的关键词(例如，“何时应该种植雏菊”)。该过程有些麻烦，因为用户必须在应用和/或网页之间导航，并且向不同的应用和/或网页提供不同的输入，以获取期望的信息。


技术实现要素：

4.以下是本文种更详细描述的主题的简要概述。该概述不旨在限制权利要求的范围。
5.本文中所描述的是关于视觉搜索引擎的各种技术，该视觉搜索引擎被配置为基于多模态查询和/或基于在多步骤交互中从用户获取的信息来返回搜索结果。多模态查询包括两种不同类型的输入：1)图像；以及2)文本输入或语音输入。多步骤交互指的是视觉搜索
引擎接收查询，基于查询来生成请求附加信息的消息，接收所请求的信息，并且基于查询和附加信息来生成输出。视觉搜索引擎可以请求附加信息以消除接收到的查询的内容的歧义、帮助用户探索主题、消除用户的信息检索意图的歧义等。
6.本文中所描述的视觉搜索引擎包括视觉意图模块，其中视觉意图模块包括主题标识器模块和意图聊天机器人，它们协同操作以标识向视觉搜索引擎提出查询的用户的意图，其中该查询包括图像。视觉意图模块被配置为接收包括一个或多个对象的图像。主题标识器模块被配置为标识对应于在图像中捕获的(多个)对象的(多个)主题。例如，当视觉意图模块接收到包括包含花的图像的查询时，主题标识器模块被配置为确定图像包括与主题“花”相对应的对象。因此，视觉意图模块可以确定用户打算获取关于主题“花”的信息。查询还可以包括文本，并且意图聊天机器人可以接收包括在查询中的文本。例如，文本可以包括表示向视觉搜索引擎提交查询的用户的信息检索意图的关键词。例如，查询可能是“这朵花在一年中的什么时候开花？”。意图聊天机器人可以标识文本中的实体“花”。基于主题标识器模块的输出，并且进一步(可选地)基于文本中的实体，视觉意图模块可以确定提交查询的用户对主题“花”感兴趣。
7.视觉搜索引擎还包括用于可以由视觉意图模块标识的相应多个主题的多个主题模块。用于主题的主题模块包括对象标识器模块，该对象标识器模块被配置为标识指派给该主题的对象的属性值。该主题的主题模块还包括聊天机器人，该聊天机器人被配置为与试图通过视觉搜索引擎的方式获取与该主题相关的信息的用户进行交互。多个主题模块可以对应于诸如以下项的主题，例如“花”、“树”、“家具”、“服装”、“建筑”、“名人”、“烘焙食品”。
8.继续上面所阐述的示例，视觉意图模块可以确定用户的意图是获取关于主题“花”的信息，并且可以相应地使查询(包括图像)被提供给对应于主题“花”的主题模块。对象标识器模块被配置为标识在图像中捕获的花的类型。在示例中，图像可能有些模糊，并且由于图像模糊，对象标识器模块可能无法以适当的置信度确定花的类型。聊天机器人接收对象标识器模块无法以足够高的置信度标识包括在图像中的花的类型的指示；响应于接收到这样的指示，聊天机器人可以生成消息，该消息包括请求用户捕获感兴趣的花的另一图像(该图像不太模糊)。例如，聊天机器人可以生成消息“我标识花有困难，因为图像有点模糊。可以请你再拍一张图像给我？”9.视觉搜索引擎可以向用户的移动计算设备传输消息，并且用户可以根据聊天机器人的请求来捕获花的另一图像并将该另一图像上传到视觉搜索引擎。对象标识器模块接收该另一图像作为输入，并且在示例中，标识该花是特定类型的(例如，郁金香)。聊天机器人被提供有花的标识，并且可以生成包括花的标识的消息。此外，主题模块可以基于所确定的花的标识来制定用于提供给通用搜索引擎的查询(例如，“郁金香在一年中的什么时候开花？”)。主题模块向通用搜索引擎提供这样的查询，通用搜索引擎基于该查询来生成搜索结果，其中搜索结果包括关于所标识的花的信息。聊天机器人被提供有该信息，并且聊天机器人向用户的移动计算设备传输包括花的标识以及由搜索引擎提供的信息的消息。因此可以确定，视觉搜索引擎可以基于多模态查询来提供搜索结果，并且可以进一步与用户进行交互，以返回用户所期望的信息。
10.本文还描述了促进移动计算设备与视觉搜索引擎之间的消息交换的图形用户界
面特征。例如，图形用户界面可以包括文本输入区域，使得用户可以向视觉搜索引擎提交文本以及图像。图形用户界面还可以包括消息区域，该消息区域可以描绘从视觉搜索引擎的聊天机器人传输到由用户操作的计算设备的消息。
11.视觉搜索引擎提供了优于常规的视觉搜索引擎的各种优势。例如，由于视觉搜索引擎能够处理多模态查询(其可以包括图像和文本)，因此视觉搜索引擎可以提供与用户的信息检索意图相对应的信息。在另一示例中，与常规的视觉搜索引擎不同，视觉搜索引擎能够与其用户进行交互，以帮助用户获取关于在图像中捕获的对象的信息和/或执行关于在图像中捕获的对象的任务(例如，购买对象)。
12.以上概述呈现了简化的概述，以便提供对本文中所讨论的系统和/或方法的一些方面的基本理解。该概述不是本文中所讨论的系统和/或方法的广泛概述。其不旨在标识关键/重要元素或描绘这样的系统和/或方法的范围。其唯一目的是以简化的形式呈现一些概念，作为稍后呈现的更详细描述的序言。
附图说明
13.图1是促进基于从客户端计算设备接收的多模态查询向客户端计算设备返回输出的示例性系统的功能框图。
14.图2是被配置为标识用户感兴趣的主题的示例性模块的功能框图。
15.图3是被配置为与用户进行交互以消除用户的信息检索意图歧义的示例性模块的功能框图。
16.图4-图17描绘了与视觉搜索引擎相对应的示例性图形用户界面(gui)。
17.图18是示出用于执行视觉搜索的示例性方法的流程图。
18.图19是示出促进与虚拟搜索引擎进行交互的示例性方法的流程图。
19.图20是示例性计算系统。
具体实施方式
20.现在参考附图描述与交互式视觉搜索引擎相关的各种技术，其中类似的附图标记始终用于指代类似的元素。在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对一个或多个方面的透彻理解。然而，可以很明显，这些(多个)方面可以在没有这些具体细节的情况下实践。在其他情况下，公知的结构和设备以框图形式示出，以促进描述一个或多个方面。此外，应当理解，被描述为由某些系统组件执行的功能可以由多个组件执行。相似地，例如，组件可以被配置为执行被描述为由多个组件执行的功能。
21.此外，术语“或”意在表示包含性的“或”，而不是排他性的“或”。也就是说，除非另有说明，或者从上下文中清楚得出，短语“x采用a或b”意在表示任何自然的包含性排列。也就是说，短语“x采用a或b”由以下实例中的任何实例满足：x采用a；x采用b；或者x采用a和b两者。此外，本技术和所附权利要求中所使用的冠词“一”和“一个”通常应被解释为表示“一个或多个”，除非另有说明或从上下文中清楚地得出指向单数形式。
22.此外，如本文中所使用的，术语“组件”、“模块”和“系统”旨在包括计算机可读数据存储装置，其被配置有计算机可执行指令，当由处理器执行时，该指令使某些功能被执行。计算机可执行指令可以包括例程、函数等。还应当理解，组件或系统可以位于单个设备上，
或者分布在几个设备上。此外，如本文中所使用的，术语“示例性的”意在表示用作某物的说明或示例，而不是意在表示偏好。
23.本文中所描述的是一种视觉搜索引擎，其被配置为基于用户向视觉搜索引擎提出的多模态查询来向用户提供输出，其中多模态查询包括图像和文本(其中文本可以由用户通过使用键盘或通过语音命令提出)。此外，本文中所描述的视觉搜索引擎被配置为与终端用户进行交互。例如，视觉搜索引擎被配置为提示用户提供消除用户的信息检索意图歧义的信息。此外，视觉搜索引擎被配置为向用户提供帮助用户完成任务的信息。更进一步，视觉搜索引擎被配置为向用户提供帮助用户探索主题的信息。
24.现在参考图1，示出了促进响应于用户通过由用户操作的客户端计算设备向视觉搜索引擎提出包括图像的查询而向客户端计算设备提供输出的示例性系统100。系统100包括客户端计算设备102和计算系统104，其中客户端计算设备102和计算系统104通过网络106(例如，互联网)彼此进行通信。在示例性系统100中，客户端计算设备102被示出为移动电话。然而，应当理解，客户端计算设备102可以是任何合适类型的计算设备，包括但不限于便携式媒体播放器、可穿戴计算设备、数码相机、膝上型计算设备、平板(平板型)计算设备、桌面计算设备等。在图1所示的示例性系统100中，客户端计算设备102包括相机，并且由客户端计算设备102的用户操作以捕获客户端计算设备102的环境中的对象107的图像。在另一示例中，客户端计算设备102可以从通过万维网可用的网页获取图像，可以接收由某个其他计算设备传输给客户端计算设备102的消息中的图像(例如，作为多媒体消息服务消息的一部分)等。
25.计算系统104包括处理器108和存储器110，其中存储器110包括由处理器108执行的指令。存储器110在其中已加载了视觉搜索引擎112，如下面将更详细描述的，该视觉搜索引擎112被配置为从客户端计算设备102接收查询并基于该查询来生成输出。该查询包括由客户端计算设备102捕获的图像，并且可以可选地包括由客户端计算设备102的用户(例如，通过键盘或语音命令)提出的文本。因此，视觉搜索引擎112从客户端计算设备102接收的查询可以是多模态的，因为该查询包括两种不同类型的输入(图像和文本)。此外，与常规的视觉搜索引擎相反，视觉搜索引擎112被配置为与客户端计算设备102的用户进行交互，以帮助客户端计算设备102的用户获取与该用户的信息检索意图相对应的信息。
26.视觉搜索引擎112包括视觉意图模块114，其被配置为标识用户感兴趣的主题，其中视觉意图模块114基于接收到的查询来标识主题。视觉搜索引擎112的设计者可以定义主题以及属于主题的对象。示例性主题可以包括“花”、“服装”、“狗”、“汽车”、“建筑”、“名人”等。视觉意图模块114包括主题标识器模块116，其被配置为基于查询中的图像来标识客户端计算设备102的用户感兴趣的主题。例如，当从客户端计算设备102接收的图像包括花和狗时，主题标识器模块116可以基于图像的内容来输出用户可能对主题“花”和“狗”感兴趣的指示。
27.视觉意图模块114还可以包括意图聊天机器人118，其被配置为接收查询的文本部分并标识包括在查询的文本部分中的实体。此外，意图聊天机器人118可以访问主题标识器模块116的输出。例如，接收到的查询的文本部分可以是“这是什么类型的花”？意图聊天机器人118可以标识查询的文本部分中的实体“花”，并且可以将该实体与主题标识器模块116的输出进行比较，并且确定实体“花”和主题“花”彼此相对应。基于彼此相对应的实体和主
题“花”，意图聊天机器人118可以生成指示用户对主题“花”感兴趣的输出。
28.在另一示例中，视觉意图模块114可以从客户端计算设备102接收包括图像但不包括文本部分的查询。此外，如在上述示例中，图像可以包括花和狗两者。主题标识器模块116可以接收图像并基于该图像来输出用户对主题“狗”和/或主题“花”感兴趣的指示。意图聊天机器人118可以接收主题标识器模块116的输出；为了消除用户信息检索意图的歧义，意图聊天机器人118可以生成请求用户进一步输入的消息。例如，消息可以是“你提供的图像包括花和狗。你想要更多关于花或狗的信息吗？”意图聊天机器人118然后可以使计算系统104通过网络106向客户端计算设备102传输这样的消息。客户端计算设备102的用户可以向客户端计算设备102提出“花”的响应，并且使客户端计算设备102向计算系统104传输这样的响应，于是该响应被提供给视觉意图模块114。
29.意图聊天机器人118接收响应，并且将该响应的内容与主题标识器模块116的输出进行比较。在这个示例中，意图聊天机器人118可以确定用户对主题“花”感兴趣。从上文中可以确定，视觉意图模块114被配置为基于以下一项或多项来标识客户端计算设备102的用户感兴趣的主题：1)包括多模态输入的查询；以及2)通过意图聊天机器人118与用户之间的交互式交换从用户获取的信息。
30.视觉搜索引擎112还包括多个主题模块120-122。主题模块120-122中的每个主题模块对应于可以由视觉意图模块114标识的相应主题。因此，在示例中，第一主题模块120可以对应于主题“花”，而第n主题模块122可以对应于主题“狗”。由于相对大量的潜在主题，在视觉搜索引擎112中可能存在相对大量的主题模块120-122。例如，可能有50个主题模块、200个主题模块、1000个主题模块等。
31.第一主题模块120包括第一对象标识器模块124和第一主题聊天机器人126。相似地，第n主题模块122包括第n对象标识器模块128和第n主题聊天机器人130。在示例性系统100中，意图聊天机器人118、第一主题聊天机器人126和第n主题聊天机器人130是不同的聊天机器人(尽管从终端用户的角度来看，看起来好像视觉搜索引擎112具有单个聊天机器人)。例如，意图聊天机器人118可以被开发成与用户进行交互，以确定用户对哪个主题感兴趣，第一主题聊天机器人126可以被开发成与用户就第一主题进行交互，第n主题聊天机器人130可以被开发成与用户就第n主题进行交互。在另一示例中，可以开发单个聊天机器人来与用户就几个主题进行交互。因此，图1中所描绘的架构本质上是示例性的。
32.第一对象标识器模块124被配置为从视觉意图模块114接收包括被指派给第一主题模块120所对应于的主题的对象的图像，并且还被配置为标识图像中被指派给该主题的对象。如前所述，第一主题模块120可以对应于主题“花”。因此，当第一对象标识器模块124被提供有包括花的图像时，第一对象标识器模块124被配置为从众多潜在类型中标识花的类型。因此，当图像包括郁金香时，第一对象标识器模块124在被提供有图像时，可以输出图像包括郁金香(而不是玫瑰)的指示。
33.第一主题聊天机器人126被配置为：1)接收文本输入；2)接收第一对象标识器模块124的输出；以及3)基于文本输入和第一对象标识器模块124的输出向客户端计算设备102提供信息。在示例中，从客户端计算设备102接收的查询可以是郁金香的图像以及文本“这朵花什么时候开花？”。如上所述，视觉意图模块114接收查询，并且基于该查询来确定用户对主题“花”感兴趣。在确定用户对主题“花”感兴趣时，视觉意图模块114将查询传递给第一
主题模块120(其对应于主题“花”)，于是图像被提供给第一对象标识器模块124。第一对象标识器模块124查明包括在图像中的花是郁金香，并且可以输出“郁金香”。第一主题聊天机器人126接收第一对象标识器模块124的输出，并且进一步接收查询的文本部分。基于第一对象标识器模块124的输出和查询的文本部分，第一主题聊天机器人126可以向客户端计算设备102传输消息，诸如“图像中的花是郁金香。郁金香在三月和四月开花。”34.此外，第一主题聊天机器人126可以请求来自客户端计算设备102的用户的输入，并且可以基于从用户接收的输入来生成附加输出。例如，查询中的图像可能有些模糊，因此第一对象标识器模块124可能无法以必要的置信度标识包括在图像中的花的类型。例如，第一对象标识器模块124可以输出它50％确信图像中的花是郁金香且50％确信图像中的花是玫瑰的指示。第一主题聊天机器人126可以接收第一对象标识器模块124的输出，并且可以基于这样的输出来生成消息。例如，信息可能是“我认为花是玫瑰或郁金香。你能给花瓣拍一张近一点的图像吗？”第一主题聊天机器人126可以使计算系统104通过网络106向客户端计算设备102传输这样的消息。响应于接收到这样的消息，客户端计算设备102的用户可以捕获花的另一图像，并且将这样的图像传输回计算系统104。第一对象标识器模块124接收该图像，并且例如以相对高的置信度查明在图像中捕获的花是郁金香。第一主题聊天机器人126接收第一对象标识器模块124的输出，并且向客户端计算设备102传输消息，该消息指示在图像中捕获的花是郁金香。
35.如上所述，第n主题模块122包括第n对象标识器模块128，其被配置为标识图像中被指派给第n主题的对象。第n主题模块122附加地包括第n主题聊天机器人130，其被配置为当客户端计算设备102的用户试图获取关于被指派给第n主题的对象(在图像中)的信息时生成消息。
36.存储器110可以附加地包括与视觉搜索引擎112进行通信的搜索引擎132。搜索引擎132可以是接收查询并基于该查询来标识网页或其他合适信息的常规的搜索引擎。意图聊天机器人118和/或主题聊天机器人126和130可以构建查询并向搜索引擎132传输这样的查询。搜索引擎132接收查询，基于该查询来标识搜索结果，并且将包括在至少一个搜索结果中的信息返回给将该查询传输给搜索引擎132的聊天机器人。聊天机器人然后可以将该信息返回给客户端计算设备102。虽然被示出为包括在与视觉搜索引擎112相同的存储器中，但是应当理解，搜索引擎132可以在与执行视觉搜索引擎112的服务器不同的服务器上执行。
37.继续图像包括花的示例，第一对象标识器模块124可以生成指示图像包括郁金香的输出。第一主题聊天机器人126可以接收这样的输出，并且可以构建包括关键词“郁金香”的查询，并且向搜索引擎132传输构建的查询传输。搜索引擎132接收该查询，并且通过基于该查询来执行搜索来检索与郁金香相关的信息。搜索引擎132然后可以将信息返回给第一主题聊天机器人126，其中该信息例如可以包括在通过万维网可获得的网页上找到的关于郁金香的信息。第一主题聊天机器人126生成包括该信息的消息，并且向客户端设备102传输该消息，于是客户端计算设备102的用户可以查看该信息。
38.总之，视觉搜索引擎112被配置为接收查询，其中该查询本质上可以是多模态的。视觉意图模块114基于该查询(并且可选地还基于客户端计算设备102的用户响应于由意图聊天机器人118生成的对信息的请求而提供的附加信息)，来标识客户端计算设备102的用
户感兴趣的主题，并且向适当的主题模块传输该查询。
39.主题模块接收查询，查明与该查询相关的信息，并且将这样的相关信息返回给客户端计算设备102。如前所述，主题聊天机器人可以被配置为与客户端计算设备102的用户进行交互，以向客户端计算设备102的用户提供与该用户的信息检索意图相关的信息。
40.现在参考图2，示出了视觉意图模块114的示例性功能框图。如前所述，视觉意图模块114包括主题标识器模块116和意图聊天机器人118。在示例性实施例中，主题标识器模块116包括意图深度神经网络(dnn)202。例如，意图dnn 202可以是或包括递归神经网络(rnn)，诸如上下文神经网络。意图dnn 202包括分别代表主题的多个输出节点204-206。因此，第一输出节点204代表第一主题，第n输出节点代表第n主题。意图dnn 202还可以包括表示“未知”主题的“未知”输出节点208。
41.意图dnn 202被配置为接收已由客户端计算设备102传输到视觉搜索引擎112的图像210。意图dnn 202接收图像210作为输入，并且生成例如输出节点204-206和208上的置信度值分布。因此，每个输出节点204-206和208被指派相应置信度分数，其中指派给输出节点的置信度分数越高，意图dnn 202就越确信图像210中的对象被指派给由该输出节点表示的主题。在示例中，第一输出节点204可以表示主题“花”，而第n输出节点206可以表示主题“狗”。当图像210包括花但不包括狗时，意图dnn 202可以给第一输出节点204指派第一分数，给第n输出节点206指派第n分数，其中第一分数高于第n分数。
42.主题标识器模块116还包括分数分析器模块211，其接收指派给输出节点204-208的置信度分数，并且查明意图dnn 202是否已基于图像210确信地标识了主题。例如，分数分析器模块211可以将指派给第一输出节点204的置信度分数与预定阈值进行比较，其中当置信度分数高于该预定阈值时，分数分析器模块211可以输出意图dnn 202已标识出包括在图像210中的对象被指派给第一主题的指示。在另一示例中，分数分析器模块211可以标识指派给多个输出节点204-208的两个最高分数，并且可以将这两个最高分数之间的差值与预定阈值进行比较。当差值大于该预定阈值时，分数分析器模块211可以输出图像包括被指派给由具有最高分数的输出节点表示的主题的对象的指示。当两个最高分数之间的差值小于该预定阈值时，分数分析器模块211可以输出图像包括被指派给两个主题之一的对象的指示。
43.意图聊天机器人118接收分数分析器模块211的输出。附加地，意图聊天机器人118可以可选地从客户端计算设备102接收文本212，作为从客户端计算设备102传输的查询的一部分。意图聊天机器人118可以利用文本212来消除用户可能感兴趣的主题(由分数分析器模块211输出)之间的歧义。当主题标识器模块116无法确信地标识主题时，并且当意图聊天机器人118无法基于文本212消除用户意图的歧义时，意图聊天机器人118可以生成包括对客户端计算设备102的用户的附加信息的请求的输出214。输出214可以是对文本输入的请求、对另一图像的请求等。客户端计算设备102的用户可以生成对这样的输出214的响应，并且该响应可以被提供给意图聊天机器人118，并且意图聊天机器人118可以基于该响应来消除潜在主题之间的歧义。
44.一旦主题标识器模块116已标识了主题，主题标识器模块116使图像210和文本212(如果接收到的话)被传输到对应于该主题的主题模块(来自多个主题模块120-122中)。在示例中，当主题标识器模块116基于图像210和/或文本212标识第一主题时，主题标识器模
块116可以使图像210和/或文本212被提供给第一主题模块120。
45.现在参考图3，描绘了第一主题模块120的示例性功能框图。如上所述，第一主题模块120包括第一对象标识器模块124和第一主题聊天机器人126。第一对象标识器模块124可以包括提取器模块302，提取器模块302被配置为将边界框定位在图像210中的属于第一主题(例如，“花”)的对象周围。因此，例如，当图像210包括多个花时，提取器模块302可以围绕多个花中的每个花绘制边界框，从而过滤掉图像210的背景。在示例中，提取器模块302可以包括人工神经网络(ann)，其被配置为将边界框定位在对象周围。
46.第一对象标识器模块124附加地包括第一主题dnn 304，其被配置为接收由提取器模块302从图像210中提取的图像210的部分。与意图dnn 202一样，第一主题dnn 304可以是或包括rnn，诸如卷积神经网络。应该理解的是，可以考虑其他类型的ann。第一主题dnn 304包括表示属于第一主题的对象的类型的多个输出节点306-308。第一主题dnn 304还包括表示“未知”类型的输出节点310。例如，第一输出节点306可以表示花卉类型“郁金香”，第二输出节点可以表示花卉类型“玫瑰”，第三输出节点可以表示花卉类型“雏菊”，等等。
47.第一主题聊天机器人126接收第一主题dnn 304的输出，并且基于第一主题dnn 304的输出来生成输出312。例如，输出312可以包括将被发送到客户端计算设备102的对附加信息的请求(其中附加信息可以用于消除用户的信息检索意图的歧义)。在另一示例中，输出312可以是第二图像，其包括与在图像210中捕获的对象107相关的对象。在又一示例中，输出312可以包括探索主题的推荐。
48.在非限制性示例中，图像210可以包括两朵花：玫瑰和郁金香。提取器模块302可以在图像210中围绕这两朵花放置边界框，从而提取图像210中的包括这两朵花的部分。提取器模块302然后可以将图像的该部分(单独地)传递给第一主题dnn 304。第一主题dnn 304可以输出第一图像部分包括“郁金香”类型的花而第二图像部分包括“玫瑰”类型的花的指示。第一主题聊天机器人126接收该指示。在示例中，在接收到该指示时，第一主题聊天机器人126可以生成输出312，其中输出312包括对用户标识用户对图像210中的两朵花中的哪一朵感兴趣的请求。例如，第一主题聊天机器人126可以生成消息“图像包括郁金香和玫瑰。你对郁金香还是玫瑰感兴趣？”输出312可以被传输到客户端计算设备102，并且客户端计算设备102的用户可以向客户端计算设备102提出文本314，该文本314标识用户对两朵花中的哪一朵感兴趣。
49.例如，用户可以提出“右边的花”的响应。当提取器模块302从图像210提取图像的部分时，提取器模块302可以向这些部分指派属性值，其中属性值可以标识图像部分(以及，因此图像部分中的花)相对于彼此的位置。示例性属性值可以包括“顶部”、“底部”、“左边”、“右边”、“中间”、“第一”、“第二”、“最后”等。第一主题聊天机器人126可以确定用户对玫瑰而不是郁金香感兴趣，因为包括玫瑰的图像部分在包括郁金香的图像部分的右边。第一主题聊天机器人126然后可以在确定用户对玫瑰感兴趣时向搜索引擎132传输查询，其中该查询可以是例如“玫瑰花”。搜索引擎132可以将基于这样的查询而标识的信息返回给第一主题模块120，并且第一主题聊天机器人126可以将输出312传输给客户端计算设备102，其中输出可以包括搜索引擎132返回的关于玫瑰的信息。
50.注意，将第一主题聊天机器人126包括在第一主题模块120中促进虚拟搜索引擎112与客户端计算设备102的用户进行交互，以消除用户的信息检索意图的歧义。此外，将第
一主题聊天机器人126包括在第一主题模块120中促进向客户端计算设备102的用户返回基于客户端计算设备102的用户所提出的文本的信息(除了与图像210的内容相关的信息)。
51.图4-图17描绘了可以在客户端计算设备102的显示器上呈现的示例性图形用户界面(gui)，以促进视觉搜索(基于图像的搜索)的执行。图4-图17中呈现的gui可以在web浏览器中显示，作为专用于执行视觉搜索的应用的gui，作为个人数字助理的gui等。
52.仅参考图4，示出了可以在客户端计算设备102的显示器上呈现的示例性gui 400。gui 400包括文本输入区域402，其中文本输入区域402被配置为接收和/或描绘要传输到视觉搜索引擎112的文本。在示例中，客户端计算设备102的用户可以选择文本输入区域402，并且可以使用键盘在文本输入区域402中提出文本。在另一示例中，gui 400可以包括按钮(未示出)，其中当按钮被选择时，麦克风被激活。麦克风捕获用户的语音输入，并且这样的语音输入可以被转录成文本，并且转录的文本可以呈现在文本输入区域402中。客户端计算设备102或与客户端计算设备102进行网络通信的计算设备可以转录文本。
53.gui 400还包括由客户端计算设备102的用户可选择的图标404。例如，当图标404被选择时，可以客户端计算设备102的相机应用可以被激活，并且客户端计算设备102可以被操作来捕获对象的图像。在另一示例中，当图标404被选择时，多个可选图像可以呈现在客户端计算设备102的显示器上，并且用户可以选择可选图像之一以提供给视觉搜索引擎112。
54.在图4所示的示例中，图标404已被客户端计算设备102的用户选择，并且客户端计算设备102的用户已操作客户端计算设备102来生成图像406。图像406包括两种烘焙食品：甜甜圈408和羊角面包410。附加地，gui 400描绘了用户通过文本输入区域402提出的文本412：“我如何烘焙这个”？gui 400还包括按钮414，其中当用户选择按钮414时，图像406和文本412(统称为查询)被传输到视觉搜索引擎112。
55.现在参考图5，描绘了促进客户端计算设备102的用户与视觉搜索引擎112之间的交互的示例性gui 500。gui 500包括由聊天机器人生成的消息502，该消息被指派给例如“烘焙食品”主题。更具体地，视觉搜索引擎112接收查询(图像406和文本412)。由于该查询是新接收的查询，所以该查询作为输入被提供给视觉意图模块114。主题标识器模块116确定图像406包括属于“烘焙食品”主题的两个对象，并且生成指示图像406包括属于“烘焙食品”主题的对象的输出。意图聊天机器人118接收文本“我如何烘焙这个”并从文本412中提取动词“烘焙”。意图聊天机器人118可以将提取的动词与主题标识器模块116输出的(多个)主题进行比较，并且基于这样的比较可以确定用户对属于主题“烘焙食品”的信息感兴趣。视觉意图模块114然后将图像406和文本412传输到来自主题模块120-122中的对应于主题“烘焙食品”的主题模块。例如，第n主题模块122可以对应于主题“烘焙食品”。
56.第n主题模块122接收查询(图像406和文本412)。第n对象标识器模块128查明图像406包括甜甜圈408和羊角面包410，并且进一步将属性值“左边”指派给甜甜圈408，将属性值“右边”指派给羊角面包410。第n对象标识器模块128生成输出，其中输出包括标签“甜甜圈”和“羊角面包”以及分别指派给标签的属性值“左边”和“右边”。第n主题聊天机器人130接收由第n对象标识器模块128生成的输出，并且基于这样的输出来生成gui 500中所描绘的消息502。因此，第n聊天机器人130已生成了请求允许第n主题模块122消除客户端计算设备102的用户的信息检索意图的歧义的信息的消息。
57.现在参考图6，示出了当客户端计算设备102的用户通过文本输入区域402对消息502提出响应时，可以在客户端计算设备102的显示器上呈现的示例性gui 400。在图6所示的示例中，用户已给出了“右边的那个”的响应602。视觉搜索引擎112保留搜索的状态，并且相应地将响应提供给第n主题聊天机器人130。
58.转到图7，示出了在第n主题聊天机器人130接收到响应602时在客户端计算设备102上呈现的示例性gui 700。第n主题聊天机器人130从响应602中提取术语“右边”，并且将该术语与由第n对象标识器模块128指派给对象标签的属性值进行比较(例如，羊角面包410在甜甜圈408的右边)。基于这样的比较，第n主题聊天机器人130确定客户端计算设备102的用户已标识出羊角面包(而不是甜甜圈)。此外，第n主题聊天机器人130可以基于文本412和响应602来构建查询；例如，第n主题聊天机器人130可以用“羊角面包”替换文本412中的“这个”，从而创建查询“我如何烘焙羊角面包？”第n主题聊天机器人130向搜索引擎132传输这样的查询，并且搜索引擎132可以执行搜索并且向第n主题聊天机器人130返回与该查询相关的信息。例如，第n主题聊天机器人130可以返回用于烘焙羊角面包的步骤702，并且还可以返回包括用于烘焙羊角面包的视频706的消息704。视频706可以在gui 700中播放，使得用户不需要退出gui 700以观看视频706。
59.从图4-图7中所描绘的示例性gui，可以确定视觉搜索引擎112被配置为接收多模态查询(文本412和图像406)，并且被配置为基于文本412和图像406中的一个或多个来标识主题。视觉搜索引擎112还被配置为与客户端计算设备102的用户进行交互，以消除客户端计算设备102的用户的信息检索意图的歧义，并且被附加地配置为向用户提供与用户的消除歧义的信息检索意图相关的信息。相比之下，常规的视觉搜索引擎被配置为接收图像406(而不是相应的文本412)，并且可以输出与用户的信息检索意图无关的信息(诸如，甜甜圈和/或羊角面包的原产国、甜甜圈和/或羊角面包中的卡路里等)。
60.现在参考图8，示出了描绘提供给视觉搜索引擎112的查询的示例性gui 800。在该示例中，用户已将包括图像802和文本804的查询上传到视觉搜索引擎112，其中文本是“找到相似的深绿色连衣裙”，并且图像802包括连衣裙806。该查询被提供给视觉意图模块114。主题标识器模块116确定图像802包括属于主题“服装”(例如，连衣裙806)的对象，并且生成指示图像802已被指派了标签“服装”的输出。意图聊天机器人118接收这样的标签，并且附加地接收文本804，从文本804中提取关键词“连衣裙”，并且将该术语标识为对应于主题“服装”。因此，视觉意图模块114可以确定用户的信息检索意图属于主题“服装”，并且可以使查询(图像802和文本804)被提供给来自多个主题模块120-122中的对应于主题“服装”的主题模块。在示例中，第一主题模块120可以对应于主题“服装”，并且可以被提供有多模态查询。
61.现在参考图9，示出了描绘响应于视觉搜索引擎112接收到多模态查询的视觉搜索引擎112的输出的示例性gui 900。例如，第一主题模块120可以接收图像802，第一对象标识器模块124可以被配置为输出标识例如连衣裙的类型(例如，鸡尾酒连衣裙、正式连衣裙、宴会连衣裙等)、连衣裙的设计师等的(多个)标签。第一主题聊天机器人126然后可以构建查询并将这样的查询传输到搜索引擎132，其中该查询可以包括关键字，该关键字包括例如连衣裙的类型、连衣裙的设计者和颜色“深绿色”。在另一示例中，视觉搜索引擎112基于图像802在多个图像上进行图像搜索，以找到包括与包括在图像802中的连衣裙806相似的连衣裙的图像，并且可以过滤图像以移除相似连衣裙不是深绿色的那些图像。
62.被标识为包括深绿色的相似连衣裙的图像902被返回到第一主题聊天机器人126。第一主题聊天机器人126构建消息904，该消息904通知客户端计算设备102的用户视觉搜索引擎112已标识出与客户端计算设备102的用户的意图相匹配的连衣裙，并且使图像902和消息904呈现在gui 900中。此外，视觉意图模块114可以将超链接指派给图像902，使得图像902的选择可以指示浏览器加载网页，在该网页中可以购买包括在图像902中的连衣裙。此外，第一主题聊天机器人126向客户端计算设备102返回消息906，其中消息906提示客户端计算设备102的用户执行与图像902中所描绘的连衣裙相关的另一动作。例如，该消息可以提示用户将自己的图像上传到视觉搜索引擎112。
63.图10示出了另一gui 1000，其中客户端计算设备102的用户响应于接收到消息906，将她自己的图像1002上传到视觉搜索引擎112。第一主题聊天机器人126接收响应于消息906图像而已被上传的指示，并且将图像1002传输到计算机实现的服务，该服务被配置为虚拟地将图像902中所示的连衣裙放置在如图像1002中所示的用户身上。计算机实现的服务可以将包括其上穿有绿色连衣裙的用户的图像返回给第一主题聊天机器人126，第一主题聊天机器人126可以将这样的图像传输给客户端计算设备102，以供用户查看。例如，图11描绘了包括由第一主题聊天机器人126返回的图像1102的gui 1100，其中图像1102捕获如在图像1002中表示的客户端计算设备102的用户，其被修改为使得用户看起来正穿着来自图像902的连衣裙。
64.现在参考图12，示出了描绘视觉搜索引擎112与客户端计算设备102的用户之间的交互的另一示例性gui 1200。在示例性gui 1200中，可以确定客户端计算设备102的用户已观察到图像1102并决定购买该连衣裙。因此，客户端计算设备102的用户提出消息1202(例如，通过文本输入区域402)，其指示客户端计算设备102的用户想要购买由视觉搜索引擎112标识的连衣裙。
65.图13示出了描绘客户端计算设备102的用户和视觉搜索引擎112之间的进一步交互的示例性gui 1300。响应于从客户端计算设备102接收到消息1202，第一主题聊天机器人126构建包括用于用户完成购买的指令的响应消息1302。例如，第一主题聊天机器人126可以采用自然语言处理(nlp)技术来确定用户有意图购买该连衣裙，并且可以基于所确定的用户意图来构建响应消息1302。此外，在第一主题模块120确定用户对在图像902中捕获的连衣裙感兴趣时，第一主题模块120可以请求搜索引擎132返回与该连衣裙相关的对象的图像。例如，第一主题聊天机器人126可以构建包括连衣裙的图像902和这样的连衣裙的描述符的查询，并且请求搜索引擎132返回包括与图像902中所示的连衣裙相关的对象的图像。在该示例中，搜索引擎132将两个图像1304和1306返回给视觉搜索引擎112，并且视觉搜索引擎112可以将图像1304和1306传输给客户端计算设备102以显示给用户。如图所示，图像1304和1306包括与该连衣裙匹配的衣服。
66.已阐述了图8-图13中所描述的gui，以说明与视觉搜索引擎112相关的各个方面。具体而言，视觉搜索引擎112被配置为基于多模态查询返回搜索结果(例如，图像902)。相比之下，常规的视觉搜索引擎仅被配置为接收图像。因此，如果用户向常规的视觉搜索引擎提供图像802，则常规的视觉搜索引擎可以向用户提供连衣裙的图像，以允许用户购买这样的连衣裙。然而，如多模态查询的文本部分所示，用户对购买深绿色的连衣裙感兴趣，而对购买具有图像802中表示的颜色的连衣裙不感兴趣。此外，视觉搜索引擎112被配置为通过向
客户端计算设备102的用户呈现与返回的图像902相关的选项来与该用户进行通信。因此，视觉搜索引擎112被配置为调用计算机实现的服务来向用户提供信息。最后，视觉搜索引擎112被配置为返回与视觉搜索引擎112返回的图像902相关的图像，使得图像1304和1306中的项目匹配返回的图像902中所示的连衣裙，而不是用户最初提供的图像802中所示的连衣裙。因此，通过多步骤交互，视觉搜索引擎112能够向客户端计算设备102的用户提供与用户的信息检索意图相关的信息。
67.现在参考图14，示出了促进客户端计算设备102的用户与视觉搜索引擎112之间的交互的示例性gui 1400。如示例性gui 1400中所示，用户已提出了包括文本1402和图像1404的多模态查询，其中文本是“这朵花的名字是什么？”并且图像1404包括一朵花。视觉搜索引擎112接收文本1402和图像1404，并且视觉意图模块114查明用户对主题“花”感兴趣。在确定用户对主题“花”感兴趣时，视觉意图模块114使文本1402和图像1404被提供给与主题模块120-122中的主题“花”相对应的主题模块。例如，第一主题模块120可以对应于主题“花”。第一对象标识器模块124被提供有图像1404，并且在示例中，可以生成指示图像1404捕获两种类型的花之一的输出：刺叶蓟或虾膜花。第一主题聊天机器人126接收第一对象标识器模块124的输出，并且基于关于在图像1404中捕获的花是刺叶蓟还是虾膜花的歧义性，可以生成请求将帮助第一主题模块120在两种类型的花之间消除歧义的信息的消息。图15图示了gui 1500，其包括由第一主题聊天机器人126生成并传输到客户端计算设备102以在gui中显示的消息1502。消息1502请求用户上传相对更近的花瓣图片以帮助第一对象标识器模块124消除两种类型的花之间的歧义。在另一示例中，第一主题聊天机器人126可以生成包括对花的属性值的请求的消息，其中当被提供有属性值时，第一对象标识器模块124可以消除两种类型的花之间的歧义。
68.现在参考图16，呈现了示出客户端计算设备102的用户与视觉搜索引擎112之间的交互的示例性gui 1600。在示例性gui 1600中，可以确定客户端计算设备102的用户已根据由第一主题聊天机器人126提出的指令捕获并上传了图像。视觉搜索引擎112接收图像1602，于是图像1602被提供给第一对象标识器模块124。在接收到图像1602时，第一对象标识器模块124可以确信地确定该花是特定类型的(例如，虾膜花)。参考图17，第一主题聊天机器人126可以向客户端计算设备102输出消息1702，其中消息1702将花的名称标识为虾膜花。此外，第一主题聊天机器人126可以向搜索引擎132传输查询，其中该查询可以包括关键词“虾膜花”。搜索引擎132基于查询进行搜索，并且可以将来自万维网(从网页)的信息返回给第一主题聊天机器人126。第一主题聊天机器人126然后可以使这样的信息被传输到客户端计算设备102，以作为web信息1704呈现在其上。
69.图14-图17示出了视觉搜索引擎112可以与客户端计算设备102的用户进行交互，以便提供满足客户端计算设备102的用户的信息检索意图的搜索结果。例如，基于文本1402，视觉搜索引擎112可以确定客户端计算设备102的用户的信息检索意图(例如，用户正试图标识花的名称)。此外，因为基于提供给视觉搜索引擎112的图像1404，对于花的名称存在一些不确定性，所以视觉搜索引擎112可以向客户端计算设备102的用户请求信息来解决这样的不确定性。例如，视觉搜索引擎112可以请求用户向视觉搜索引擎112提供不同的图像。相反，如果图像1404被提供给常规的视觉搜索引擎，则常规的视觉搜索引擎可能提供不正确的花的标识，或者给用户留下关于花的真实标识的一些不确定性。
70.图18和图19示出了与视觉搜索相关的示例性方法，其中视觉搜索引擎基于包括图像的查询生成输出。虽然方法被示出和描述为按顺序执行的一系列动作，但是应当理解和意识到，该方法不受顺序的限制。例如，一些动作可以以不同于本文中所描述的顺序发生。此外，一个行为可以与另一个行为同时发生。此外，在一些情况下，可能不需要所有动作来实现本文中所描述的方法。
71.此外，本文中所描述的动作可以是可以由一个或多个处理器实现和/或存储在计算机可读介质上的计算机可执行指令。计算机可执行指令可以包括例程、子程序、程序、执行线程等。更进一步，方法的动作的结果可以存储在计算机可读介质中，显示在显示设备上，和/或类似的。
72.仅转向图18，示出了由视觉搜索引擎执行的方法1800。方法1800开始于1802，并且在1804，从客户端计算设备接收多模态查询，其中多模态查询包括图像和文本。如上所述，多模态查询可以被提供给视觉搜索引擎112的视觉意图模块114。在1806，确定是否可以基于多模态查询来标识用户感兴趣的主题。在示例中，多模态查询中的图像可以包括对象，并且在1806，确定视觉搜索引擎是否可以确定该对象被指派给几个预定义主题中的一个主题。当确定无法标识感兴趣的主题时，方法1800前进到1808，在1808，对附加信息的请求被传输给客户端计算设备。所请求的附加信息可以是第二图像、对象的属性值等。在1810，接收对请求的响应，其中该响应包括所请求的附加信息。方法1800然后返回到1806，在1806，基于多模态查询和附加信息确定是否可以标识用户感兴趣的主题。
73.当在1806确定可以标识主题时，方法1800前进到1812，在1812，多模态查询(以及，潜在地附加信息)被提供给多个主题模块中的适当主题模块。被提供多模态查询的主题模块被配置为向指派给该主题的对象指派一个或多个标签。例如，当主题模块对应于主题“花”时，主题模块可以被配置为指派指示包括在图像中的花的种和属的标签。
74.在1814，确定主题模块是否能够基于多模态查询(以及，潜在地在1810接收的附加信息)确定用户的信息检索意图。当主题模块无法指派用户的信息检索意图时，方法1800前进到1816，在1816，对附加信息(可用于消除用户的信息检索意图的歧义)的请求被传输到客户端计算设备。所请求的附加信息可以是对另一图像的请求、从包括在图像中的几个对象中标识一个对象的请求等。在1818，接收对请求的响应，并且方法1800返回到1814，在1814，基于多模态查询和在1818接收的响应，确定主题模块是否能够确定用户的信息检索意图。
75.当标识出信息检索意图时，方法1800前进到1820，在1820，获得对应于用户的信息检索意图的信息。例如，如上所述，可以从通用搜索引擎获得该信息。在1822，该信息被传输到客户端计算设备以在其上显示。方法1800在1824完成。
76.现在参考图19，示出了由客户端计算设备结合视觉搜索执行的示例性方法1900。客户端计算设备可以是执行与视觉搜索引擎进行对接的应用的移动计算设备。例如，这样的应用可以是数字助理应用。方法1900开始于1902，并且在1904，多模态查询被传输到执行视觉搜索引擎的计算系统。如上所述，视觉搜索引擎可以接收多模态查询并基于多模态查询生成输出。当可以基于多模态查询确定用户的信息检索意图时，输出可以是与信息检索意图相关的信息(例如，搜索结果)。当无法基于多模态查询确定用户的信息检索意图时，输出可以是请求附加信息的消息。在1906，从计算系统接收由视觉搜索引擎生成的输出，并且
在1908，该输出被显示在上面提到的应用的gui上(在客户端计算设备的显示器上)。方法1900在1910完成。
77.现在参考图20，示出了可以根据本文中所公开的系统和方法使用的示例性计算设备2000的高级图示。例如，计算设备2000可以用在被配置为执行视觉搜索的系统中。作为另一示例，计算设备2000可以用在被配置为显示视觉搜索引擎的输出的系统中。计算设备2000包括执行存储在存储器2004中的指令的至少一个处理器2002。这些指令可以是例如用于实现被描述为由上述一个或多个组件执行的功能的指令，或者用于实现上述一个或多个方法的指令。处理器2002可以通过系统总线2006访问存储器2004。除了存储可执行指令之外，存储器2004还可以存储图像、web信息等。
78.计算设备2000附加地包括由处理器2002通过系统总线2006可访问的数据存储装置2008。数据存储装置2008可以包括可执行指令、图像、文本等。计算设备2000还包括允许外部设备与计算设备2000进行通信的输入接口2010。例如，输入接口2010可以用于从外部计算机设备、从用户等接收指令。计算设备2000还包括将计算设备2000与一个或多个外部设备进行对接的输出接口2012。例如，计算设备2000可以通过输出接口2012显示文本、图像等。
79.预期经由输入接口2010和输出接口2012与计算设备2000进行通信的外部设备可以被包括在提供用户可以进行交互的基本上任何类型的用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如，图形用户界面可以接受来自使用诸如键盘、鼠标、遥控器等的(多个)输入设备的用户的输入，并且在诸如显示器的输出设备上提供输出。此外，自然用户界面可以使用户能够以不受诸如键盘、鼠标、遥控器等输入设备的约束的方式与计算设备2000交互。相反，自然用户界面可以依赖于语音标识、触摸和触笔标识、屏幕上和屏幕附近的手势标识、空中手势、头部和眼睛跟踪、声音和语音、视觉、触摸、手势、机器智能等。
80.另外，虽然被示出为单个系统，但是应当理解，计算设备2000可以是分布式系统。因此，例如，几个设备可以通过网络连接进行通信，并且可以共同执行被描述为由计算设备2000执行的任务。
81.本文中所描述的各种功能可以用硬件、软件或其任意组合实现。如果以软件实现，这些功能可以作为计算机可读介质上的一个或多个指令或代码存储或传输。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是由计算机可访问的任何可用存储介质。作为示例而非限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备，或者可以用于以指令或数据结构的形式携带或存储期望的程序代码并且可以由计算机访问的任何其他介质。本文中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光学光盘、数字多功能盘(dvd)、软盘和蓝光光盘(bd)，其中磁盘通常磁性地再现数据，而光盘通常用激光光学地再现数据。此外，传播的信号不包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质，包括促进将计算机程序从一个地方传输到另一个地方的任何介质。例如，连接可以是通信介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或无线技术(如红外、无线电和微波)从网站、服务器或其他远程源传输软件，则同轴电缆、光纤电缆、双绞线、dsl或无线技术(如红外、无线电和微波)包括在通信介质的定义中。以上的组合也应该包括在计算机可
读介质的范围内。
82.备选地，或者另外，本文中所描述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如，但不限于，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(fpga)、程序专用集成电路(asic)、程序专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。
83.上面所描述的包括一个或多个实施例的示例。当然，不可能出于描述上述方面而描述上面的设备或方法的每一个可想到的修改和变化，但是本领域普通技术人员可以认识到，各种方面的许多进一步的修改和置换是可能的。因此，所描述的方面旨在包含落入所附权利要求的精神和范围内的所有这样的改变、修改和变化。此外，就具体实施方式或权利要求所中使用的术语“包括”而言，这样的术语旨在以类似于术语“包括”在用作权利要求中的过渡词时被解释为“包括”的方式是包含性的。