图像处理的表征和改进的制作方法

本说明书涉及图像处理，更具体地涉及表征和可能地改进位姿(pose)估计和其他图像处理结果，包括对象计数、对象变形和/或排列的测量、对象状态的测量等。

背景技术：

1、图像处理是其中被处理的信号是图像的一类信号处理。输入图像可以被处理例如以产生输出图像或对图像的表征。

2、图像处理的一个示例是位姿估计。如下文进一步所讨论的，位姿估计是从二维图像估计成像设备和对象的相对位置和取向的过程。位姿估计可以基于图像处理的其他结果。一个示例是地标识别。在地标识别中，对二维图像进行处理，以识别图像中的地标及其位置。地标的身份和位置是位姿估计可以基于的结果的示例。

技术实现思路

1、对过程的表征通常是用于对过程的控制或改进的必要前提。这也适用于图像处理技术，包括依赖于机器学习和/或人工智能的那些技术。

2、例如，对位姿估计以及位姿估计所基于的其他图像处理的正确性的表征可以被用来控制或改进各种不同类型的图像处理。如上文所讨论的，可以基于地标识别的结果估计位姿。在这样的情况下，对位姿估计的正确性的表征内在地体现了基本(underlying)地标识别结果的正确性。

3、此外，地标识别的结果可以被用在其他类型的图像处理(即，除了位姿估计以外的其他图像处理)中。示例包括依赖于机器学习和/或人工智能技术的图像分类、特征提取、模式识别和图像处理技术。这样的图像处理技术可以应用于机器人技术、医疗和医学成像、自动驾驶车辆、损伤评估、面部识别、太空旅行和农业等广泛的环境。通过对位姿估计和基本地标识别结果的正确性进行表征，还可以对其他各种类型的图像处理的正确性进行表征。

4、因此，在一个方面，一种用于表征图像处理的正确性的方法包括：接收对象的实例的第一图像和第二图像；估计所述第一图像中的所述对象的实例的相对位姿；接收表征在所述第一图像的获取和所述第二图像的获取期间以下中至少之一的位置差异或取向差异的信息：所述对象的实例；以及一个或多个成像设备；基于所述位置差异或所述取向差异，变换(transfer)所述第一图像中的所述对象的实例的估计的相对位姿；将所述对象的实例的变换的相对位姿与所述图像中的所述第二图像中的所述对象进行比较；以及基于所述对象的变换的相对位姿与所述图像中的所述第二图像中的所述对象的比较结果，表征对所述对象的实例的所述相对位姿的估计的正确性。所述第一图像和所述第二图像是在不同的相对位姿下获取的。

5、在另一方面，一种用于表征图像处理的正确性的方法包括：接收对象的实例的图像，其中所述图像是在不同的相对位姿下获取的；识别所接收的图像中的每个中的所述对象上的相应地标的位置；接收表征在所述图像被获取时以下中至少之一的位置差异或取向差异的信息：所述对象的实例；以及一个或多个成像设备；将在所述图像中的第一图像中识别的地标的位置基于所述位置差异或所述取向差异进行变换；将变换的地标的位置与在所接收的图像中的第二图像中识别的地标中的相应地标的位置进行比较；以及表征对所接收的图像中的至少之一中的所述地标的位置的识别的正确性。

6、这些方面和其他方面都可以包括以下特征中的一个或多个。该方法可以包括：将对所述相对位姿的估计的正确性与正确性阈值水平进行比较；以及响应于确定对所述相对位姿的估计的正确性不满足所述正确性阈值水平，指示捕获所述对象的实例的图像的智能体(agent，代理)捕获所述对象的附加图像。该方法还可以包括以以下方式指示所述智能体捕获所述附加图像：以与所述第一图像和所述第二图像的相对位姿不同的相对位姿；或者以与所述第一图像和所述第二图像的特性不同的成像特性。

7、该方法可以包括：将对所述相对位姿的估计的正确性与正确性阈值水平进行比较；以及响应于确定对所述相对位姿的估计的正确性不满足所述正确性阈值水平，从另外的图像处理中排除所述第一图像中的所述对象的实例的估计的相对位姿。可以通过接收对象的三维模型以及计算以不同位置或不同取向获取的所述三维模型的图像的特性来变换所述对象的相对位姿。计算所述三维模型的所述图像的特性可以包括：计算所述三维模型的所述图像中的地标的位置或计算所述三维模型的所述图像的外边界。计算所述三维模型的所述图像的特性可以包括：基于所述位置差异或所述取向差异来将所述三维模型投影。可以通过使用机器学习模型检测所述第一图像中的地标以及使用检测到的地标来估计所述对象的相对位姿来估计所述第一图像中的所述对象的相对位姿。

8、该方法可以包括迭代地重复以下步骤：接收图像、估计相对位姿、接收表征位置差异或取向差异的信息、变换估计的相对位姿，以及比较变换的相对位姿。所述迭代地重复可以一直进行直到达到正确性阈值水平为止。所述第一图像和所述第二图像可以是由同一成像设备获取的。表征所述位置差异或所述取向差异的所述信息可以根据所述第一图像和所述第二图像得出。接收表征所述位置差异或所述取向差异的所述信息可以包括：识别所述对象的实例的所述图像中的另一对象或所述对象的实例的一部分；以及基于所述另一对象或所述对象的实例的所述一部分来确定所述位置差异或所述取向差异。

9、可以通过估计所述对象和所述一个或多个成像设备的相对位姿来识别所述相应地标的位置。表征所述位置差异或所述取向差异的所述信息可以表征所述对象和所述一个或多个成像设备两者中的不同者。可以通过以下来表征对所述地标的位置的识别的正确性：将在所述图像中的第二图像和第三图像中识别的地标的位置基于相应的位置差异或取向差异进行变换；以及将来自所述图像中的所述第一图像、所述第二图像和所述第三图像的变换的地标进行组合。

10、表征对所述地标的位置的识别的正确性可以包括：将组合的变换的地标的位置与在所接收的图像中的所述第二图像中识别的地标中的相应地标的位置进行比较。接收表征所述位置差异或所述取向差异的信息可以包括：识别所述对象的实例的所述图像中的另一对象或所述对象的实例的一部分；以及基于所述另一对象或所述对象的实例的所述一部分来确定所述位置差异或所述取向差异。可以通过以下来变换地标的位置：接收所述对象的三维模型；以及将所述对象的所述三维模型投影以确定所述地标的位置。

11、该方法可以包括：将对所述地标的位置的识别的正确性与正确性阈值水平进行比较；以及响应于确定对所述相对位姿的估计的正确性不满足所述正确性阈值水平，接收所述对象的实例的多个附加图像中的一个附加图像并且识别相应地标的位置，接收表征所述差异的信息，变换所述地标的位置，比较变换的地标的位置，以及表征对多个附加图像中的所述一个附加图像的所述地标的位置的识别的正确性。

12、该方法可以包括：将对所述地标的位置的识别的正确性与正确性阈值水平进行比较，以及响应于确定对所述相对位姿的估计的正确性不满足所述正确性阈值水平，从另外的图像处理中排除对所述地标的位置的识别。

13、上述方法的其他实施方式包括被配置为执行方法的动作的相应系统和装置，以及有形地体现在机器可读数据存储设备上并配置数据处理装置以执行动作的计算机程序。

14、在附图和下文的描述中阐述一个或多个实施方式的细节。根据说明书和附图以及根据权利要求书，本发明的其他特征、目的和优点将变得明了。