搜寻功能出苗的制作方法

1.本发明涉及数字农业。特别地，本发明涉及一种决策支持设备、移动装置、农业机器人和用于作物检测和分析的方法。


背景技术：

2.数字农业领域中的当前图像识别应用专注于单一杂草种类的检测。在这样的算法中，拍摄杂草的图像，图像可以被发送到经训练的卷积神经网络(cnn)，并且杂草种类由经训练的cnn确定。最近提出了增强的cnn架构，它允许对象检测网络取决于区域提议算法来假设对象位置。与检测网络共享全图像卷积特征的区域提议网络(rpn)可以使能几乎免费的区域提议。
3.在农业应用中，田地环境对图像识别方法具有挑战性，因为田地可能出现不同背景的多种植物。因此，取决于图像质量和环境，用于作物或杂草检测的算法置信度可能受到影响。特别是对于图像上的多个植物，这样的算法不仅需要区分植物和环境，而且需要区分植物本身。特别是，对于包括作物和杂草的植物的早期出苗阶段区分是具挑战性的。
4.us 2019/188847 a1描述了一种接收农场上的田地的图像并过滤田地的图像以生成过滤图像的设备。该设备使用作物行线作为主要因素来标识作物植物。


技术实现要素：

5.可能需要提高植物的早期出苗阶段辨别力。
6.本发明的目标由独立权利要求的主题解决，其中，其他实施例被包含在从属权利要求中。应当注意，本发明的以下所描述的方面还适用于所述决策支持设备、所述移动装置、所述农业机器人和所述方法。
7.本发明的第一方面提供了一种用于农业对象检测的决策支持设备。该决策支持设备包括：
[0008]-输入单元，其被配置用于接收一个或多个农业对象的图像，一个或多个农业对象包括田地中的至少一个作物对象；
[0009]-计算单元，其被配置用于：
[0010]
i)将数据驱动模型应用于所接收的图像以生成元数据，元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的农业对象标签，
[0011]
其中，数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，示例元数据包括表示示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签；以及
[0012]
ii)基于所生成的与所接收的图像相关联的元数据，确定所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积；以及
[0013]
iii)基于所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积，确定至少一个作物对象的作物密度；
[0014]-输出单元，其被配置用于输出包括所确定的田地中的至少一个作物对象的作物密度的数据。
[0015]
换句话说，提出了一种用于识别农田的图像中的至少一个作物对象的决策支持设备。该设备基于数据驱动模型，诸如cnn，可选地具有区域指示符形式的“注意(attention)”机制。此处线索在于包括在数据驱动模型的训练数据中的农业区域指示符。图像背景不重要，并且不需要辨别。即使在诸如智能电话的移动设备上，这样的数据驱动模型也使能快速且高效的处理。在训练时，收集和注释具有多个农业对象(例如作物、杂草、疾病)的图像。一旦数据驱动模型经训练并符合预定义的质量标准，则它将在服务器(云)或移动设备上可用。在后者情况下，可能需要压缩，例如经由节点或层减少取出那些不经常触发的节点或层(在《x％的已处理图像中)。通过这样的使用区域指示符的“注意”机制，决策支持设备即使在田地中的不同背景下也可以区分多个农业对象。因此，可以提高识别包括作物的多个农业对象的效率。这使得能够检测播种之后打开并存在于田地中的植物的数量。以这种方式，确定一个或多个作物对象的作物密度是可能的。由于图像识别具有提高的准确度，可以更准确地确定一个或多个作物对象的作物密度，这可以帮助农民监测早期出苗状态。如下文将要解释的，以这种方式，农民可以容易地确定是否在播种之后的早期阶段满足作物密度目标，并且可选地接收关于填闲作物(catch crop)的推荐。
[0016]
决策支持设备被提议利用作物植物的视觉特性来识别它们，而不是种植顺序(例如作物行线)。为了将杂草植物与作物植物分离，决策支持设备可以利用包含不同生长条件的各种图片条件。视觉数据可以通过增强现实来增强以测量植物的绝对距离。这将在下文更详细地解释。
[0017]
根据本发明的实施例，计算单元还被配置为将所确定的至少一个作物对象的作物密度与用于至少一个作物对象的预定义阈值进行比较，以确定是否满足用于至少一个作物对象的播种目标。
[0018]
例如，如果bbch量表(scale)用于描述作物对象的物候发育，则预定义阈值可能是50、30或20bbch，这取决于作物类型。换句话说，早期出苗意味着取决于作物类型，bbch小于50、30或20。例如，对于小麦或大麦，早期出苗可包括少于20或10bbch的生长阶段。对于甜菜或玉米，早期出苗可包括少于50、40、30或20bbch的生长阶段。
[0019]
根据本发明的实施例，计算单元还被配置为如果确定不满足用于至少一个作物对象的播种目标，则提供警告信号。
[0020]
警告信号可以是文本消息，该文本消息可发送到农民的移动电话。警告信号可以是语音消息。
[0021]
根据本发明的实施例，计算单元被配置用于应用填闲作物推荐规则，以基于包括至少一个作物对象的作物密度、至少一个作物对象的类型、以及定时的信息，确定是否为田地推荐填闲作物。
[0022]
填闲作物是在两种作物之间以普通顺序生长的作物，在主要作物的行之间，或作为失败的主要作物的替代品。填闲作物推荐规则可以在例如查找表中被预定义，该查找表将填闲作物的推荐与作物对象的作物密度、作物类型和定时相关联。例如，从种子在25-30
天内成熟的萝卜可以在大多数蔬菜行之间生长，并且在主要作物成熟之前很久收获。或者，可以在一些作物的春季收获和秋季种植之间种植填闲作物。可替代地，可以通过机器学习算法定义填闲作物推荐规则，该算法用历史数据进行训练，该历史数据包括作物对象的作物密度、作物类型、定时以及是否推荐填闲作物的决策。
[0023]
根据本发明的实施例，计算单元被配置用于应用预定义生长阶段量表，以基于至少一个作物对象的至少一个特征来确定至少一个作物对象的生长阶段。
[0024]
预定义生长阶段量表的示例是bbch量表。预定义生长阶段量表的其他示例包括feekes量表、zadoks量表等。可以例如基于叶子大小和叶子数量来确定至少一个对象的生长阶段。基于生长阶段，可以确定bbch并将其作为标签添加到每个指示框。可以考虑作物的生长阶段以确定例如生长速率。
[0025]
根据本发明的实施例，训练数据集的每组示例中的相关联的示例元数据还包括表示示例图像中的一个或多个农业对象的生长阶段的示例生长阶段标签。由数据驱动模型所生成的元数据还包括与至少一个区域指示符相关联的生长阶段标签。
[0026]
换句话说，生长阶段可能是数据驱动模型所训练的另一特征，例如，基于叶子大小和叶子数量。
[0027]
根据本发明的实施例，计算单元被配置为如果所确定的至少一个作物对象的生长阶段在预定义生长阶段量表中的预定义范围内，则提供指示至少一个作物不再可辨别以确定作物密度的通知。
[0028]
例如，预定义范围可以是bbch》50、30或20，这取决于作物类型。因此，如果生长阶段在预定义范围内，例如，bbch》50、30或20，则计算单元将通知农民作物不再可辨别以确定作物密度。通知可以是文本消息、语音消息等。
[0029]
根据本发明的实施例，计算单元还被配置为通过将所确定的至少一个作物对象的作物密度与至少一个作物对象的表示正常天气条件下的作物密度的预期作物密度进行比较，确定归因于极端天气条件的作物损害。关于作物密度的输出还包括表示所确定的作物损害的差异指示符。
[0030]
例如，计算单元可以确定归因于寒冷时期(例如冬季或干旱时期)的作物损害。在这样的情况下，可以存储先前的结果，并且关于作物密度的输出可包括表示相对或绝对损失的差异指示符。时间窗口可以与天气数据相关以检测极端天气条件并且可以选择适当的图像。
[0031]
根据本发明的实施例，计算单元被配置为确定多个田地中的至少一个作物对象的作物密度。计算单元被配置用于基于所确定的多个田地中的至少一个作物对象的作物密度，确定用于目标密度分类的阈值，用来自所接收的图像的关于作物密度的结果来标记不同的位置，和/或比较来自类似区域中的不同农民的结果。
[0032]
包括来自多个田地和区域的结果可能允许实现类似雷达或社区功能。不同的位置可以用关于作物密度的图像的结果进行标记。来自不同农民的结果可以帮助确定针对目标密度分类的阈值。还可以比较来自类似区域中的不同农民的结果，并且可以以相对于其他用户的视角放置作物密度。
[0033]
根据本发明的实施例，决策支持设备包括网络服务器单元，该网络服务器单元被配置用于经由由网络服务器所服务的网页和/或应用程序与用户进行交互。决策支持设备
被配置用于通过网页和/或应用程序向用户提供图形用户接口gui，以使得用户能够将田地中的一个或多个农业对象的图像提供给决策支持设备，并接收包括所确定的田地中的至少一个作物对象的作物密度的数据。
[0034]
换句话说，决策支持设备可以是提供网络服务以促进田地中的农业对象检测的远程服务器。远程服务器可以具有更强大的计算能力来向多个用户提供服务以在许多不同的田地中执行农业对象检测。远程服务器可包括用户可以通过其进行验证(例如，通过提供用户名和密码)的接口，并使用该接口将在田地中捕获的图像上载到远程服务器用于执行分析，并且从远程服务器接收相关联的元数据。
[0035]
本发明的第二方面提供一种移动装置，包括：
[0036]-相机，其被配置用于捕获一个或多个农业对象的图像，一个或多个农业对象包括田地中的至少一个作物对象；
[0037]-处理单元，其被配置用于：
[0038]
i)作为如上面和下面的决策支持设备，用于提供所确定的田地中的至少一个作物对象的作物密度；和/或
[0039]
ii)经由如上面和下面的决策支持设备所服务的网页和/或应用程序向用户提供图形用户接口gui，以允许用户将所捕获的图像提供给决策支持设备，并从决策支持设备接收所确定的田地中的至少一个作物对象的作物密度；以及
[0040]-显示器，其被配置用于显示所捕获的图像和所确定的田地中的至少一个作物对象的作物密度。
[0041]
换句话说，数据驱动模型可以在服务器(云)上可用。在这种情况下，移动装置(例如移动电话或平板计算机)用其相机拍摄田地的区域的图像，然后将图像发送到被配置为是远程服务器的决策支持设备，并且一个或多个农业对象由远程服务器标识，并且确定一个或多个作物的作物密度。对应的结果被发送到移动装置用于显示给用户。替代地或附加地，可以使数据驱动模型对移动装置可用。在这种情况下，可能需要压缩，例如经由节点或层减少取出那些不经常触发的节点或层(在《x％的已处理图像中)。
[0042]
根据本发明的实施例，处理单元还被配置用于将至少一个区域指示符叠加在所捕获的图像中的相关联的一个或多个农业对象上，优选地与相关联的农业对象标签一起。
[0043]
根据本发明的实施例，处理单元还被配置用于产生包括一个或多个农业对象的田地环境的增强现实图像，每个农业对象与相应的农业对象标签和在增强现实图像上叠加的所确定的相应的区域指示符相关联。
[0044]
本发明的第三方面提供一种农业机器人，包括：
[0045]-接口单元；
[0046]-控制单元；以及
[0047]-一个或多个处理工具；
[0048]
其中，接口单元被配置为接收来自如上文和下文所描述的决策支持设备的输出；
[0049]
其中，控制单元被配置为控制一个或多个处理工具以接收，被配置为根据从决策支持设备接收的输出执行一个或多个应时管理任务。
[0050]
农业机器人的示例包括但不限于车辆或无人机。在一些示例中，一个或多个处理工具可包括用于将诸如杀虫剂、种子、肥料等的材料递送到田地和正在被耕种的植物的装
置。在一些示例中，一个或多个处理工具可包括用于执行一个或多个管理任务的机械装置，诸如末端执行器(effector)、操纵器、或夹持器。
[0051]
本发明的第四方面提供一种用于农业对象检测的方法，包括：
[0052]
a)接收一个或多个农业对象的图像，一个或多个农业对象包括田地中的至少一个作物对象；
[0053]
b)将数据驱动模型应用于所接收的图像以生成元数据，元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的农业对象标签，
[0054]
其中，数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，示例元数据包括表示示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签；
[0055]
c)基于所生成的与所接收的图像相关联的元数据，确定所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积；
[0056]
d)基于所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积，确定至少一个作物对象的作物密度；以及
[0057]
e)输出包括所确定的田地中的至少一个作物对象的作物密度的数据。
[0058]
如本文所使用的，术语“数据驱动模型”可以是指数学模型或算法，该数学模型或算法可以基于已经“看到”输入/输出对的大量示例并将其“训练”以得到正确输出来标识输出是什么。数据驱动模型的示例可包括例如深度神经网络、深度信念网络、递归神经网络、卷积神经网络等。
[0059]
如本文所使用的，术语“早期出苗”可以是指bbch《50、30或20，这取决于作物类型。例如，对于小麦或大麦，早期出苗可包括《20或10bbch的生长阶段。对于甜菜或玉米，早期出苗可包括《50、40、30或20bbch的生长阶段。针对早期出苗的阈值可以基于历史数据来确定或者由操作者来设定。
[0060]
如本文所使用的，术语“单元”可以是指执行一个或多个软件或固件程序的asic、电子电路、处理器(共享的、专用的或组)和/或存储器(共享的、专用的或组)、组合逻辑电路、和/或提供所描述的功能的其他适合组件，或是其一部分，或包括它们。
[0061]
本发明的这些和其他方面将从在下文中所描述的实施例而显而易见并且得以阐述。
附图说明
[0062]
本发明的这些和其他方面将从以下描述中通过示例描述的实施例并参考附图显而易见并进一步阐明，其中：
[0063]
图1示意性地示出了用于农业对象检测的决策支持设备的示例。
[0064]
图2a示出了由决策支持设备提供的图形用户接口(gui)的示例。
[0065]
图2b示出了由移动电话捕获的图像的屏幕截图的示例。
[0066]
图2c示出了由移动电话捕获的图像的屏幕截图的另一示例。
[0067]
图3示出了分析结果的示例。
[0068]
图4示意性地示出了移动装置的示例。
[0069]
图5示意性地示出了移动装置的另一示例。
[0070]
图6示意性地示出了农业机器人的示例。
[0071]
图7示出了示出用于作物检测和分析的方法的流程图。
[0072]
应当注意，附图仅是图解的并且不按比例绘制。在附图中，对应于已经描述的元件的元件可以具有相同的参考标记。示例、实施例或可选特征，无论是否指示为非限制性的，都不应被理解为限制所要求保护的本发明。
具体实施方式
[0073]
图1示意性地示出了决策支持设备10。决策支持设备10包括输入单元12、计算单元14和输出单元16。
[0074]
输入单元12被配置用于接收田地中的一个或多个农业对象的图像。农业对象的示例可包括但不限于作物、杂草、叶片损伤、病害和缺氮。一个或多个农业对象包括田地中的至少一个作物对象。
[0075]
决策支持设备10可以例如经由网页和/或应用程序(也称为app)提供接口，该接口指示用户捕获田地的图像。接口可以让用户在拍照之前指定作物。如果在处理之前未指定作物，则可以针对植物行(plant row)分析(一个或多个)图像。基于这样的分析，检测到在行中的一种类型的植物可以被指定为作物。可以向农民提供可能是作物的最可能的(一个或多个)植物用于选择。图像中的剩余植物可以归类为杂草。作物的数量可以基于数据驱动模型的输出来确定。
[0076]
图2a示出了由决策支持设备提供的图形用户接口(gui)的示例，其通过以下示例性步骤引导用户利用移动电话捕获田地中的顶篷的一个或多个图像：
[0077]
1.将你的电话放在顶篷上面1m处。
[0078]
2.将焦点放在你的相机视图上可见的框架内部的顶篷上。
[0079]
3.拍摄你的田地顶部的图片。
[0080]
4.再走远5m并且再拍摄另一张图片。
[0081]
5.为了更准确，重复此4-10次。
[0082]
图2b中示出了照片的示例，其示出了由移动电话捕获的图像18的屏幕截图的示例。图2c中示出了照片的另一示例，其示出了图像18的屏幕截图的示例，该图像18包括经由移动电话的相机拍摄的田地中的不同区域的图像。
[0083]
参考图1，计算单元14被配置用于将数据驱动模型应用于所接收的图像以生成元数据，该元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符和与至少一个区域指示符相关联的农业对象标签。数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，该示例元数据包括表示示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。在训练时，具有包括杂草和作物的多种植物的图像被收集和注释。注释包括以矩形框形式标记每个植物和由框包围的相应的植物种类的区域指示符。注释数据被分离为训练数据和测试数据集。为了使能对经训练的网络进行适当的测试，测试数据必须涵盖不同
的植物种类，理想地网络所训练的所有植物种类。测试数据结果中的质量报告将包括置信度方面的质量。除了区域指示符和种类之外，数据驱动模型也可以在生长阶段进行训练。可以训练附加的数据驱动模型以识别图像中的作物。
[0084]
在图3中的照片的示例中，一个区域指示符20被标识并叠加在原始输入图像上。显示区域指示符，包括标签22。在图3的示例中，区域指示符20被显示为围绕每个识别的农业对象的圆形。区域指示符20可以用颜色编码指示符来标记。图3的示例中的标签22示出了作物对象的名称，即玉米。
[0085]
可选地，可以在粗略基础上检查图像以从田地图像中过滤垃圾(例如可口可乐瓶)。可以检查附加的质量标准，例如图像大小、分辨率、亮度、模糊度、锐度、焦点等。一旦图像通过了质量检查，它就被馈送到经训练的神经网络的输入层。
[0086]
可选地，在输出层上，可以提供用于每个检测到的植物的区域指示符和包括置信度水平的相应标签。可以显示被附接到每个标签多个标签的置信度水平(未显示)。例如，如果一个框标签上的最高置信度水平》50％，则将显示这一点。根据置信度水平的前2个(例如》40％)或前3个(例如》30％)标签也可以显示给用户。区域指示符可以显示为每个杂草/作物周围的框，或者框的中心点可以用颜色编码的指示符进行标记。对于每个指示符，可以提出下拉列表，该下拉列表在用户的触摸屏轻敲手势上弹出。取决于输出，用户可以确认具有最高或较低置信度等级的作物/杂草种类。可替代地，用户可以校正作物/杂草种类。
[0087]
返回图1，计算单元14还被配置用于基于所生成的与所接收的图像相关联的元数据，确定所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积。在图3中的照片的示例中，计算并显示图像中的玉米的数量和所接收的图像覆盖的田地的面积。基于所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积，计算单元14还被配置用于确定至少一个作物对象的作物密度。
[0088]
返回图1，输出单元16被配置用于输出包括所确定的田地中的至少一个作物对象的作物密度的数据。
[0089]
可选地，计算单元14还可被配置将所确定的至少一个作物对象的作物密度与用于至少一个作物对象的预定义阈值进行比较，以确定是否满足用于至少一个作物对象的播种目标。作为进一步的选项，计算单元14还可被配置为如果确定未不满足用于至少一个作物对象的播种目标，则提供警告信号。作为进一步的选项，计算单元14还可被配置为应用预定义填闲作物推荐规则，以基于包括至少一个作物对象的作物密度、至少一个作物对象的类型、和定时的信息来确定是否为田地推荐填闲作物。换句话说，连同来自数据驱动模型的识别作物，可以确定作物密度，即可以确定每平方米存在多少植物。如果拍摄并分析了多于一个图像，则可能取所有图像的平均值。作物密度可用于进一步确定是否满足播种目标，例如是否超过第一阈值。如果未满足播种目标，例如如果未超过第二阈值，则可以向农民发出早期警告和通知。此外，可能推荐追赶(catch up)水果。
[0090]
可选地，计算单元14还可被配置用于应用预定义生长阶段量表，以基于至少一个作物对象的至少一个特征来确定至少一个作物对象的生长阶段。可以考虑作物的生长阶段以确定例如生长速率。作为进一步的选项，训练数据集的每组示例中的相关联的示例元数据还包括表示示例图像中的一个或多个农业对象的生长阶段的示例生长阶段标签。由数据驱动模型生成的元数据还包括与至少一个区域指示符相关联的生长阶段标签。换句话说，
生长阶段可能是数据驱动模型所训练的另一特征，例如基于叶子大小和叶子数量。基于生长阶段，可以确定bbch并将其作为标签添加到每个指示框。如果生长阶段超过阈值，例如50或30bbch，则计算单元将例如经由网页或应用程序的gui通知农民作物不再可辨别以确定作物密度。
[0091]
可选地，计算单元14还被配置通过将所确定的至少一个作物对象的作物密度与至少一个作物对象的表示正常天气条件下的作物密度的预期作物密度进行比较，确定归因于极端天气条件的作物损害。关于作物密度的输出还包括表示确定的作物损害的差异指示符。例如，计算单元也可用于确定归因于寒冷时期(例如冬季或干旱时期)的作物损害。在这样的情况下，可以存储先前的结果，并且关于作物密度的输出可包括表示相对或绝对损失的差异指示符。时间窗口可以与天气数据相关以检测极端天气条件并且可以选择适当的图像。
[0092]
可选地，计算单元14被配置为确定用于多个田地中的至少一个作物对象的作物密度。计算单元被配置用于基于所确定的多个田地中的至少一个作物对象的作物密度来确定用于目标密度分类的阈值，用来自所接收的图像的关于作物密度的结果标记不同的位置，和/或比较来自类似区域中的不同农民的结果。例如，不同的位置可以用来自图像的关于作物密度的结果进行标记。来自不同农民的结果可以帮助确定用于目标密度分类的阈值。还可以比较来自类似区域中的不同农民的结果，并且可以以相对于其他用户的视角放置作物密度。来自多个田地和区域的结果可能允许实现类似雷达或社区功能。
[0093]
决策支持设备10可以实现为移动装置，诸如移动电话或平板计算机，或实现在移动装置中。可替代地，决策支持设备可以实现为通信地耦接到移动装置的服务器，用于接收图像并将分析结果输出到移动设备。例如，决策支持设备可以具有网络服务器单元，该网络服务器单元被配置用于经由由网络服务器服务的网页和/或应用程序与用户进行交互。决策支持设备被配置为通过网页和/或应用程序向用户提供图形用户接口gui，使得用户可以将田地中的一个或多个农业对象的图像提供给决策支持设备并从决策支持设备接收与图像相关联的元数据。因此，一旦数据驱动模型经训练并符合预定义质量标准，则它将在服务器(例如云)或移动设备上可用。在后者情况下，可能需要压缩，例如经由节点或层减少取出那些不经常触发的节点或层(在《x％的已处理图像中)。
[0094]
决策支持设备10可包括执行适当的软件的一个或多个微处理器或计算机处理器。设备的处理器可以由这些处理器中的一个或多个来实现。软件可能已经被下载和/或被存储在对应的存储器中，例如，易失性存储器(诸如ram)或者非易失性存储器(诸如flash)。软件可包括配置一个或多个处理器以执行参考设备的处理器描述的功能的指令。可替代地，设备的功能单元，例如计算单元，可以在设备或装置中以可编程逻辑的形式实现，例如，作为现场可编程门阵列(fpga)。通常，系统的每个功能单元可以以电路的形式实现。应注意到，决策支持设备10还可以以分布式方式实现例如，包含不同设备或者装置。
[0095]
图4示意性地示出了移动装置100，该移动装置100可以是例如移动电话或平板计算机。移动装置100包括相机110、处理单元120和显示器130。
[0096]
相机110被配置用于捕获田地中的一个或多个农业对象的图像。
[0097]
处理单元120被配置用于作为如上文和下文所描述的决策支持设备。换句话说，数据驱动模型可以在移动装置上可用。可能需要压缩，例如经由节点或层减少取出那些不经
常被触发的节点或层(在《x％的已处理图像中)。可选地，处理单元120还被配置用于将至少一个区域指示符叠加在捕获的图像中的相关联的一个或多个农业对象上，优选地与相关联的农业对象标签一起。图3示出了叠加图像的示例。
[0098]
显示器130，诸如触摸屏，被配置用于显示捕获的图像和相关联的元数据。
[0099]
附加地或替代地，数据支持设备10可以实现为系统200中的如图5所示的远程服务器。所示示例的系统200包括多个移动装置100(诸如移动装置100a、100b)、网络210和决策支持设备10。为了简单起见，仅示出了两个移动装置100a、100b。然而，以下讨论也可扩展到大量的移动装置。
[0100]
所示示例的移动装置100a、100b可以是移动电话、智能电话和/或平板计算机。在一些实施例中，移动装置100a、100b也可以称为客户端。每个移动装置100a、100b可包括类似触摸屏的用户接口，该触摸屏被配置为促进一个或多个用户向决策支持设备提交在田地中捕获的一个或多个图像。用户接口可以是交互接口，包括但不限于gui、角色用户接口和触摸屏接口。
[0101]
决策支持设备10可以具有网络服务器单元30，该网络服务器单元30提供网络服务以促进对多个移动装置100a、100b中的图像数据的管理。在一些实施例中，网络服务器单元30可以例如经由网页、桌面应用、移动应用与用户交互以促进用户访问决策支持设备10，以上载捕获的图像并接收相关联的元数据。可替代地，所示示例的网络服务器单元30可以用提供任何类型的接口(例如命令行接口、图形用户接口)的另一设备(例如另一电子通信设备)替换。网络服务器单元30还可包括用户可以通过其验证(通过提供用户名和密码)的接口。
[0102]
所示示例的网络210通信地耦合多个移动装置100a、100b。在一些实施例中，网络210可以是互联网。可替代地，网络210可以是任何其他类型和数量的网络。例如，网络210可以由连接到广域网的多个局域网来实现。当然，可以利用任何其他配置和拓扑来实现网络210，包括有线网络、无线网络、广域网、局域网等的任何组合。
[0103]
决策支持设备10可以分析从每个移动装置100a、100b提交的图像并将分析结果返回给相应的移动装置100a、100b。
[0104]
可选地，移动装置的处理单元120还可被配置用于在将捕获的图像提供给决策支持设备之前对捕获的图像执行质量检查。质量检查包括检查以下各项中的至少一项：图像大小、图像的分辨率、图像的亮度、图像的模糊度、图像的锐度、图像的焦点、以及从捕获的图像中过滤垃圾。
[0105]
可选地，处理单元120还被配置用于产生包括一个或多个农业对象的田地环境的增强现实图像，每个农业对象与相应的农业对象标签相关联，并且优选地与叠加在增强现实图像上的相应区域指示符相关联。例如，出苗识别可以组合增强现实实现为在线/实时功能。因此，移动电话相机用于产生田地环境的增强现实图像，神经网络处理序列的每个图像，并且识别的标签和可选地区域指示符被叠加在增强现实图像上。这可以允许增强作物检测增强现实的适用性，并且可以使用二维区域测量。
[0106]
启用增强现实和区域测量的算法的示例包括但不限于：
[0107]-无标记ar：关键算法包括视觉里程计和视觉惯性里程计。
[0108]-具有几何环境理解的无标记ar：此处，除了定位相机之外，提供了环境的密集3d
重建。关键算法包括密集3d重建、多视图立体文献。
[0109]-具有几何和语义环境理解的无标记ar：此处，除了具有密集3d重建之外，提供了用于那些表面的标签。关键算法是语义分割、对象检测、3d对象定位。
[0110]
增强现实可用于渲染检测到的植物，包括标签等。此外，计量功能可用于确定图像中标记的区域。标记区域可以由用户输入以覆盖图像中所示的植物，例如通过轻敲四个角。可替代地，基于区域指示符，可以向用户建议标记区域，用户可以进行校正。基于标记的图像区域和可选地相机光学规格，可以确定真实区域。
[0111]
图6示意性地示出了农业机器人300的示例。农业机器人300可以是基于车辆的机器人或基于无人机的机器人。农业机器人可以具有导航系统，例如，基于视觉的或基于gps的，用于将农业机器人导航到田地中的期望位置用于执行一个或多个管理任务。
[0112]
农业机器人包括接口单元310、控制单元320、和一个或多个处理工具330。
[0113]
接口单元310被配置为例如经由物理电缆或无线地接收来自如上文和下文所描述的决策支持设备的输出。
[0114]
控制单元320被配置为控制一个或多个处理工具330以根据从决策支持设备接收的输出执行一个或多个应时管理任务。一个或多个处理工具330可包括用于将诸如杀虫剂、种子、肥料等的材料递送到田地和正在被耕种的植物的装置，例如喷嘴。在一些示例中，一个或多个处理工具可包括用于执行一个或多个管理任务的机械装置，诸如末端执行器、操纵器或夹持器。例如，农业机器人中的末端执行器是在机械臂末端找到的设备，该设备可用于收获、喷洒和装袋。夹持器是用于收获目标作物的抓取设备。操纵器允许夹持器和末端执行器导航通过其环境。应时管理任务之一可能是响应于用于田地的填闲作物的推荐而种植填闲作物。
[0115]
图7示出了示出用于农业对象检测的方法400的流程图。在步骤410，即步骤a)中，接收包括田地中的至少一个作物对象的一个或多个农业对象的图像。例如，移动电话相机可以捕获田地的区域中的多个作物和杂草的图像。
[0116]
在步骤420，即步骤b)中，将数据驱动模型应用于所接收的图像以创建元数据，该元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符和与至少一个区域指示符相关联的农业对象标签。数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，该示例元数据包括表示示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。
[0117]
在步骤430，即步骤c)中，基于所生成的与所接收的图像相关联的元数据，确定所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积。
[0118]
在步骤440，即步骤d)中，基于所接收的图像中的至少一个作物对象的数量和所接收的图像覆盖的田地的面积，确定至少一个作物对象的作物密度。
[0119]
在步骤450，即步骤e)中，输出包括所确定的田地中的至少一个作物对象的作物密度的数据，例如，显示在移动电话上。
[0120]
将理解到，以上操作可以以任何适合的次序(例如，连续地、同时地或其组合)执行，在适用的情况下经受特定次序例如由输入/输出关系需要。
[0121]
在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序元件，其特征在于适于在适当的系统上执行根据前述实施例之一的方法的方法步骤。计算机程序元件可以因此被存储在计算机单元上，其还可以是本发明的实施例的一部分。该计算单元可以适于执行或诱导执行上文所描述的方法的步骤。而且，它可以适于操作上文所描述的装置的组件。计算单元可以适于自动操作和/或执行用户的命令。计算机程序可以加载到数据处理器的工作存储器中。数据处理器因此可以被装备以执行本发明的方法。
[0122]
本发明的该示例性实施例涵盖从一开始就使用本发明的计算机程序和通过更新将现有程序变成使用本发明的程序的计算机程序两者。
[0123]
更进一步地，计算机程序元件可能能够提供所有必要的步骤来实现如上文所描述的方法的示例性实施例的过程。
[0124]
根据本发明的另一示范性实施例，呈现了计算机可读介质(诸如cd-rom)，其中，计算机可读介质具有被存储其上的计算机程序元件，该计算机程序元件由前述章节描述。
[0125]
计算机程序可以被存储和/或被分布在适合的介质(诸如连同其他硬件一起或作为其一部分供应的光学存储介质或固态介质)，而且可以以其他形式分布(诸如经由因特网或其他有线或无线电信系统)。
[0126]
然而，计算机程序也可以通过像万维网的网络呈现并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供用于制造可用于下载的计算机程序元件的介质，该计算机程序元件被布置为执行根据本发明的先前所描述的实施例之一的方法。
[0127]
必须注意，本发明的实施例是参考不同的主题来描述的。特别地，参考方法类型权利要求描述了一些实施例，而参考设备类型权利要求描述了其他实施例。然而，本领域的技术人员将从上文和以下描述理解到，除非另外通知，否则除属于一种类型的主题的特征的任何组合之外，与不同的主题有关的特征之间的任何组合也被认为是与本技术一起公开。然而，可以组合所有特征，提供比特征的简单总和更多的协同效应。
[0128]
虽然已经在附图和前述描述中详细图示和描述本发明，但是这样的图示和描述将仅被认为是说明性或者示范性而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对范围的限制。