用于检测容器内的液位的方法和系统与流程

1.本发明涉及一种用于检测容器内的液位的方法和系统。


背景技术：

2.便携式设备(诸如，智能手机)的普及已使得照护者能够通过使用安装在所述便携式设备上的移动应用来更容易地追踪例如婴儿的食物和液体(例如，诸如奶或婴幼儿配方奶粉的肠内营养物)摄入。当前可用的应用允许用户登记和监测食物随时间推移的摄入。移动应用(例如，apps)还可以具有附加特征，诸如为下一餐设置提醒以及保持对食物成分的追踪、允许用户保留食物摄入的详细历史。这对以瓶装营养成分进食的患者(诸如，阿尔茨海默氏症患者、恶病质患者、下咽困难(吞咽困难)患者等)的照护者而言是特别方便的，因为它为照护者提供了登记和监测进食历史的工具。
3.虽然这些移动应用可以保留从瓶中摄入食物的详细历史，但是获得瓶中的一定体积的液体或半固体成分的物理行为是手动进行的，且这是一项费力的任务。当前，对瓶内液体(例如，奶)的量的测量是通过眼睛进行的，且必须在照护者忙于照顾婴儿或患者的时候手动地输入。这使得获得体积读数是劳动密集的且耗时的任务。此外，由于这些读数是“最佳猜测”，所测量的体积水平仍可能不准确。这会导致记录不正确的体积。
4.因此，需要一种用于快速且精确地测量和存储液体容器中液体体积的方法和系统。


技术实现要素：

5.本发明提供了一种用于检测容器内的液位的计算机实施的方法，所述方法包括以下步骤：通过便携式设备的相机捕获容器的第一图像；将第一图像提供至卷积神经网络cnn的输入层；从cnn的最终层获得第一图像中的容器内的液位；且存储所获得的液位，其中cnn被配置为识别第一图像中的容器的多个容积指示器的特征，且基于所识别的特征来确定第一图像中的容器内的液位。在根据本发明的一个实施方案中，所述方法还包括通过cnn确定第一图像是否包括容器的多个容积指示器的步骤。如果第一图像确实包括多个容积指示器，则根据本发明的一个实施方案的cnn被配置为识别所述多个容积指示器的特征。
6.因此，本发明提供了一种用于获得容器中的液位(诸如，奶或其他用于例如管喂养的液体/半固体营养成分)的方法，通过拍摄图像且通过使用机器学习(诸如，通过使用如卷积神经网络(cnn)的神经网络)来确定容器中的液位。因此，此方法允许以自动的方式快速且精确地确定液位。通过使用被配置(例如，被训练)用于检测容器中的液位的cnn，且通过识别容器的容积指示器的特征，可以精确地确定容器中的液位。容器的容积指示器可以位于容器的外部部分上、位于容器的内部部分上或者位于容器的内部。容器优选地具有至少一部分透明材料或半透明材料，使得容器内的液位以及容积指示器在所捕获的图像中是至少部分可见的。此方法完全去除了对于用户通过眼睛来手动确定液位的需求，且去除了对液体容积的任何人为偏见，产生一致且精确的液体容积测量结果。
7.在根据本发明的一个实施方案中，容器用于婴儿营养物，优选地是用于婴儿奶或配方奶的瓶。用于液体营养物(流体营养物)的合适容器包括但不限于：瓶、注射器、杯、罐以及连接至在辅助喂养中所使用的管的容器(例如，鼻饲罐)。容器内的液位优选地完全地或至少部分地对肉眼是可见的。
8.在根据本发明的一个实施方案中，捕获第一图像还包括通过便携式设备向用户提供引导信息来定向相机，从而捕获包括容器的液位以及多个容积指示器的容器的至少一部分。通过确保第一图像包括容器中液位可见的局部或部分且包括可被识别或提取以提供参考值的多个容积指示器，cnn可以确定所述容器中的液体容积。
9.在根据本发明的一个实施方案中，多个容积指示器包括至少一个数字(优选地，至少两个数字)以及多个刻度标记。以此方式，容量指示器的顶部和底部之间的距离还可被cnn使用。不同类型的特征或其组合可以被识别，从而对所捕获图像的限制更少，因为cnn将适配且检索任何可用于获得液位的特征。在根据本发明的一个实施方案中，多个容积指示器表示容器的全部容积指示器的至少80％。以此方式，在第一个所捕获的图像中，不需要整个容器是可见的。
10.在根据本发明的一个实施方案中，容器上的刻度标记包括以5毫升ml至20毫升ml为增量，优选地以10ml为增量的容积刻度。此为容器的空间尺度提供了刻度，cnn可以借助所述刻度来确定容器中的液位。
11.在根据本发明的一个实施方案中，捕获第一图像包括通过便携式设备提供引导信息，使得容器相对于第一图像中的水平表面垂直地定向。优选地，水平表面还是平坦的或基本平坦的，从而允许容器停留在稳定的位置。此允许液位平行于平坦的水平表面和/或容积指示器，允许cnn有效地确定容器中的液位。
12.在根据本发明的一个实施方案中，第一图像中的水平表面相对于第一图像的水平轴线成一角度，所述角度在-45度至45度的范围内。因此，第一图像可在便携式设备相对于容器倾斜的情况下被捕获，且cnn将能够识别液位。
13.在根据本发明的一个实施方案中，为了确定液位，cnn认为(被配置为认为)液位包括位于液体层的顶部上的泡沫层。液体的顶部表面位于容器中的最高可见物质的水平处，因此可以被用作液位标记来确定液位。
14.如果容器中的液体是奶，由于奶起泡，容器中的奶可包括液体层以及起泡的泡沫层。随后，顶部表面(奶水平)可被认为是(邻接液体层的)泡沫层的顶部。此还适用于容器中所包含的任何(半)透明液体。
15.在根据本发明的一个实施方案中，所述方法还包括通过便携式设备显示关于所获得的第一图像中的容器中的液位的信息。通过显示关于所获得的液位的信息，可以告知用户(或父母或照护者)此值。
16.在根据本发明的一个实施方案中，所述方法还包括以下步骤：通过相机捕获不同于第一图像的容器的第二图像，将第二图像提供至cnn的输入层，且获得第二图像中的容器内的液位，通过便携式设备计算第一图像与第二图像之间的液位差，以及存储所获得的第二图像中的容器中的液位以及所计算出的差中的至少一个。因此，本发明提供了用于获得容器内的液位(诸如，奶水平)的方法，优选地所述方法用于两种分立场合(诸如，液体摄入之前和之后)中的婴儿营养物(诸如，婴儿奶或婴儿配方的瓶)，而且所述方法用于通过获取
两个图像之间的液位差来存储所消耗的液体容积。此允许用户持续追踪所消耗的液体容积，例如，除了在特定场合所测量的液体容积，婴儿所消耗的奶水平。
17.在根据本发明的一个实施方案中，所述方法还包括显示关于所获得的第二图像中的容器中的液位的信息以及关于所计算出的差的信息中的至少一个。
18.在根据本发明的一个实施方案中，cnn是深度cnn，更具体地残差神经网络resnet，所述残差神经网络resnet通过以下方式中的一个或几个来修改：移除resnet的最终层，插入对液位进行分类的类，插入附加的全连接层，在全连接层中执行丢弃(dropout)，引入正则化项(regularization term)，添加二维卷积，应用权重量化，以及将卷积层彼此折叠。因此，本发明的实施方案中所使用的cnn提供了紧凑的结构，允许其在便携式设备中实施，而能实现精确的液位确定。为了本公开内容的目的，术语cnn被认为还包括诸如resnets的深度学习架构。
19.本发明还提供了一种用于检测容器内的液位的系统，所述系统包括：包括相机的便携式设备，所述相机被配置为捕获容器的第一图像；处理器，所述处理器被配置为将第一图像提供至卷积神经网络cnn的输入层，且从所述cnn的最终层获得第一图像中的容器内的液位；以及，存储介质，所述存储介质被配置为存储所获得的液位，且所述cnn被配置(例如，被训练)用于识别第一图像中的容器的多个容积指示器的特征，且基于所识别的特征来确定第一图像中的容器中的液位。
20.在根据本发明的一个实施方案中，容器是用于婴儿营养物的瓶，优选地是用于婴儿奶或配方奶的瓶。
21.在根据本发明的一个实施方案中，处理器还被配置为控制便携式设备在捕获第一图像期间提供引导信息，从而使相机定向成捕获包括容器的液位以及多个容积指示器的容器的至少一部分。
22.在根据本发明的一个实施方案中，多个容积指示器包括至少一个数字以及多个刻度标记。当本公开内容指示cnn被配置为例如识别某些特征或提取某些特征点时，这可能意味着cnn被训练数据训练，所述训练数据通过本领域技术人员选择，以使得经训练的cnn对所述特征或特征点敏感。例如，使cnn对容积指示器中的至少一个数字敏感可能意味着，向cnn提供具有多种容积指示器但其他方面类似的瓶的训练样本。这样的训练集将迫使cnn“关注”作为正确分类的唯一信息源的构成容积指示器的特征或特征点。因此，此将使cnn适配至期望的特征或特征点。
23.在根据本发明的一个实施方案中，多个容积指示器表示容器的全部容积指示器的至少80％。
24.在根据本发明的一个实施方案中，容器的刻度标记包括以5毫升ml至20毫升ml为增量，优选地以10ml为增量的容积刻度。
25.在根据本发明的一个实施方案中，处理器还被配置为控制便携式设备在捕获第一图像期间提供引导信息，使得容器相对于第一图像中的水平表面垂直地定向。
26.在根据本发明的一个实施方案中，第一图像中的水平表面相对于第一图像的水平轴线成一角度，所述角度在-45度至45度的范围内。
27.在根据本发明的一个实施方案中，为了确定液位，cnn被配置为认为液位包括位于液体层的顶部上的泡沫层。
28.在根据本发明的一个实施方案中，便携式设备还包括显示器，所述显示器被配置为显示关于所获得的第一图像中的容器中的液位的信息。
29.在根据本发明的一个实施方案中，相机还被配置为捕获不同于第一图像的容器的第二图像；处理器还被配置为将所述第二图像提供至cnn的输入层，以获得所述第二图像中的容器内的液位，且计算第一图像与第二图像之间的液位差；以及，存储介质还被配置为存储第二图像中的容器中的液位以及所计算出的差中的至少一个。
30.在根据本发明的一个实施方案中，cnn是经修改的残差神经网络resnet，在经修改的残差神经网络resnet中进行了以下修改中的一个或几个：移除resnet的最终层，插入用于对液位进行分类的类，插入附加的全连接层，在全连接层中执行丢弃，引入正则化项，添加二维卷积，应用权重量化，将卷积层彼此折叠。
31.在根据本发明的一个实施方案中，cnn在便携式设备中实施。在根据本发明的一个实施方案中，cnn在与便携式设备通信的服务器中实施。
32.在根据本发明的一个实施方案中，容器包括顶部表面、底部表面以及侧部表面，其中所述顶部表面能从容器移除。
附图说明
33.下面将参考附图，更详细地讨论本发明，在附图中：
34.图1描绘示出根据本发明的实施方案的方法的流程图。
35.图2示出根据本发明的实施方案的用于获得cnn的方法。
36.图3示意性地表示根据本发明的实施方案的方法的不同步骤。
37.图4示意性地表示根据本发明的实施方案的方法的不同步骤。
38.图5示意性地表示根据本发明的实施方案的方法的不同步骤。
39.图6描绘了示出根据本发明的实施方案的方法的流程图。
40.图7示意性地表示根据本发明的实施方案的方法的不同步骤。
41.图8a和图8b描绘根据本发明的实施方案的系统。
具体实施方式
42.图1描绘了示出根据本发明的实施方案的方法的流程图。
43.在步骤101中，优选地通过便携式设备的相机或通过任何其他图像捕获设备来捕获图像。在步骤102中，将图像提供至深度神经网络(dnn)诸如卷积神经网络(cnn)的输入层。在提供方法步骤的进一步描述之前，解释根据本发明的cnn。
44.cnn是通过来自图像数据库(诸如，imagenet数据库)的百万个以上的图像来训练的网络。cnn由某一数目的层组成，且能够将图像分类到不同的对象类别中。因此，用各种图像的特征表示来对所述网络进行教学。cnn可以使用若干库(诸如，tensorflow库和keras库)实施，还可以在诸如python、c、c 等编程语言中实施，且可以在单个或多个处理器或单个或多个处理器核上运行，或者在诸如cuda的并行计算平台上运行。
45.cnn将图像作为输入，然后为图像中的对象输出标签(或向量)以及输出每个对象类别的概率。cnn可以要求输入图像的尺寸为224乘224像素。如果输入图像与允许的224乘224像素的输入尺寸不同，则执行预处理步骤，由此调整图像尺寸(通过升刻度或降刻度)或
裁剪，从而适应所需的224乘224像素的输入尺寸。
46.为了使cnn能够(被配置为)对图像进行分类，首先需要将cnn训练为能够识别可用的分类。这可以在通常描述为迁移学习方法的方法中通过使用预训练网络来执行。迁移学习方法使用预训练网络作为cnn的基础，因为预训练网络的早期层已经学习了低级特征(诸如，边缘和颜色)，最终层已经学习了更多特定任务特征(中级至高级)。通常，由于cnn仅需要来自所有可用的分类的选定的分类子集，迁移学习方法将预训练网络的早期层复制至cnn的早期层，但是为cnn创建一组新的最终层，使得“新的”最终层能够学习针对分类子集的具体数据集的特征。这大幅地减少了cnn所需的学习时间。
47.在cnn学习分类之后，则必须对cnn进行如何将新的图像集分类到多个类的教学。此是通过向cnn输入训练图像来执行的。训练图像可以是库存图像、测试图像甚至是仿真图像。为了获得90％以上的分类精确度，优选地使用许多图像进行训练，范围为从5,000至10,000个图像，更优选地为8,000至9,000个图像。训练图像可以包括通过执行基于如旋转、裁剪、缩放、着色的方法进行图像增强而创建的图像。这增加了cnn的鲁棒性。cnn的卷积层提取图像特征，最终的可学习层以及最终的分类层使用所述图像特征来对输入图像进行分类。这两个层包含了如何将cnn所提取的特征组合成类概率以及预测标签的信息。为了训练cnn，这些最终层之后被修改或替代为适应新数据集的新层。
48.在大多数网络中，具有可学习权重的最终层是全连接层，其将输入与学习权重相乘。在训练期间，此层被新的全连接层替代，所述新的全连接层带有的输出数目等于新数据集中的类别的数目。通过提高该层的学习率，可以使新层比迁移层学习得更快。
49.分类层指定网络的输出类。在训练期间，此层被新的不含类标签的分类层替代，且训练将自动地添加该层的输出类。
50.一旦经过训练，cnn就能够对图像进行分类且计算类概率。
51.cnn还可以通过新的图像集进行重新训练。这可以从头开始执行(即，从提取预训练网络的早期层开始执行)，至仅训练几个选定的层而不触及其余层。后者通常被称为“冻结”层，其中训练过程仅修改或更新选定组的层的参数，同时忽略(或“冻结”)其余层。
52.在本发明的实施方案中，通过修改resnet(诸如，标准resnet-50网络)来创建用于确定液位的cnn。残差网络resnet-50是包括50个层的cnn。resnet-50通过例如增加或减少层或微调预训练层来适应迁移学习。在本发明的一个实施方案中，通过imagenet数据库训练的resnet-50网络被修改和优化，从而使cnn可以在便携式设备上实施。下面将结合图2来详细描述这些修改。
53.首先，移除(201)最终(softmax)层，以插入(202)用于液位分类的类。此外，在网络的最终层添加若干全连接层，以改进分类精确度。
54.其次，在所添加的全连接层中执行(203)丢弃，以防止过拟合。丢弃是对若干神经元(神经网络的基本单元)的随机停用。此导致神经元无法学习，从而产生对不同类型的图像而言更鲁棒的模型。换句话说，即使一些神经元被停用，该模型仍然能够精确地确定奶水平。
55.第三，在隐藏层中引入(204)正则化项。通过网络在网络的损失度量中引入包含权重向量范数的项来防止进一步的过拟合，从而使所有的权重(而不仅仅是特定的权重)对分类层做出贡献。此导致更加数学鲁棒的网络。
56.第四，使用分立作用于每一颜色通道的滤波器，添加(205)二维(2d)卷积来改善网络的通道级分析。
57.第五，权重量化(其中，平均权重在被量化之后映射为整数)通过减少需要执行的浮点运算数目来减少延迟，进而减少为了操作cnn所必需的计算要求。有利的效果是，小型、较小功率的设备(诸如，便携式设备)能够执行cnn，而非使外部设备执行cnn过程。
58.最后，使用折叠批量归一化将卷积层彼此折叠(207)。批量归一化用于对输入层进行归一化，(通过使输入具有单位方差且平均值为零)调整激活的比例。折叠批量归一化包括“折叠”，即，将成批的归一化层的数学运算与卷积层合并或组合。通过减少层的数目，此进一步减少了需要在便携式设备上所执行的计算的量，导致更快的训练速度。
59.申请人已经发现，以上所描述的修改导致cnn适合用于本公开内容的目的。然而，为了平衡性能与其他优先性(例如，复杂性)的利益，技术人员可以选择省略以上修改中的一个或多个。
60.此外，为了在用于正则化项的优化结构中进行参数搜索，在cnn的密集训练期间，确定全连接层中的神经元数目、丢弃率以及量化量。
61.与标准50个层的resnet-50相比，以上提及的修改和优化产生包括减少的层数的cnn，同时提供远高于标准resnet-50的分类精确度。由于cnn更小、更紧凑且带有如以上所示的量化权重，操作cnn的存储器以及处理要求更低，从而允许具有低处理功率以及更小可用存储器容量的电子设备(诸如，便携式设备和平板计算机)能够在所述电子设备上独立地操作cnn。
62.由于cnn可以在便携式设备中实施，所以cnn可以通过液位的特定分类被进一步训练。例如，如果用户仅具有某一类型的奶瓶，则cnn将被配置为对同一奶瓶的液位进行分类。针对这种情况，cnn可被配置为针对该特定类型的奶瓶进行训练，从而产生更精确和鲁棒的分类。本发明的实施方案中所使用的cnn是借助多种类型的瓶来训练的，从而当使用在训练阶段中所使用的瓶时，对液位确定提供95％的精确度，且即使对在训练阶段未使用的其他类似瓶，也允许提供对液位的确定。
63.现在返回图1，在向cnn的输入层提供图像之后，cnn(的早期层)识别或提取图像的特征。在本发明的实施方案中，可从容器的容积指示器识别或提取特征，所述容积指示器诸如位于容器(诸如，瓶，贯穿说明书，术语容器和瓶可互换使用)的侧部。容积指示器可以包括刻度标记以及数字，单位可以是(毫)升或流体盎司或任何其他容积单位。优选地，所捕获的图像包括关于刻度单位((毫)升或流体盎司等)的信息，所述信息通常接近容积指示器。刻度标记可以设定间隔定位，其中容积沿着刻度标记而线性地增大。在这种情况下，虽然刻度标记以设定间隔定位，但是数字可以不同的设定间隔存在。例如，虽然刻度标记可以10ml的间隔存在，但是数字可以50ml的间隔存在，且可以表示为
‘
50’、
‘
50ml’等。
64.在将图像提供至输入层之后，可以通过cnn执行附加的步骤，所述步骤包括确定第一图像是否包括容器的多个容积指示器。如果容器确实包括多个容积指示器，则cnn可以被配置为识别所述多个容积指示器的特征。
65.在识别特征之后，cnn在之后的层中执行进一步的特征识别，且对图像进行分类，使用从不同的层所获得的识别特征来计算类概率。所述概率基于在例如预训练阶段或训练阶段期间从图像数据库中所提取的特征来计算。
66.在步骤103中，从cnn的最终层确定(获得)容器内的液位。确定液位可以包含提供输出，所述输出可以由cnn以包括所有分类的概率的一维向量方式给出。所述输出可以以单数方式给出(即，仅输出具有最高概率的分类)，或以复数方式输出(例如，概率前5高的分类的列表，或所有分类的所有概率的列表)。输出的实施例可以是向量，所述向量给出了例如以毫升为单位的以下数值的概率：0、20、30、40、50、60、70、80、90、100、110、120、125、130、135、140、150、160、170、180、190、200、210、220、230、240、250、260、300。
67.当液位位于两个容积指示器之间时，cnn可以输出对应于液位位置的上方或下方的容积指示器(诸如，最接近液位的容积指示器)的标签。当液位表示满容器时，cnn可以输出对应于最大液位的标签，诸如300ml。满容器的液位通常是无法被人眼读取的，因为通常不存在指示最大值的标记。在这种情况下，cnn提供了比人眼更精确的测量。
68.在步骤104中，所获得的液位由便携式设备存储。它可以存储在便携式设备本身的存储器中，或存储在与所述便携式设备通信的服务器中。
69.图3表示根据本发明的实施方案的方法的不同步骤。如图3中看到的，便携式设备可以具有安装在其中的应用，从而捕获容器(诸如用于婴儿营养物的容器，诸如奶瓶)的图像。在本发明的实施方案中，便携式设备可以执行应用，从而捕获奶瓶的图像。应用可向操作便携式设备的用户提供引导信息，从而获得奶瓶的图像。这可以例如通过便携式设备显示如下形状来执行：所述形状指示待被cnn层用作输入的图像的最大允许像素尺寸。例如，所述形状可以是特定尺寸(诸如，224乘224像素)的方形。这还可以通过显示如下文本来执行：当图像待被捕获时，所述文本指示瓶应当被放置在屏幕内的何处(诸如，“将瓶放在方形中”等)，和/或相对于水平表面应被放置在哪个位置。所捕获的图像可以是灰度图像或彩色图像。如果图像大于特定尺寸，则cnn可以执行预处理步骤，从而调整图像尺寸至特定尺寸。
70.在本发明的实施方案中，引导信息还可以指示将便携式设备放置在距容器(瓶)的一预定距离处，从而用于相机捕获瓶的图像。优选地，此距离在10cm-50cm之间，最优选地在20cm-30cm之间。
71.引导信息还可以指示将容器(瓶)优选地放置在水平表面或大体上水平表面上。瓶应优选地被竖向定向，即，垂直于大体水平表面定向，使得瓶的底部接触大体水平表面。大体水平表面优选地还是大体平坦的，使得瓶的底部可以停留在稳定位置中。
72.引导信息可以以替代方式提供。例如，可以在拍摄图像之前提供引导信息，以给出关于如何定位相机的一般信息。还可以或替代地在捕获图像且执行轻量级算法之后提供引导信息，这检测图像中可能的次优条件。附加地或替代地，还可以在图像被捕获且被输入至cnn且cnn不能够提供分类之后，提供引导信息。在后两种情况下，应用可以包括协作功能，从而获得不需要进行预处理的cnn输入图像。例如，应用可以被配置为与cnn通信，或者cnn可以是应用的一部分，以确定在引导用户时所获得的瓶的预览图像是否包含用于cnn对容积进行分类的最低要求的液位和/或特征(数目)。这可以包括确定所捕获的图像是否包括容器的多个容积指示器。
73.所捕获的图像应包含瓶内液位以及多个容积指示器，以用于cnn提取，从而对液位的容积分类。图像捕获设备(诸如，便携式设备的相机)可以引导用户包括最小数目的容积指示器。如果未满足该最小数目，则图像捕获设备可以提示用户捕获另一图像。
74.在一个实施方案中，便携式设备可以相对于容器以任何方向定向，且可以以任何
角度捕获瓶的图像，假设满足最小数目的容积指示器的条件。例如，cnn可以被配置为从便携式设备的相机所捕获的图像中获得容器中的液位，其中相机被定向成相对于放置瓶的水平表面的成至多45度，假设在所捕获的图像中存在液位以及最小数目的容积指示器。附加地或替代地，cnn可被配置为从便携式设备所捕获的图像中获得容器中的液位，其中相机被定向成相对于瓶的竖向位置成至多45度，假设在所捕获的图像中存在液位和最小数目的容积指示器。
75.在一个实施方案中，相机可捕获包含不想要效果的图像，诸如相机抖动、对象模糊、低亮度情形。对于这些情况，cnn可以选择不执行预处理步骤来纠正这些影响，且依靠网络的精确度来确定分类概率。
76.引导信息还可以指示大部分容积指示器应在图像中可见，和/或容积指示器应面向便携式设备的相机的方向。然而，本发明不限于此。
77.图4示意性地表示根据本发明的实施方案的方法的不同步骤。图4中所示的步骤示出了一个实施方案，其中容积指示器(包括数字和刻度标记)不面向相机的方向，而是部分地面向侧边，使得仅部分容积指示器被相机捕获。然而，即使容积指示器不面向相机的方向，只要至少一部分容积指示器可见，cnn将能够识别容积。也就是说，cnn被配置为从容积指示器不完全可见的图像(由于容积指示器面向容器相对于相机方向的侧部)中获得容器中的液位。优选地，在可见的容积指示器中，包括(容积)数字的容积指示器的至少一部分也应可见。
78.图5还示出根据本发明的实施方案的方法的不同步骤。根据本发明的实施方案，如果在所捕获的图像中所有的容积指示器可见，cnn能够获得或确定液位，而且在不是全部容积指示器可见的情况下，cnn也能够获得或确定液位。如图5中看到的，可能充分的是，仅捕获容积指示器的子集的图像，就能确定液位。此子集优选地是容积指示器的至少80％，不低于70％。在这种情况下，在所捕获的图像中，整个瓶是不可见的，且仅瓶的包含部分容积指示器的一部分是可见的，从而便携式设备的用户不需要过于仔细地检查整个瓶是否在所捕获的图像中。为了确定正确的容积，优选地，在可见的容积指示器中，包括数字的至少一个容积指示器也是可见的。
79.根据本发明的一个实施方案，容器的一些部分可以是半透明或不透明的，只要容器中包括(至少一部分)容积指示器的区域是透明的或几乎完全透明的，使得液位与容积指示器的关系可见。
80.根据本发明的实施方案，cnn还可以或替代地从容器(诸如，瓶)本身的形状中识别或提取特征。瓶(特别是含有液体的瓶)彼此有区别。例如，在饮料行业中，碳酸饮料瓶不同于奶瓶。此外，根据品牌，存在多种市售可得的奶瓶形状的变体。这意味着，通过提取与瓶的边缘和/或轮廓相关的特征，cnn可以使用这些特征来确定瓶的类型。通过确定瓶的类型，cnn随后可以使用此信息来更精确地对瓶内的容积进行分类。
81.液位可以被限定为瓶内的液体的顶层。液位还可以被限定为瓶内包括顶层上方的泡沫层的液体的顶层。泡沫层是气体和液体的混合物，从而也被包括在瓶内的液位的分类中。
82.存在若干类型市售可得的瓶，甚至用于特定领域的瓶，如奶瓶。由于每个瓶具有其本身独特的形状以及不同的容积指示器(诸如，刻度标记)集，cnn随后可以被(重新)训练，
以对多种可用的瓶进行分类。
83.对于每个不同类型的瓶，最终两层(全连接层和分类层)可以被适配、修改或替换，从而对cnn进行新的分类的教学。此外，由于每种类型的瓶的分类不同，分类层可以被适配为仅输出与所述瓶的类型相关的分类。
84.对于每个不同类型的瓶来说，早期层可以被适配为提取瓶的形状且提取瓶上所存在的容积指示器类型作为特征点。
85.图6描绘了示出根据本发明的实施方案的方法的流程图。
86.步骤601至604类似于已经针对图1所描述的步骤101至104。附加地，应用可以进一步被配置为，在步骤611中，使用相机获得容器(例如，奶瓶)的第二图像。在步骤612中，应用随后将所捕获的图像提供至cnn。在步骤613中，应用从cnn获得液位的分类。在步骤614中，应用随后计算第一图像分类与第二图像分类的液位差，且以两个图像之间的容积差的形式识别所述差。在步骤615中，应用存储第二图像中的液位的分类以及所计算出的容积差中的至少一个。附加地，应用可向用户显示差和/或两个所确定的容积。应注意，上文所提供的用于捕获和分析第一图像以及提供引导信息的不同步骤和认知，还适用于第二图像以及此后拍摄的后续图像。
87.以此方式，应用能够存储和追踪诸如婴儿的奶摄入的液体消耗。
88.假设用于液位分类的两个图像是在使用相同容器的情况下拍摄的，则在使用cnn时，对液体容积的追踪与容器类型无关。这是由于cnn已经针对不同类型的容器(诸如，不同类型的奶瓶)进行了训练。例如，容器a可以在早上使用，而(与容器a不同的)容器b可以在下午用于喂养婴儿或患者。此外，(与容器a和b不同的)容器c可以在晚上使用。这意味着用户和应用不限于一种类型的容器，如果cnn通过另一类型的容器训练，则应用将能够存储和追踪液体容量以及婴儿或患者的液体摄入。
89.图7示意性地表示根据本发明的实施方案的方法的不同步骤。例如，在摄入液体(奶)之前，捕获第一图像。一旦确定容积，就可以通过保存测量结果来完成操作，或者例如在摄入之后具有捕获第二图像的选项，从而获得差值。
90.图8a和图8b描绘根据本发明的实施方案的系统。图8a示出了cnn如何作为便携式设备(便携式设备包括显示器802、相机803、处理器801、存储器804以及通信单元)的一部分来实施，例如作为存储在便携式设备的存储器804中且由便携式设备的处理器801执行的应用的一部分来实施。在此实施方式中，可以执行应用，可以使用相机803捕获图像，从而液位可以被确定且被显示在显示器802中，而不需要与服务器有任何网络连接，从而不需要访问互联网。因为cnn是具有紧凑尺寸的特殊cnn，便携式设备的处理器可以执行该cnn，因为它不需要太多的计算能力。
91.图8b示出如何在服务器806中实施cnn 807，服务器806可以经由便携式设备的通信模块805与便携式设备通信，所述便携式设备还包括显示器802、相机803、处理器801以及存储器804。由于液位的确定是在服务器中完成的，所以此实施方式允许节省计算能力，从而节省便携式设备的电池使用，但是它需要允许便携式设备与服务器通信的互联网或其他类型的网络连接。
92.根据本发明的实施方案，关于液位的信息以及所获得的图像可以存储在便携式设备的存储器804中或者存储在服务器中。
93.在对附图的前述描述中，已经参考其具体实施方案对本发明进行了描述。然而，将明显的是，在不偏离所附权利要求书中概述的本发明的范围的情况下，可以对其进行多种修改和改变。
94.特别地，可以对本发明的多个方面的具体特征进行组合。本发明的一个方面可以通过添加关于本发明的另一方面所描述的特征而被进一步有利地增强。
95.应理解，本发明仅由所附权利要求及其技术等价物限制。在本文及其权利要求书中，动词“包括”及其变体以其非限制性意义使用意指包含该词之后的项，而不排除未具体提及的项。此外，用不定冠词“一(a)”或“一个(an)”提及元素并不排除存在一个以上该元素的可能，除非上下文明确要求该元素有且仅有一个。因此，不定冠词“一(a)”或“一个(an)”通常意指“至少一个”。