图像处理设备、图像处理设备的控制方法以及存储介质与流程

1.实施例的方面涉及图像处理设备、图像处理设备的控制方法以及存储介质。


背景技术：

2.目前，能够从监视侧的终端经由网络控制安装在远程位置处的照相机的平摇、俯仰和变焦的系统正在广泛普及。美国专利申请公开号2017/0293788讨论了如下技术：在这样的监视系统中，粗略地搜索条形码，并且通过进行平摇、俯仰和变焦操作来放大和拍摄所检测到的条形码图像以获取具有高分辨率的条形码图像。另外，美国专利申请公开号2012/0070086讨论了拍摄包括多个读取对象的图像、顺次识别读取对象的位置、并且通过聚焦于所识别的位置来顺次进行读取处理的技术。
3.在这样的监视系统中，通过设置用于检测的低判断阈值来进行一定程度的过度检测(过检测)以无遗漏地获取期望的图像。然而，存在如下问题：频繁进行这样的过检测增加了后续处理步骤中的负载。因此对于整体处理需要较长的时间。


技术实现要素：

4.根据实施例的方面，设备包括：检测单元，其被配置为从图像中检测多个区域；第一判断单元，其被配置为对多个区域中的各区域执行第一判断处理，以基于存储单元中所存储的判断基准值来判断所述多个区域中的各区域是否是包括特定物体的区域的候选；控制单元，其被配置为控制摄像设备以拍摄所述多个区域中的在所述第一判断处理中被判断为包括所述特定物体的区域的候选的区域的放大图像；接收单元，其被配置为接收所拍摄的放大图像；第二判断单元，其被配置为对所述放大图像执行第二判断处理以判断所述放大图像是否包括所述特定物体；以及更新控制单元，其被配置为识别与在所述第二判断处理中被判断为不包括所述特定物体的放大图像相对应的区域，并且基于所识别的区域的图像信息来更新所存储的判断基准值。
5.通过以下参考附图对典型实施例的描述，本公开的其它特征将变得明显。
附图说明
6.图1是示出图像处理系统的整体结构的框图。
7.图2是示出图像处理设备的硬件结构的框图。
8.图3是示出网络(nw)照相机的外观图的图。
9.图4是示出nw照相机的硬件结构的框图。
10.图5是示出装载包裹的图。
11.图6是示出准备处理的过程的流程图。
12.图7是示出匹配模型的图。
13.图8是示出设置画面的示例的图。
14.图9是示出测试画面的示例的图。
15.图10是示出文件的示例的图。
16.图11是示出根据第一典型实施例的整体处理的过程的流程图。
17.图12a和图12b是示出过检测的图。
18.图13是示出准备处理的过程的流程图。
19.图14a和图14b是各自示出设置画面的示例的图。
20.图15a和图15b是各自示出设置画面的示例的图。
21.图16是示出拍摄图像画面的示例的图。
22.图17是示出读取图像画面的示例的图。
23.图18a和图18b是各自示出显示画面的示例的图。
24.图19是示出根据第二典型实施例的整体处理的过程的流程图。
具体实施方式
25.将参考附图描述本公开的典型实施例。
26.<图像处理系统的整体结构>
27.图1是示出图像处理系统的整体结构的框图。根据第一典型实施例的图像处理系统是如下系统：拍摄递送到工厂等的装载包裹的图像，读取附加至各个装载包裹的条形码，并且将条形码与条形码预先登记的内容进行对照，以检查装载包裹等是否已经按计划递送。此外，在本典型实施例中，假定将标签附加至作为摄像对象的装载包裹中所包括的各包裹，并且在各标签中描述条形码。根据本典型实施例的图像处理系统顺次读取附加至各包裹的各标签中所描述的条形码并进行对照。虽然将给出作为图像处理设备100进行读取和对照处理的对象的物体是条形码这一情况的描述，但是作为读取和对照处理的对象的物体不限于条形码。
28.作为读取处理对象的物体的其它示例可以包括数字、由字符和符号组成的字符串、以及快速响应(qr)码。
29.图像处理系统包括图像处理设备100、网络(nw)照相机110、数据库(db)120、以及以太网供电(poe)集线器130。图像处理系统还包括可编程逻辑控制器(plc)140和传感器150。
30.poe集线器130连接到图像处理设备100、nw照相机110、db 120和plc 140，并且与各单元通信，并且向各单元供电。预先在db 120中登记了附加至要递送的多个包裹中的相应包裹的多个标签各自中描述的条形码的内容。plc 140控制整体图像处理系统。传感器150检测到各个装载包裹已被递送到预定位置。
31.图像处理设备100经由poe集线器130连接到nw照相机110，并且通过向nw照相机110发送下面将描述的控制命令来控制nw照相机110对图像进行拍摄。安装nw照相机110以拍摄装载包裹a被递送到的位置的图像，并且在图像处理设备100的控制下拍摄装载包裹a的图像。装载包裹a是堆放附加了标签的多个包裹的结果。图像处理设备100还经由poe集线器130接收由nw照相机110获取的图像。图像处理设备100从所接收的图像中检测描述了条形码的标签的图像，并且读取条形码。图像处理设备100将从图像读取的条形码的信息与存储在db 120中的条形码的信息进行对照。通过该处理，可以检查包裹等是否已经按计划递送。虽然在本典型实施例中给出了递送包裹的示例的描述，但是本典型实施例可以应用于
执行包裹时的对照。
32.<图像处理设备100的结构>
33.图2是示出图像处理设备100的硬件结构的框图。图像处理设备100包括中央处理单元(cpu)201、只读存储器(rom)202、随机存取存储器(ram)203、显示器204、硬盘驱动器(hdd)205、输入装置206、介质驱动器207和接口(i/f)208。cpu 201读出在rom 202中存储的控制程序，以执行各种处理。ram 203用作cpu 201的主存储器和诸如工作区域等的临时存储区域。hdd 205存储各种数据和各种程序等。显示器204显示各种信息。输入装置206接受用户进行的各种操作。介质驱动器207例如从诸如安全数字(sd)卡等的介质读出数据以及将数据写入介质。i/f 208与外部设备通信。
34.通过cpu 201读出存储在rom 202或hdd 205中的程序并执行该程序，来实现下面将描述的图像处理设备100的功能和处理。可选地，作为另一示例，cpu 201可以读出存储在诸如sd卡等的存储介质而不是rom202或hdd 205中的程序。作为又一示例，可以通过使多个cpu、多个ram、多个rom和多个存储装置彼此协作来实现图像处理设备100的功能和处理的至少一部分。另外，作为又一示例，可以通过使用硬件电路来实现图像处理设备100的功能和处理的至少一部分。
35.<nw照相机110的结构>
36.图3是nw照相机110的外观图。平摇驱动单元301通过驱动平摇马达来改变镜筒单元303在由平摇方向304所指示的方向上的朝向。俯仰驱动单元302通过驱动俯仰马达来改变镜筒单元303在由俯仰方向305所指示的方向上的朝向。另外，包括镜头的镜筒单元303可以通过由旋转马达驱动而围绕镜头的中心位置在由旋转方向306所指示的方向上旋转。此外，镜筒单元303包括调焦透镜和变焦透镜，其各自由步进马达驱动。nw照相机110的整体被圆顶307覆盖。
37.图4是示出nw照相机110的硬件结构的框图。nw照相机110是能够经由网络与外部设备通信的摄像设备。nw照相机包括镜头单元401、电荷耦合器件(ccd)单元402、信号处理单元403、图像分析单元404、编码单元405和通信处理单元406。将给出直到将nw照相机110所拍摄的图像数据递送至图像处理设备100为止的处理的描述。通过镜头单元401获得的光学图像被ccd单元402转换为红、绿、蓝(rgb)数字数据，然后被发送到信号处理单元403。信号处理单元403进行将rgb数字数据转换为ycbcr 4:2:0格式或ycbcr 4:2:2格式的数字数据(图像数据)的处理、将数据的大小转换为要发送的图像的所需图像大小的处理、以及各种滤波处理。处理后的图像数据被同时发送到图像分析单元404和编码单元405。然后，通过通信处理单元406经由网络将图像数据发送到外部设备。
38.编码单元405执行将图像数据编码和压缩成预定格式(例如，h.264格式或联合图像专家组(jpeg)格式)的处理。通信处理单元406根据诸如传输控制协议/互联网协议(tcp/ip)、超文本传输协议(http)和实时传输协议(rtp)等的网络协议，将编码单元405生成的h.264视频流数据或各jpeg静止图像数据发送到图像处理设备100。
39.图像分析单元404进行分析所拍摄的图像数据并检测被摄体或指定条件的图像模式是否被包括在目标图像中的处理。信号处理单元403、图像分析单元404、编码单元405和通信处理单元406的各处理块连接到cpu 411。照相机控制单元407连接到马达驱动单元408和镜头驱动单元410。根据来自cpu 411的指令，照相机控制单元407输出用于照相机的平
摇/俯仰/旋转操作(平摇方向上的移动、俯仰方向上的移动和围绕光轴的旋转)的控制信号和用于变焦和自动调焦(af)操作的控制信号。
40.另外，照相机控制单元407基于存储在ram 413中的可见范围设置和可移动范围设置中的至少一个来控制nw照相机110的可见范围和可移动范围中的至少一个。马达驱动单元408包括马达驱动电路，并且能够响应于从照相机控制单元407输出的控制信号，通过驱动平摇/俯仰/旋转马达409、通过平摇/俯仰/旋转马达409的旋转来改变照相机的摄像方向。镜头驱动单元410包括的马达和马达驱动电路进行诸如af等的各驱动，并且基于来自照相机控制单元407的控制信号来控制镜头驱动单元410。
41.cpu 411通过执行存储在rom 412中的控制程序来控制整个设备的操作。cpu 411连接到rom 412、ram 413和闪速(flash，注册商标)存储器414。另外，cpu 411还连接到信号处理单元403、图像分析单元404、编码单元405和通信处理单元406，并且通过针对各处理块开始和停止操作、对操作条件进行设置、以及获取操作的结果等来控制各处理块。rom412存储由cpu 411使用以进行nw照相机110的控制(诸如应用处理等)的程序和数据。
42.ram 413是当cpu 411执行存储在rom 412中的程序时用于写入和读出数据的存储器。ram 413包括由cpu 411使用以执行用于控制nw照相机110的程序的工作区域和临时保存区域等。ram 413存储可视范围设置或可移动范围设置中的至少一个，可视范围设置用于指定能够拍摄图像的视场角的范围，可移动范围设置用于指定平摇方向、俯仰方向和变焦方向上的可移动范围。
43.cpu 411响应于经由通信处理单元406从图像处理设备100接收的控制命令来改变图像拍摄方向或变焦倍率。cpu 411在从nw照相机110接收到指定中心位置和变焦倍率的控制命令时响应于该控制命令，控制平摇和俯仰以将指定位置设置在图像拍摄的中心处，并且控制变焦以设置所指定的变焦倍率。
44.<读取>
45.图5是示出作为处理对象的装载包裹的图。在本典型实施例中，如图5所示，未规则地布置标签的装载包裹b用作处理对象。图像处理设备100使用通过拍摄整个装载包裹的图像而获得的整体图像的标签模型图像来进行匹配处理，以检测出现标签模型图像的各个区域，并基于检测结果来确定拍摄放大图像的范围。
46.<准备处理>
47.图6是示出由图像处理设备100进行的准备处理的流程图。
48.在步骤s600中，cpu 201响应于用户的操作调整拍摄整个装载包裹的图像的位置(拍摄整体图像的位置)。用户在观看显示器204上显示的装载包裹的图像的同时调整平摇、俯仰和变焦，使得整个装载包裹落入图像拍摄范围内。cpu 201根据基于用户的操作而调整的平摇、俯仰和变焦的设置来生成控制命令，并且将该控制命令发送到nw照相机110。nw照相机110从图像处理设备100接收控制命令，基于由控制命令指示的设置进行平摇、俯仰和变焦以进行图像拍摄处理，获取整体图像，并且将整体图像发送到图像处理设备100。cpu 201进行控制以在显示器204上显示所接收到的整体图像。
49.接着，在步骤s601中，cpu 201指定整体图像中的标签区域的位置。更具体地，用户在观看显示器204上显示的整体图像的同时，进行操作以找到整体图像中的标签区域并指定位置。cpu 201响应于用户的操作，指定整体图像中的标签区域的位置。标签区域的指定
位置用作拍摄放大图像的位置。
50.接着，在步骤s602中，cpu 201创建匹配模型(模型图像)。更具体地，cpu 201基于在步骤s601中指定的位置，从图7所示的整体图像700提取标签图像，并将该标签图像设置为标签图像的匹配模型701。
51.接着，在步骤s603中，cpu 201进行匹配处理的设置。更具体地，cpu 201基于在图8所示的设置画面800上由用户设置的框801来设置匹配处理的对象区域。cpu 201还响应于用户的操作来设置匹配模型。此时设置匹配模型是指定将在步骤s602中生成的匹配模型用作在步骤s603中进行的匹配处理的基准图像的匹配模型图像。在区域802中显示所设置的匹配模型。cpu 201还响应于对区域803的输入来设置匹配参数。cpu201还确定匹配处理的执行顺序。例如，cpu 201进行用于按照x坐标或y坐标的升序/降序进行匹配处理的设置。
52.在进行匹配处理时，cpu 201在显示器204上显示图9所示的测试画面900。在测试画面900的区域901中显示整体图像，并且在该整体图像上叠加指示出现了匹配模型的各区域的匹配结果的框902。图9指示所有标签区域1至7与匹配模型匹配，并且检测成功。如果用户参考匹配的结果并且发现检测失败的任何标签区域，则用户可以通过在区域903中重新指定拍摄放大图像的位置和/或在区域904上重置变焦倍率来调整匹配处理的精度。将在匹配处理中检测到的标签区域中的至少一个设置为拍摄放大图像以用于测试的位置。
53.接着，在步骤s604中，如果在测试画面900上设置了拍摄放大图像的位置和变焦倍率的状态下按下执行测试按钮905，则cpu 201基于该设置来创建控制命令并且将该控制命令发送到nw照相机110。nw照相机110从图像处理设备100接收控制命令，基于由控制命令指示的设置进行平摇、俯仰和变焦(ptz)以进行图像拍摄处理，获取放大图像，并且将放大图像发送到图像处理设备100。然后，cpu 201在区域901中显示接收到的放大图像。用户可以检查条形码的图像是否在放大图像中被适当地拍摄，并且调整变焦倍率。
54.接着，在步骤s605中，cpu 201进一步进行读取设置。cpu 201对作为读取条形码的对象的矩形区域、条形码的种类、条形码的数量和字典等进行设置。
55.接着，在步骤s606中，cpu 201进行设置以存储在读取处理中读取的信息，这将在下面进行描述。更具体地，如图10所示，cpu 201创建用以存储数据的存储区域。
56.<整体处理>
57.图11是示出根据第一典型实施例的整体处理的流程图。
58.在步骤s1100中，cpu 201从hdd 205获取判断阈值。判断阈值是前次整体处理中存储在将在下面描述的步骤s1115中的值。下面将描述判断阈值的详情。将判断阈值存储在hdd 205中。hdd 205对应于存储单元。
59.接着，将给出过检测的描述。在本典型实施例中，如图5所示，cpu201从所拍摄的附加有多个标签的装载包裹的整体图像，通过使用标签模型图像的匹配处理来检测出现模型图像的区域。此时，未检测到的标签未经过读取处理。由于这个原因，未检测到的标签的数量被减少到零。由此，在本典型实施例中，在(图6中的)步骤s603的匹配处理的设置中针对匹配参数设置低阈值，这使得即使检测变得或多或少过度检测也防止了未检测到标签。以这种方式，检测比标签的实际数量或多或少过剩的区域的数量的设置被称为“过检测设置”。另外，不包括标签的区域的数量被称为“过检测区域的数量”。此外，包括标签但尚未被检测的区域的数量被称为“未检测区域的数量”。
60.图12a和图12b是示出过检测的图。图12a示出过检测区域的数量大但未检测区域的数量为零的情况。虽然在图12a中已检测到包括标签的所有部分1至7，但检测到区域1201中不包括标签的部分8至18。在这种情况下，过检测区域的数量大(用于后续处理的对象的数量大)，从而增加了整体处理时间。然而，由于本系统需要使未检测区域的数量为零，因此本情况是适当的情况。另一方面，图12b示出过检测区域的数量小但未检测区域的数量不为零的情况。在图12b中，已经检测到区域1202中不包括标签的部分7至9，并且过检测区域的数量小于在图12a的情况下的数量，但是在区域1203中存在未检测到的标签。在本系统中，匹配参数的适当阈值使得在如图12a所示的情况下过检测区域的数量尽可能小，而并非如图12b所示的情况。
61.描述回到图11中的流程图。
62.在步骤s1101中，cpu 201在(图6中的)s600的步骤中所设置的条件下生成控制命令，并且将该控制命令发送到nw照相机110。nw照相机110从图像处理设备100接收控制命令，基于由控制命令指示的设置进行平摇、俯仰和变焦以进行图像拍摄处理，获取图像，并且将图像发送到图像处理设备100。
63.在步骤s1102中，cpu 201针对步骤s1101中接收到的整体图像、基于在(图6中的)步骤s603中所设置的信息进行匹配处理，并且检测标签模型图像出现的区域。在本典型实施例中，由于匹配处理被设置为上述过检测设置，因此检测数量比实际存在于整体图像中的标签的数量大的区域。步骤s1102中检测出的区域在下文中称为检测区域。在步骤s1102中，cpu 201用作检测单元。
64.在步骤s1103中，cpu 201进行在(图6中的)步骤s604中设置的变焦倍率的设置。
65.在步骤s1104中，cpu 201将在步骤s1102中检测到的检测区域中的第一检测区域设置为处理对象。
66.在步骤s1105中，cpu 201针对被设置为处理对象的检测区域进行过检测判断处理。步骤s1105中执行的过检测判断处理在下文中称为第一判断处理。
67.<用以进行第一判断处理的准备处理>
68.首先，将给出用以进行第一判断处理的准备处理的描述。
69.图13是示出用以进行第一判断处理的准备处理的流程图。图14a示出用以设置判断阈值的设置画面1400。图14b示出用以设置图像处理区域的设置画面1410。
70.在图13所示的流程图中，cpu 201进行设置，以判断在图11的步骤s1102中检测到的检测区域是否是标签区域。在本典型实施例中，cpu201进行设置，以基于条形码图像的特征的有无来判断检测到的区域是否是标签区域。例如，cpu 201将整体图像中的标签区域指定为图像处理区域，并且对图像处理区域进行图像处理。然后，cpu 201进行用作判断基准的阈值的设置，以针对通过图像处理获得的平均浓度和诸如浓度标准偏差等的图像特征量来判断条形码图像的特征的有无。用作判断基准的图像特征量的阈值在下文中称为判断阈值。判断阈值对应于判断基准值。
71.在步骤s1300和s1301中，cpu 201选择基准图像并进行图像处理区域的设置。更具体地，cpu 201在图14a所示的设置画面1400的区域1402中选择用作用于设置判断阈值的基准的整体图像(基准图像)。对于图像处理区域的设置，cpu 201选择图14b所示的设置画面1410的区域1411中的指定框1401的形状，在基准图像上显示具有指定形状的指定框1401，
并且基于指定框1401的位置和大小进行图像处理区域的设置。更具体地，用户利用作为输入装置206的鼠标对指定框1401的大小进行指定以与标签区域匹配，并且操作区域1413中的箭头图标以对指定框1401的位置进行指定。可选择地，用户直接在区域1412中输入起点的坐标x和y以及终点的坐标x和y的坐标值，并对指定框1401的位置和大小进行指定以与标签区域匹配。
72.随后，在步骤s1302中，cpu 201进行判断阈值的设置。具体地，cpu 201关于在上述步骤s1301中设置的图像处理区域的平均浓度和浓度偏差(浓度的标准偏差)，设置与对图14a所示的区域1403的输入相对应的判断阈值的上限值(max)/下限值(mini)。例如，在条形码的假定至少具有的平均浓度是130的情况下，将平均浓度的上限值设置为255，并且将平均浓度的下限值设置为130。另外，在条形码的假定至少具有的浓度偏差是20的情况下，将浓度偏差的上限值设置为255，并且将浓度偏差的下限值设置为20。另外，也以类似的方式来设置条形码的假定至少具有的最大浓度和条形码的假定至多具有的最小浓度。
73.在本典型实施例中，平均浓度和浓度偏差被用作判断阈值。另一方面，只要与图像的颜色有关的特征量是通过进行图像处理可以得到的图像信息，与图像的颜色有关的该特征量就可以同与图像的浓度有关的特征量(诸如平均浓度和浓度偏差等)一起使用、或者代替与图像的浓度有关的特征量。
74.描述返回到图11中的流程图。
75.在步骤s1105中，cpu 201对被设置为处理对象的检测区域进行第一判断处理。更具体地，cpu 201判断针对整体图像中的检测区域之中的(图13的)步骤s1301中所设置的图像处理区域的上述平均浓度和浓度偏差各自是否在(图13的)步骤s1302中设置的判断阈值的范围内。对于被判断为在判断阈值的范围内的检测区域，cpu 201对通过在检测区域上拍摄检测区域的放大图像而获得的放大图像执行(步骤s1110中的)针对放大图像的过检测判断处理，并且判断放大图像是否是条形码图像。由此，即使在步骤s1105中cpu 201判断为平均浓度和浓度偏差各自都在判断阈值的范围内，该区域也不被固定为包括条形码的区域。换句话说，在步骤s1105中判断为平均浓度和浓度偏差各自在判断阈值所限定的范围内意味着判断为检测区域是包括条形码的区域的候选(即，不是过检测区域)。另一方面，判断为平均浓度和浓度偏差各自在判断阈值所限定的范围之外意味着判断为检测区域不是包括条形码的区域(即，是过检测区域)。cpu 201使ram 203保持用于第一判断处理的检测区域的平均浓度和浓度偏差。每当执行第一判断处理时，更新ram 203中保持的平均浓度和浓度偏差。
76.在步骤s1106中，cpu 201判断被设置为处理对象的检测区域是否是过检测区域。在cpu 201判断为检测区域是过检测区域(即，不是包括条形码的区域)的情况下(步骤s1106中为“是”)，处理进入步骤s1116。从用于拍摄放大图像的对象和用于执行读取处理的对象中排除被判断为过检测区域的检测区域。这可以减少整体处理时间。另一方面，在cpu 201判断为检测区域不是过检测区域(即，是包括条形码的区域的候选)的情况下(步骤s1106中为“否”)，处理进入步骤s1107。以这种方式，cpu 201在步骤s1105和s1106中用作第一判断单元。
77.随后，在步骤s1107中，cpu 201将被设置为处理对象的检测区域的位置设置为拍摄放大图像的中心位置。
78.在步骤s1108中，cpu 201生成用于使nw照相机110基于步骤s1103中设置的变焦倍率和步骤s1107中设置的拍摄放大图像的中心位置来调整平摇、俯仰和变焦的控制命令，并且将该控制命令发送到nw照相机110。nw照相机110从图像处理设备100接收控制命令，并且基于由控制命令指示的设置进行平摇、俯仰和变焦的设置。另外，在第一检测区域上而不在第二和后续检测区域上进行变焦倍率的设置。由此，nw照相机110对第二或后续检测区域进行平摇和俯仰的调整。在步骤s1107和s1108中，cpu 201用作摄像控制单元。
79.在步骤s1109中，nw照相机110遵循步骤s1108中进行的设置在进行平摇、俯仰和变焦之后进行图像拍摄处理，获取放大图像，并且将放大图像发送至图像处理设备100。cpu 201从nw照相机110接收放大图像。在步骤s1109中，cpu 201用作接收单元。
80.在步骤s1110中，cpu 201对在步骤s1109中接收到的放大图像进行过检测判断处理。步骤s1110中进行的过检测判断处理在下文中称为第二判断处理。更具体地，cpu 201首先执行准备处理以进行与参考图13描述的流程图所示的处理类似的第二判断处理，并且进行各种设置。图15a示出与图14a中所示的设置画面1400同样的设置画面1500，以设置用于判断的阈值。图15b示出与图14b所示的画面类似的设置画面1510，以设置图像处理区域。cpu 201基于在准备处理中设置的各种设置值，判断放大图像是条形码图像(即，不是过检测区域)或者不是条形码图像(即，是过检测区域)。例如，与第一判断处理类似地，cpu 201基于所设置的图像处理区域的图像特征量的阈值来判断放大图像是否是条形码图像。
81.在第二判断处理中，由于用于判断的对象的图像是放大图像，因此拍摄物体的图像的分辨率高。由此，可以使用字符识别处理或形状匹配处理等作为用于判断过检测的手段。例如，在图15a中，cpu 201在区域1502中进行指示预定字符(在图15a的示例中为“abc”)的模型图像的设置，并且基于对区域1503的输入来进行匹配参数的设置。在这种情况下，作为第二判断处理，cpu 201根据设置的信息对放大图像中的由指定框1501设置的图像处理区域进行匹配处理，并且判断预定字符是否出现。
82.在步骤s1111中，cpu 201判断在步骤s1109中接收到的放大图像是否是过检测区域的图像。在cpu 201判断为放大图像是过检测区域的图像的情况下(步骤s1111中为“是”)，处理进入步骤s1114。另一方面，在cpu 201判断为放大图像不是过检测区域的图像的情况下(步骤s1111中为“否”)，处理进入步骤s1112。在步骤s1110和s1111中，cpu 201用作第二判断单元。
83.在作为判断处理的结果，cpu 201判断为放大图像是过检测区域的图像(即，不是条形码图像)的情况下(步骤s1111中为“是”)，处理进入步骤s1114。
84.在步骤s1114中，cpu 201识别在步骤s1101中拍摄的整体图像中的与步骤s1109接收到的放大图像相对应的区域。此时的所识别区域是经过了第一判断处理的检测区域。此外，cpu 201获取用于对所识别区域进行的第一判断处理的平均浓度和浓度偏差。这些值作为上述步骤s1105的处理中输出的最新值处于保持在ram 203中的状态，因此能够容易地获取。
85.随后，在步骤s1115中，cpu 201基于在步骤s1114中获取的平均浓度和浓度偏差，更新在第一判断处理中使用的判断阈值，并且将判断阈值存储在hdd 205中。更具体地，在该执行流程中，如上所述，以如下方式来设置判断阈值的初始值：将平均浓度的上限值设置为255，将平均浓度的下限值设为130，将浓度偏差的上限值设为255，并且将浓度偏差的下
限值设置为20。在该设置状态下，假定作为步骤s1114中获取的图像特征量，平均浓度是128，并且浓度偏差是19。在这种情况下，cpu201将平均浓度的下限值更新为128，并且将浓度偏差的下限值更新为19。另外，在随后执行的处理中，假定作为步骤s1114中获取的图像特征量，平均浓度是129，并且浓度偏差是18。在这种情况下，在步骤s1115中，cpu 201将平均浓度保持为当前存储的128(不使用当前值更新平均浓度)。另一方面，cpu 201将当前存储的浓度偏差19更新为18。以这种方式，在第一判断处理中改变第一判断处理的判断阈值的容许范围，使更多的检测区域被判断为过检测区域(即，不是包括条形码的区域)。
86.然而，如果在步骤s1105中使得将检测区域判断为过检测区域的判断阈值的容许范围太宽，则存在如上所述可能出现未检测区域的可能性。为了避免这样的情况，cpu 201也可以对第一判断处理的判断阈值的上限值/下限值设置改变限制值，以防止阈值成为某个值或更大(或更小)。更具体地，如果在步骤s1114中获取的平均浓度和浓度偏差各自都在由被设置为判断阈值的上限值/下限值的改变限制值所限定的范围内，则cpu201更新判断阈值。如果平均浓度和浓度偏差各自都在由被设置为判断阈值的上限值/下限值的改变限制值所限定的范围之外，则cpu 201不更新判断阈值。在完成步骤s1115中的处理之后，处理进入步骤s1116。在步骤s1114和s1115中，cpu 201用作更新控制单元。
87.在步骤s1116中，cpu 201按照步骤s1102中的检测顺序，判断经过了第一判断处理的检测区域是否是最后检测区域。在cpu 201判断为检测区域是最后检测区域的情况下(步骤s1116中为“是”)，处理进入步骤s1118。在cpu 201判断为检测区域不是最后检测区域的情况下(步骤s1116中为“否”)，处理进入步骤s1117。
88.在步骤s1117中，cpu 201将下一检测区域设置为处理对象。此后，处理返回到步骤s1105。以这种方式，对多个检测区域顺次执行第一判断处理。虽然在步骤s1107中改变拍摄放大图像的中心位置并且在步骤s1108中重新调整平摇和俯仰以拍摄图像，但是nw照相机110不进行一次缩小然后重新放大的这种操作。这可以减少nw照相机110的变焦驱动所需的处理时间。
89.在步骤s1118中，cpu 201在显示器204上与步骤s1101拍摄的整体图像中的步骤s1102所检测到的检测区域的各个位置相关联地显示第一判断处理和第二判断处理的结果。以下将参考图18a给出详细描述。另外，cpu 201将指示在步骤s1115中更新了阈值的显示项显示在显示器204上。以下将参考图18b给出详细描述。另外，通知方法仅是做出阈值被更新的通知的方法，并且可以利用除了显示方法之外的方法来做出通知。在步骤s1118中，cpu 201用作显示控制单元和通知单元。当步骤s1118中的处理完成时，上述整体处理的过程的序列结束。
90.接着，将给出作为步骤s1111中的判断处理的结果、放大图像不是过检测区域的图像(即，是条形码图像)的情况的描述。
91.在步骤s1112中，cpu 201根据在(图6中的)步骤s605中设置的信息，对在步骤s1109中从nw照相机110接收到的放大图像进行码读取处理。随后，在步骤s1113中，cpu 201将作为根据在(图6中的)步骤s606中设置的信息进行的码读取处理的结果而获得的读取信息存储在诸如hdd 205等的存储单元中。在步骤s1113的处理完成之后，处理进入步骤s1116。在步骤s1112和s1113中，cpu 201用作读取单元。
92.另外，在由于步骤s1108中进行的平摇和俯仰设置中nw照相机110的平摇和俯仰控
制的精度而导致步骤s1112中的码读取处理失败的情况下，cpu 201可以进行变焦倍率的设置，进行匹配处理，以及逐步地进行平摇和俯仰的设置。更具体地，cpu 201使步骤s1103中的变焦倍率的设置低于使得能够进行步骤s1112中的码读取处理的变焦倍率的设置，并且在步骤s1109中拍摄放大图像之后再次使用标签模型图像进行匹配处理。
93.作为再次进行匹配处理的结果，cpu 201进行坐标接近画面中心的坐标的检测区域的中心位置的设置，进行平摇和俯仰的设置，拍摄放大图像，并且进行码读取处理。
94.图16示出在(步骤s1109中的)拍摄放大图像时在显示器204上显示的拍摄图像画面的示例。在区域1601中显示在步骤s1101中拍摄的整体图像，并且将指示步骤s1102中的匹配处理的结果的框1602重叠在整体图像上。另外，在区域1603中显示放大图像。图16示出显示按照步骤s1102中的检测顺序的第五检测区域的放大图像的示例。
95.图17示出在进行(步骤s1112中的)码读取处理时在显示器204上显示的读取图像画面1700的示例。在读取图像画面1700上显示码读取处理的结果1711、1712和1713。
96.图18a示出在整体图像上显示以下内容的显示画面的示例：在第一判断处理中被判断为过检测区域(即，不是包括条形码的区域)的检测区域；与在第二判断处理中被判断为过检测区域(即，图像不是条形码图像)的放大图像相对应的检测区域；与正常进行码读取处理的放大图像相对应的检测区域；以及与码读取处理失败的放大图像相对应的检测区域。
97.具体地，在步骤s1102中检测到的检测区域中显示矩形显示框，并且在显示框中将步骤s1102中的检测顺序显示为数字。另外，作为在第一判断处理中被判断为过检测区域(即，不是包括条形码的区域)的检测区域中的判断结果，显示实心圆(
●
)。作为在与放大图像相对应的并且在第二判断处理中被判断为过检测区域(即，图像不是条形码图像)的检测区域中的判断结果，显示实心三角形(
▲
)。作为在与正常进行码读取处理的放大图像相对应的检测区域中的判断结果，显示圆(
○
)。作为在与码读取处理失败的放大图像相对应的检测区域中的判断结果，显示十字(x)。另外，cpu 201可以实时在显示器204上进行这种显示，或者可以将显示图像作为图像数据存储在hdd 205中。虽然已经在cpu 201显示各个检测区域中的判断结果和读取结果的假设下给出了描述，但是cpu 201可以对各个检测区域的判断结果和读取结果记日志。例如，cpu 201可以通过将圆(
○
)分类为1(正常读取)、将十字(x)分类为99(异常读取)、将实心圆(
●
)分类为11(第一过检测判断处理的结果是过检测)、以及将实心三角形(
▲
)分类为21(第二过检测判断的结果是过检测)而将结果与步骤s1102中的检测顺序相关联，来将结果作为日志数据存储在hdd 205中。
98.图18b示出指示在步骤s1105中更新阈值的显示画面的示例。更具体地，在显示器204的右上部显示指示阈值被更新的显示项。对显示项进行显示的位置可以由用户设置，或者可以由程序在唯一区域中设置。此外，显示项可以是自由选择的标记。另外，cpu 201可以将如下这样的日志数据存储在hdd 205中：作为整体处理的结果，在阈值被更新的情况下日志数据为1，在阈值未被更新的情况下日志数据为0。另外，当使用阈值的处理结束时或当整体处理结束时，cpu 201可以同时隐藏显示项。
99.如上所述，在根据第一典型实施例的图像处理系统中，cpu 201对整体图像中包括条形码的区域的候选进行过度检测，以不遗漏未检测区域，并且基于第一判断处理中的判断结果，将不包括条形码的区域从后续处理步骤中排除。此外，cpu 201可以基于使用放大
图像的第二判断处理中的判断结果来更新第一判断处理中使用的判断阈值。利用该处理，可以适当地设置在第一判断处理中使用的判断阈值，并且具有同与在第二判断处理中被判断为过检测区域的放大图像相对应的检测区域的特征类似的特征的检测区域可以从下一次和之后的整体处理中的后续处理步骤中排除。因此，结构可以在防止未检测区域出现的同时减少整体处理时间。
100.接着，将参考图19描述根据第二典型实施例的图像处理系统。
101.在上述第一典型实施例中，基于在整体处理开始时获取的判断阈值来执行第一判断处理。因此，即使更新判断阈值，在执行图11的整体处理的同时，判断阈值也不会反映在第一判断处理中。因此，在执行整体处理的同时、出现具有同与在第二判断处理中被判断为过检测区域的放大图像相对应的检测区域的特征类似的特征的检测区域的情况下，再次出现的检测区域不会从后续处理步骤中排除。由此，在第二典型实施例中，cpu 201在对前一检测区域执行第二判断处理之后并且在对下一检测区域执行第一判断处理之前，获取判断阈值。根据第二典型实施例的图像处理系统的硬件结构与第一典型实施例的硬件结构类似。
102.图19是示出根据第二典型实施例的整体处理的流程图。图19所示的流程图与图11所示的流程图的不同之处在于：在分别与步骤s1104和s1105相对应的步骤s1903和s1905之间执行与步骤s1100相对应的步骤s1904中的处理。
103.如上所述，在根据第二典型实施例的图像处理系统中，在执行整体处理的同时，将更新的判断阈值反映在第一判断处理中。由此，在执行整体处理的同时、再次出现具有同与在第二判断处理中被判断为过检测区域的放大图像相对应的检测区域的特征类似的特征的检测区域的情况下，可以迅速地从后续处理步骤中排除再次出现的检测区域。这可以减少整体处理时间。
104.虽然以上已经参考典型实施例详细描述了本公开，但是本公开不限于特定典型实施例，并且在不脱离本公开的主旨的情况下包括各种实施例。此外，上述各个典型实施例仅指示本公开的一个典型实施例，并且可以适当地组合。
105.例如，在上述各个典型实施例中，在第二判断处理中将检测区域判断为过检测区域(不是条形码图像)的情况下，更新第一判断处理中使用的判断阈值。代替以这种方式根据第二判断处理中的判断结果来更新第一判断处理中使用的判断阈值的结构，可以采用根据码读取处理中的判断结果来更新第一判断处理中使用的判断阈值的结构。更具体地，在码读取处理的结果指示失败的情况下，cpu 201更新在第一判断处理中使用的判断阈值。在这种情况下，在第一典型实施例中，步骤s1100和s1111中的处理变得不必要，并且在步骤s1112中的处理之后判断为码读取处理失败的情况下，处理进入步骤s1114。
106.实施例的方面可以在防止图像拍摄对象的检测遗漏的同时减少整体处理时间。
107.其它实施例
108.本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
109.尽管已经参考典型实施例描述了本公开，但是应当理解，本公开不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等
同的结构和功能。