一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

工程机械的检测系统的制作方法

2022-08-21 08:27:40 来源:中国专利 TAG:


1.本发明涉及工程机械的检测系统。


背景技术:

2.在使用液压挖掘机等工程机械时,因异物碰撞到该机体的各部、或者容易对动臂、斗杆等可动部施加大的负荷等,因此需要适当地检测外面部是否有龟裂等损伤、是否有漏油等。
3.在该情况下,以往一般由对工程机械进行操纵的操作员等在工程机械的近处通过目视进行检测。
4.另外,例如如专利文献1中所记载,公知有以下一种检测装置:将搭载有对发动机室进行拍摄的检测用相机的支承部安装于工程机械,检测作业者能够利用工程机械的驾驶室的显示器目视确认相机的拍摄影像。
5.现有技术文献
6.专利文献
7.专利文献1:日本特开2013-221303号公报


技术实现要素:

8.发明要解决的课题
9.然而,期望在远离工程机械的场所也能够进行工程机械的检测作业。特别是,在使用可进行远程操纵的工程机械时,操纵该工程机械的操作员等位于远离工程机械的场所,因此,期望也能够在远离的场所进行检测作业。
10.在该情况下,在专利文献1所记载的技术中,因为在检测时需要在工程机械上安装相机,即使可在远离工程机械的场所利用显示器观察相机的拍摄影像,但还需要进行该相机的安装作业的作业者。另外,在工程机械上仅安装1个相机的话,难以对工程机械的多个部位进行检测。进而,需要进行在工程机械上安装多个相机的作业以及/或者相机的安装部位的变更作业。
11.另一方面,在能够进行远程操纵的工程机械的配置环境中,为了能够在视觉上确认到该工程机械的动作状况,通常配置有能够从外部拍摄到该工程机械的多个相机。因此,可以考虑利用这些相机来进行工程机械的检测作业。
12.本发明鉴于上述背景而完成,其目的在于提供一种能够从远离的场所适当地进行工程机械的检测作业的系统。
13.用于解决课题的手段
14.为了实现上述目的,本发明的工程机械的检测系统的特征在于,具备:多个相机,其以可拍摄工程机械的外观的方式配置在工程机械的配置环境中;
15.拍摄影像处理部,其以可接收所述多个相机的各自的拍摄影像的方式配置在所述工程机械的外部,该拍摄影像处理部具备能够显示接收到的拍摄影像的显示器;以及,
16.相机选定部,在检测所述工程机械时,所述相机选定部从所述多个相机中选定用于拍摄该工程机械的检测对象部位的相机即检测用相机,
17.所述拍摄影像处理部构成为,能够接收通过被选定的所述检测用相机以包含所述检测对象部位的图像的方式拍摄到的拍摄影像,并将该拍摄影像显示到所述显示器。
18.附图的简单说明
19.图1是表示具有作为本发明的实施方式的检测系统的功能的远程操纵系统的整体结构的图。
20.图2是表示与图1所示的远程操纵系统的控制处理相关的构成的框图。
21.图3是例示图1所示的操纵装置的构成的图。
22.图4是与检测用相机的选定处理的说明图。
23.图5是例示检测用相机的拍摄影像的图。
具体实施方式
24.以下参照图1至图5对本发明的一实施方式进行说明。图1表示包括作为本实施方式的检测系统的功能的工程机械的远程操纵系统1的整体构成。该远程操纵系统1通过下述方式构成:操作员通过操作操纵装置40能够远程操纵工程机械10,该工程机械10是作为操纵对象的工程机械而分配给该操作员或者操纵装置40的工程机械。需要说明的是,在图1中,代表性地记载了各有1个工程机械10和操纵装置40的情况,但在远程操纵系统1中,可包括多个工程机械10和多个操纵装置40。
25.远程操纵系统1除了包括操纵装置40和工程机械10之外,还包括执行与远程操纵系统1相关的各种运营处理、信息处理等的服务器50、以及设置于作业现场的多台相机60(以下,称为现场设置相机60),其中,该作业现场作为配置有各工程机械10的配置环境。
26.而且,各工程机械10、各操纵装置40以及服务器50可经由包括无线通信网的网络nw而相互进行通信。另外,各操纵装置40以及服务器50可适当地经由网络nw获取现场设置相机60的拍摄影像。各现场设置相机60构成为可根据来自操纵装置40或服务器50的指令适当地变更其拍摄方向(光轴的朝向)、拍摄倍率。
27.作为各工程机械10,例如可以采用液压挖掘机。在该情况下,工程机械10与公知的液压挖掘机同样地具备履带式(或者车轮型)的行驶体11、可回转地搭载在该行驶体11上的回转体12以及安装于回转体12的前部的作业装置13。回转体12在前部具有驾驶室12a,在后部具有收容后述的发动机22及液压回路装置21等的机械室12b。另外,作业装置13具有动臂13a、斗杆13b及附件13c(例如,铲斗)。
28.另外,虽然省略了详细的图示,但如图2所示,各工程机械10具备:多个液压致动器20;液压回路装置21,其包括用于向各液压致动器20供给工作油的未图示的液压泵、方向切换阀等;发动机22,其驱动液压回路装置21的液压泵;操作装置23,其用于操作各液压致动器20的工作;电动式的操作驱动装置24,其驱动操作装置23;多个相机25(以下,称为搭载相机25),其以可拍摄工程机械10的周围(包括驾驶室12a的前方)的状况的方式搭载在回转体12等上;控制装置30(以下,称为机械侧控制装置30),其具有执行工程机械10的运转控制的功能。需要说明的是,在图2中,代表性地记载了各有1个液压致动器20和搭载相机25的情况。
29.液压致动器20包括:分别驱动作业装置13的动臂13a、斗杆13b及附件13c的液压缸20a、20b、20c(图1所示);进行行驶体11的行驶驱动的行驶用液压马达(省略图示);进行回转体12的回转驱动的回转用液压马达(省略图示)。
30.操作装置23包括配置在驾驶室12a中的操作杆、操作踏板、操作开关等。另外,操作驱动装置24构成为:例如具有多个电动马达,可经由适当的动力传递机构由电动马达驱动操作装置23中所包括的操作杆、操作踏板。
31.机械侧控制装置30例如由包括微型计算机、存储器(ram、rom等)、接口电路、无线通信机等的1个以上的电子电路单元构成。而且,机械侧控制装置30具有作为由所安装的硬件结构及程序(软件结构)中的一方或者双方实现的以下功能:取得搭载相机25的拍摄影像的功能;经由网络nw进行与操纵装置40的后述的主侧控制装置47以及服务器50各自的通信的功能;通过液压回路装置21所具备的电动阀(电磁比例阀等)、发动机22以及操作驱动装置24各自的工作控制来对工程机械10进行运转控制的功能。
32.在该情况下,机械侧控制装置30可以通过与主侧控制装置47或者服务器50的通信来接收工程机械10的工作指令、或者向主侧控制装置47或者服务器50发送表示搭载相机25的拍摄影像、工程机械10的工作状态的信息。
33.如图3所示,各操纵装置40在远程操纵室41内具备:供操作员就座的座椅42;为了对工程机械10进行远程操纵而供操作员操作的操作装置43;作为音响信息(听觉信息)的输出装置的扬声器44;作为显示信息(视觉信息)的输出装置的显示器45。
34.操作装置43例如可以采用具有与工程机械10的操作装置23相同或类似的结构的装置。例如图3所例示的操作装置43包括:带操作踏板43ap的操作杆43a,其以可供就座于座椅42的操作员操作的方式配置在座椅42的前侧;操作杆43b,其分别配置于座椅42的左右两侧。但是,操作装置43也可以具有与工程机械10的操作装置23不同的结构。例如,操作装置43也可以是具有操纵杆、操作按钮等的便携式的操作装置。
35.扬声器44设置在远程操纵室41的多个部位(例如,远程操纵室41的前部、后部以及左右两侧)处。显示器45例如由液晶显示器、平视显示器等构成,以可供就座于座椅42的操作员视觉确认的方式设置于远程操纵室41。需要说明的是,在本实施方式中,显示器45能够起到本发明中的显示器的作用。
36.另外,如图2所示,操纵装置40还具备:操作状态检测器46,其用于检测操作装置43的操作状态;主侧控制装置47,其具有执行与操纵装置40相关的控制处理的功能。需要说明的是,主侧控制装置47也可以配置于远程操纵室41的内部或外部。
37.操作状态检测器46例如包括组装于操作装置43的电位计、触点开关等,并构成为输出表示操作装置43的各操作部(操作杆43a、43b、操作踏板43ap等)的操作状态的检测信号。
38.主侧控制装置47例如由包含微型计算机、存储器(ram、rom等)、接口电路、通信机等的1个以上的电子电路单元构成。并且,主侧控制装置47具有作为由所安装的硬件结构以及程序(软件结构)中的一方或者双方实现的以下功能:获取操作状态检测器46的检测信号的功能;经由网络nw获取配置有操纵对象的工程机械10的作业现场的现场设置相机60的拍摄影像的功能;经由网络nw分别与操纵对象的各工程机械10的机械侧控制装置30及服务器50进行通信的功能;进行扬声器44的工作控制以及显示器45的显示控制的功能。
39.在该情况下,主侧控制装置47能够通过与工程机械10的机械侧控制装置30的通信,从机械侧控制装置30获取该工程机械10的搭载相机25的拍摄影像、表示该工程机械10的工作状态的信息,并且能够向机械侧控制装置30发送根据操作装置43的操作状态而生成的工程机械10的工作指令。另外,主侧控制装置47能够通过与服务器50的通信,从服务器50取得与工程机械10的远程操纵相关的各种信息和/或指令。
40.服务器50例如由1个以上的计算机、或者包括微型计算机等的1个以上的电子电路单元、或者它们的组合构成。并且,服务器50具有作为由所安装的硬件结构以及程序(软件结构)中的一方或者双方实现的以下功能:经由网络nw取得各现场设置相机60的拍摄影像的功能;经由网络nw分别与各工程机械10的机械侧控制装置30以及各操纵装置40的主侧控制装置47进行通信的功能。并且,服务器50也可以与操纵装置40的可供操作员等操作的未图示的通信终端(例如,智能手机、平板终端、个人计算机等)进行通信。
41.并且,服务器50可以通过与工程机械10的机械侧控制装置30的通信,从机械侧控制装置30取得该工程机械10的搭载相机25的拍摄影像、表示该工程机械10的工作状态的信息。
42.另外,服务器50通过与操纵装置40的主侧控制装置47的通信,能够从主侧控制装置47获取表示操纵装置40的工作状态的信息,并且能够向可操纵该工程机械10的操纵装置40的主侧控制装置47发送与工程机械10的远程操纵或者检测相关的各种信息和/或指令。
43.另外,在服务器50中存储保持有表示工程机械10及操纵装置40各自的运转时间表及运转履历的信息,在服务器50中还存储保持有各现场设置相机60的位置信息(表示在全局坐标系中观察到的各现场设置相机60的位置的信息)或者各现场设置相机60的可拍摄区域的位置信息(表示在全局坐标系中观察到的各现场设置相机60的可拍摄范围的位置的信息)。需要说明的是,在各现场设置相机60的位置信息中可包括表示各现场设置相机60的光轴的朝向或其可变范围的信息。另外,也可以将各现场设置相机60或其可拍摄范围的位置信息存储保持到各现场设置相机60所具备的存储器中,由服务器50从各现场设置相机60适当地获取该位置信息。
44.而且,服务器50可使用gnss(global navigation satellite system)、配置有各工程机械10的作业现场的现场设置相机60的拍摄影像或者存在于各工程机械10周围的其他工程机械10的搭载相机25的拍摄影像来适当地获取各工程机械10的位置信息(表示由全局坐标系观察到的工程机械10的位置的信息)。需要说明的是,工程机械10的位置信息可包括表示该工程机械10的行驶体11或回转体12的朝向的信息。
45.另外,在服务器50中保存有以下各位置信息:多个检测对象部位的位置信息(表示在工程机械10中被设定的局部坐标系中观察到的位置的信息),该位置信息通过下述方式被设定,根据工程机械10的每一机型,作为针对各机型的工程机械10应适当地实施基于外观的检测的部位而被预先确定的位置信息;各机型的工程机械10的各搭载相机25的位置信息(表示在工程机械10中被设定的局部坐标系中观察到的位置的信息)或者各搭载相机25的可拍摄范围的位置信息(表示在工程机械10中被设定的局部坐标系中观察到的位置的信息)。需要说明的是,各搭载相机25的位置信息中也可包括表示相机25的光轴的朝向的信息。
46.作如下补充说明。也可以将工程机械10的各检测对象部位的位置信息和工程机械
10的各搭载相机25或其可拍摄范围的位置信息保存到该工程机械10的机械侧控制装置30中,并由服务器50适当地从机械侧控制装置30取得这些位置信息。
47.并且,作为与工程机械10的多个检测对象部位的检测相关的处理,服务器50包括以下各功能:作为拍摄影像处理部50a的功能,通过服务器50与操纵装置40的主侧控制装置47的协作,在操纵装置40的显示器45上显示用于检测的拍摄影像等;作为相机选定部50b的功能,从工程机械10的搭载相机25和配置有该工程机械10的作业现场的现场设置相机60当中选定用于拍摄用于检测的拍摄影像的检测用相机。在该情况下,拍摄影像处理部50a包括以下各功能:在现场设置相机60或搭载相机25的拍摄影像中出现工程机械10的情况下,确定在该拍摄影像中出现的该工程机械10的各检测对象部位的图像部分的功能;根据检测用相机的拍摄影像来判定检测对象部位的状态(进行是正常状态还是存在某些异常的判定)的功能。作如下补充说明,在本实施方式中,操纵装置40的主侧控制装置47包括本发明的拍摄影像处理部的一部分的功能。
48.接着,对各工程机械10的检测作业进行说明。进行各工程机械10的检测(基于外观的检测)的检测作业者要实施该检测时,通过对操纵装置40进行规定的操作或者由该检测作业者对可操作的通信终端进行规定的操作,向服务器50通知要实施该检测的内容。与此相应地,服务器50开始执行与该工程机械10的检测相关的处理。
49.或者,服务器50也可以在基于各工程机械10的运转计划或运转履历的规定的检测开始条件成立的时刻(例如,该工程机械10的作业开始前的时刻或作业结束后的时刻、或者工程机械10的累计的运转时间达到规定时间的时刻附近的时刻等),在检测作业者起动了可操纵检测对象的工程机械10的操纵装置40的状态下,开始执行与该工程机械10的检测相关的处理。需要说明的是,上述检测作业者不限于操纵工程机械10的操作员,也可以是该操作员以外的作业者。
50.此时,服务器50根据检测作业者对操纵装置40的操作(或对通信终端的操作)依次选择检测对象的工程机械10的多个检测对象部位。或者,服务器50按照规定的顺序分别依次选择工程机械10的多个检测对象部位。并且,服务器50通过相机选定部50b执行下述选定的处理:将配置有检测对象的工程机械10的作业现场的多个现场设置相机60、构成检测对象的工程机械10的多个搭载相机25以及存在于构成检测对象的工程机械10周围的其他工程机械10的搭载相机25当中的任一相机选定为检测用相机,该检测用相机用于拍摄针对构成检测对象的工程机械10而选出的检测对象部位(以下,简单称之为选择检测对象部位)。需要说明的是,在本实施方式中,配置有构成检测对象的工程机械10的作业现场(配置环境)的多个现场设置相机60和存在于该工程机械10周围的其他工程机械10的搭载相机25相当于本发明中的外部相机。
51.相机选定部50b具体通过下述方式执行处理。即,相机选定部50b基于配置有检测对象的工程机械10的作业现场的各现场设置相机60或其可拍摄范围的位置信息、构成检测对象的工程机械10的位置信息以及该工程机械10中的选择检测对象部位的位置信息,或者基于这些位置信息以及与构成检测对象的工程机械10的回转体12和作业装置13的双方或一方的姿势相关的测定信息,确定各现场设置相机60与选择检测对象部位的位置关系。
52.在该情况下,在要确定的位置关系中,例如包括各现场设置相机60与选择检测对象部位的距离、选择检测对象部位相对于各现场设置相机60的方位以及在各现场设置相机
60的可拍摄范围内是否存在选择检测对象部位的信息。
53.另外,例如使用回转体12的回转角度的检测值以及回转体12的倾斜角度的检测值作为与工程机械10的回转体12的姿势相关的测定信息;例如使用动臂13a、斗杆13b及附件13c的摆动角度的检测值作为与作业装置13的姿势相关的测定信息。并且,服务器50经由构成检测对象的工程机械10的机械侧控制装置30来取得这些测定信息。
54.另外,相机选定部50b基于构成检测对象的工程机械10上的各搭载相机25或其可拍摄范围的位置信息以及该工程机械10上的选择检测对象部位的位置信息,或者基于这些位置信息以及与构成检测对象的工程机械10的回转体12和作业装置13的双方或一方的姿势相关的测定信息,确定构成检测对象的工程机械10的各搭载相机25与选择检测对象部位的位置关系。
55.在该情况下,在要确定的位置关系中例如包括构成检测对象的工程机械10的各搭载相机25与选择检测对象部位的距离、选择检测对象部位相对于各搭载相机25的方位以及在各搭载相机25的可拍摄范围内是否存在选择检测对象部位的信息。需要说明的是,也可以与确定各现场设置相机60与选择检测对象部位的位置关系的情况同样地获取与构成检测对象的工程机械10的回转体12以及作业装置13各自的姿势相关的测定信息。
56.另外,相机选定部50b基于存在于构成检测对象的工程机械10周围的其他工程机械10的位置信息、该其他工程机械10上的各搭载相机25或其可拍摄范围的位置信息、检测对象的工程机械10的位置信息以及构成该检测对象的工程机械10上的选择检测对象部位的位置信息,或者基于这些位置信息以及与上述其他工程机械10的回转体12和作业装置13的双方或一方的姿势相关的测定信息以及与构成检测对象的工程机械10的回转体12和作业装置13的双方或一方的姿势相关的测定信息,来确定上述其他工程机械10的各搭载相机25与构成检测对象的工程机械10的选择检测对象部位的位置关系。
57.在该情况下,在要确定的位置关系中例如包括上述其他工程机械10的各搭载相机25与检测对象的工程机械10的选择检测对象部位的距离、构成检测对象的工程机械10的选择检测对象部位相对于上述其他工程机械10的各搭载相机25的方位以及在上述其他工程机械10的各搭载相机25的可拍摄范围内是否存在选择检测对象部位的信息。需要说明的是,可以与确定各现场设置相机60与选择检测对象部位的位置关系的情况同样地获取与构成检测对象的工程机械10的回转体12及作业装置13各自的姿势相关的测定信息。关于这一点,对于与存在于构成检测对象的工程机械10周围的其他工程机械10的回转体12及作业装置13各自的姿势相关的测定信息的测定也相同。
58.如上所述,相机选定部50b确定配置有检测对象的工程机械10的作业现场的各现场设置相机60、该工程机械10的各搭载相机25以及存在于该工程机械10周围的其他工程机械10的各搭载相机25分别与构成检测对象的工程机械10的选择检测对象部位的位置关系。
59.然后,相机选定部50b根据该位置关系的确定结果,提取能够对选择检测对象部位进行拍摄的相机(可拍摄范围内包含选择检测对象部位的相机)作为检测用相机的候选(以下,称之为检测用相机候选)。而且,相机选定部50b取得该检测用相机候选的各自的拍摄图像(拍摄范围内包含选择检测对象部位的拍摄图像)。在该情况下,在检测用相机候选是可变更其光轴的朝向的相机的情况下,相机选定部50b在该光轴的可变范围内使该光轴的朝向尽量接近于选择检测对象部位的方式调整了该检测用相机候选的朝向之后,取得该检测
用相机候选的拍摄影像。
60.然后,相机选定部50b通过对各检测用相机候选的拍摄图像进行图像识别处理,判定是否能够从该拍摄图像中识别到选择检测对象部位的图像,并将该判定结果为肯定的检测用相机候选决定为对选择检测对象部位进行检测的检测用相机。在该情况下,当能够取得拍摄影像的检测用相机候选有多个存在的情况下,将上述多个检测用相机候选决定为检测用相机,其中,服务器50能够从上述拍摄影像中识别到选择检测对象部位的图像。
61.例如,在图4所示的状况下,设想构成检测对象的工程机械10的动臂13a与斗杆13b的连结部分为选择检测对象部位10x的情况。此处,在构成检测对象的工程机械10的作业现场设置有3个现场设置相机60(60a、60b、60c),另外,在检测对象的工程机械10周围不存在其他工程机械10。在图4中,例如仅代表性地图示了以可拍摄前方的方式搭载在驾驶室12a的顶部上的搭载相机25a作为工程机械10的搭载相机25。
62.在该情况下,在工程机械10的作业现场的现场设置相机60(60a、60b、60c)中的现场设置相机60a、60b各自的可拍摄范围中包含选择检测对象部位10x,但在现场设置相机60c的可拍摄范围内不包含选择检测对象部位10x。另外,在现场设置相机60a的拍摄图像中出现选择检测对象部位10x的图像。但是,由于在现场设置相机60b与选择检测对象部位10x之间存在障碍物,因此,在现场设置相机60b的拍摄影像中不出现选择检测对象部位10x的图像。
63.另外,在工程机械10的搭载相机25中的搭载相机25a的可拍摄范围内存在选择检测对象部位10x,在其他搭载相机25(未图示)的可拍摄范围内不包含选择检测对象部位10x。并且,在搭载相机25a的拍摄影像中出现了选择检测对象部位10x的图像。
64.在这种状况下,提取现场设置相机60a、60b和搭载相机25a作为检测用相机候补,进一步地,现场设置相机60a和搭载相机25a被选定为检测用相机。
65.如上所述,通过相机选定部50b决定检测用相机,由此可将配置有构成检测对象的建设机械10的作业现场的现场设置相机60、该建设机械10的搭载相机25、存在于该建设机械10周围的其他工程机械10的搭载相机25当中能够适当地拍摄出选择检测对象部位的合适的(清晰的)图像的1个或多个相机作为检测用相机。因此,选择检测对象部位不包含在可拍摄范围内的相机自然不会被选定为检测用相机,并且能够防止因障碍物或相机的透镜的污损等而无法恰当地拍摄选择检测对象部位的图像的相机被选定为检测用相机。
66.作为补充说明,在能够拍摄选择检测对象部位的合适的(清晰的)图像的检测用相机候选有多个存在的情况下,也可以将上述多个检测用相机候选中的例如与选择检测对象部位的距离最近或者该距离是规定距离内的检测用相机候选选定为检测用相机。例如,在图4所示的状况下,也可以仅将搭载相机25a选定为检测用相机。
67.或者,也可以将能够拍摄选择检测对象部位的合适的(清晰的)图像的多个检测用相机候选当中的例如光轴方向相对于选择检测对象部位的正面方向的偏差最小或者在规定范围内的检测用相机候选决定为检测用相机。例如,也可以在图4所示的状况下,仅将现场设置相机60a选定为检测用相机。
68.在服务器50通过上述方式利用相机选定部50b选定检测用相机后,执行拍摄影像处理部50a的处理。该拍摄影像处理部50a将检测用相机的拍摄影像发送至构成检测对象的工程机械10的主侧控制装置47,并且指示主侧控制装置47将该拍摄影像显示于显示器45。
69.相应地,主侧控制装置47使显示器45上显示检测用相机的拍摄影像。在该情况下,当检测用相机有多个存在时,也可以根据检测作业者对操纵装置40进行的规定操作,选择性地将各检测用相机的拍摄影像显示于显示器45。例如,在图4所示的状况下,如图5所示,作为检测用相机的现场设置相机60的拍摄图像显示于显示器45。
70.另外,在检测用相机是能够调整拍摄倍率、拍摄方向(光轴方向)的相机的情况下,检测作业者也可以通过对操纵装置40的规定操作或者对通信终端(未图示)的操作,指示服务器50进行检测用相机的拍摄倍率、拍摄方向的调整。这时,服务器50根据检测作业者发出的指令来控制检测用相机的拍摄倍率或/和拍摄方向。
71.进行下述补充。例如在服务器50构成为能够进行构成检测对象的工程机械10的自动操纵的情况下,服务器50的拍摄影像处理部50a也可以根据来自检测作业者的要求(基于对操纵装置40或通信终端的操作的要求),进行该工程机械10的行驶体11的行驶动作和/或回转体12的回转动作,以调整工程机械10相对于检测用相机的朝向。或者也可以通过下述方式构成,即,操纵装置40的主侧控制装置47根据来自检测作业者的要求(基于对操纵装置40或通信终端的操作的要求),进行该工程机械10的行驶体11的行驶动作和/或回转体12的回转动作,以调整工程机械10相对于检测用相机的朝向。
72.另外,服务器50的拍摄影像处理部50a根据检测用相机的拍摄影像,并基于预先学习来判定选择检测对象部位是否处于正常状态。例如,通过预先学习处于正常状态时的工程机械10的各检测对象部位的图像来制作学习完毕模型,基于该学习完毕模型来判定选择检测对象部位是否处于正常状态。然后,将表示该判定结果的信息发送至主侧控制装置47。此时,主侧控制装置47将表示判定结果的信息与检测用相机的拍摄影像一起显示于显示器45或者以声音的方式从扬声器44输出该信息。
73.检测作业者基于以上述方式显示于显示器45的检测用相机的拍摄影像,确认在选择检测对象部位是否存在龟裂、漏油等异常。此时,检测作业者能够通过显示器45的显示或由扬声器44输出的声音来识别服务器50的拍摄影像处理部50a的判定结果,并将该判定结果与自身的判定结果进行对照。
74.因此,检测作业者能够慎重地判定选择检测对象部位有无异常,进而能够进行信赖性高的判定。特别是,在服务器50的判定结果与检测用相机的拍摄影像一起显示于显示器45的情况下,检测作业者能够在视觉上识别服务器50的判定结果的,并能够仔细地视觉辨认选择检测对象部位的图像,因此,能够有效地提高该检测作业者对有无异常的判定结果的信赖性。
75.并且,由检测作业者进行的选择检测对象部位有无异常的判定结果通过该检测作业者对操纵装置40的操作或者对通信终端的操作被发送至服务器50,并在该服务器50中保存。在本实施方式中,依次对构成检测对象的工程机械10的多个检测对象部位的每一个部位实施如上所述的基于外观的检测。需要说明的是,从服务器50将关于工程机械10的多个检测对象部位的各个部位有无异常的判定结果通知给工程机械10的管理者等。或者,检测作业者经由通信终端等将该判定结果通知给工程机械10的管理者等。
76.根据以上说明的实施方式,能够将构成检测对象的工程机械10的作业现场的现场设置相机60或者存在于该检测对象的工程机械10周围的其他工程机械10的搭载相机25或者该检测对象的工程机械10的搭载相机25用作检测用相机。因此,检测作业者不需要进行
在工程机械10上安装检测用相机的作业,并能够在远离该工程机械10的场所观察到该工程机械10的多个检测对象部位各自的合适的拍摄影像。进而,能够在远离该工程机械10的场所高效地实施基于该工程机械10的多个检测对象部位各自的外观的检测。
77.另外,检测作业者也能够调整检测用相机的拍摄影像的倍率和/或拍摄方向,因此,能够看到易于确认检测对象部位有无异常的拍摄影像。因此,能够提高检测作业者所进行的有无异常的判定结果的信赖性。除此之外,检测作业者能够获知服务器50所执行的判定结果,因此,能够慎重地判定检测对象部位有无异常,进而能够进一步提高检测作业者进行的判定结果的信赖性。
78.需要说明的是,本发明并不限定于以上说明的实施方式,也可以采用其他的实施方式。以下,对几个其他的实施方式进行说明。在上述实施方式中,使服务器50具备作为拍摄影像处理部50a以及相机选定部50b的功能,但也可以使操纵装置40的主侧控制装置47或者可供检测作业者操作的通信终端具备拍摄影像处理部50a和相机选定部50b的全部功能或者一部分功能。
79.另外,在上述实施方式中,使用了操纵装置40的显示器45作为显示检测用相机的拍摄影像的显示器,但该显示器例如也可以是可供检测作业者操作的通信终端的显示器。
80.另外,在上述实施方式中,使用了现场设置相机60和存在于构成检测对象的工程机械10周围的其他工程机械10的搭载相机25作为本发明中的外部相机,但该外部相机例如也可以包含搭载在飞行于作业现场的无人机等飞行体上的相机。
81.另外,在上述实施方式中,将通过下述方式提取的检测用相机候选当中能够拍摄选择检测对象部位的图像的相机选定为检测用相机,其中,该提取方式为:基于配置有构成检测对象的工程机械10的作业现场的各现场设置相机60、该工程机械10的各搭载相机25以及存在于该工程机械10周围的其他工程机械10的各搭载相机25的各个相机与构成检测对象的工程机械10的选择检测对象部位的位置关系进行提取。
82.但是,例如,也可以基于上述位置关系,可以将能够判断在可拍摄范围内包含选择检测对象部位的各相机作为检测用相机。或者,例如也可以将下述相机作为检测用相机,该相机是:取得配置有构成检测对象的工程机械10的作业现场的各现场设置相机60、该工程机械10的各搭载相机25以及存在于该工程机械10周围的其他工程机械10的各搭载相机25的各自的拍摄影像,并对各拍摄影像执行识别选择检测对象部位的图像的图像识别处理且出现有选择检测对象部位的图像。
83.另外,在上述实施方式中,例示了液压挖掘机作为工程机械10,但本发明中的工程机械不限于液压挖掘机,例如也可以是起重机等工程机械。
84.如上述说明,本发明的工程机械的检测系统的特征在于,具备:多个相机,其以可拍摄工程机械的外观的方式配置在该工程机械的配置环境中;
85.拍摄影像处理部,其以可接收所述多个相机的各自的拍摄影像的方式配置在所述工程机械的外部,该拍摄影像处理部具备能够显示接收到的拍摄影像的显示器;以及,
86.相机选定部,在检测所述工程机械时,所述相机选定部从所述多个相机中选定用于拍摄该工程机械的检测对象部位的相机即检测用相机,
87.所述拍摄影像处理部构成为,能够接收通过被选定的所述检测用相机以包含所述检测对象部位的图像的方式拍摄到的拍摄影像,并将该拍摄影像显示到所述显示器(发明
的第一方面)。
88.根据该发明的第一方面,能够从配置在工程机械的配置环境中的多个相机当中选定在拍摄检测对象部位方面是优选的检测用相机,并且能够在工程机械的外部的显示器上显示该检测用相机的拍摄影像(包含检测对象部位的图像的拍摄影像)。因此,检测作业者能够根据显示器的显示信息视觉性地确认检测对象部位的状态。因此,不需要在工程机械的检测时将检测用相机安装到工程机械上的作业,能够从远离工程机械的场所适当地进行工程机械的检测作业。
89.在上述发明的第一方面中,优选的是,所述多个相机包括配置在所述工程机械的外部的相机即外部相机以及预先搭载在所述工程机械上的相机即搭载相机(发明的第二方面)。
90.根据该构成,所述多个相机除了包括外部相机之外还包含搭载相机,因此,能够针对工程机械的各种检测对象部位来选定在拍摄包含该检测对象部位的图像的拍摄影像方面是优选的检测用相机。
91.在上述发明的第一方面或第二方面中,优选的是,所述工程机械的检测系统构成为,在所述工程机械的检测对象部位为多个部位的情况下,所述相机选定部针对该多个检测对象部位的每一个检测对象部位选定所述检测用相机(发明的第三方面)。
92.由此,能够针对多个检测对象部位的每一个检测对象部位,选定在对包含各检测对象部位的图像的拍摄影像进行拍摄的方面是优选的检测用相机。
93.在上述发明的第一~第三方面中,所述相机选定部可以通过下述方式构成:取得表示所述工程机械与所述多个相机的各个相机的位置关系、或者表示所述工程机械与所述多个相机的各个相机的可拍摄区域的位置关系的第一信息以及表示所述工程机械上的所述检测对象部位的位置的第二信息,并至少基于该第一信息以及该第二信息来选定所述检测用相机(发明的第四方面)。
94.由此,通过基于上述第一信息及第二信息选定检测用相机,能够适当地选定能够拍摄包含检测对象部位的图像的拍摄影像的检测用相机。
95.在上述发明的第一~第四方面中,所述相机选定部可以通过下述方式构成:所述相机选定部取得所述多个相机的各自的拍摄影像,并且执行从该各自的拍摄影像中识别所述检测对象部位的图像的图像识别处理,并至少根据该图像识别处理的结果来选定所述检测用相机(发明的第五方面)。
96.由此,通过基于上述图像识别处理的结果来选定检测用相机,能够将多个相机当中的能够实际拍摄到检测对象部位的适当的图像的相机选定为检测用相机。例如,能够防止因透镜污损、存在障碍物等而导致无法鲜明地拍摄到检测对象部位的图像的相机被选定为检测用相机的情况。
97.在上述发明的第一~第五方面中,优选的是,所述拍摄影像处理部构成为还具有下述功能:在取得所述检测用相机的拍摄影像时,使该检测用相机的拍摄方向、该检测用相机的拍摄倍率和所述工程机械的朝向当中的至少1个发生变化(发明的第六方面)。
98.根据上述构成,能够使检测用相机的拍摄影像中包含在确认检测对象部位的状态方面是优选的图像(例如,使检测对象部位的正面图像出现在拍摄影像中的中央附近、或者使该检测对象部位的图像成为具有易于确认的大小的图像)。
99.在上述发明的第一~第六方面中,所述拍摄影像处理部还进一步包含下述各功能:基于通过所述检测用相机以包含所述检测对象部位的图像的方式拍摄到的拍摄影像来判定该检测对象部位的状态的功能;向在进行所述工程机械的检测时视觉确认所述显示器的检测作业者报告表示该判定的结果的信息的功能(发明的第七方面)。
100.由此,检测作业者能够根据显示于显示器的检测用相机的拍摄影像中的检测对象部位的图像来确认该检测对象部位的状态,并且由于能够获知到所述判定的结果,因此能够防止检测作业者错误地确定检测对象部位的状态的情况。
101.在上述发明的第七方面中,所述拍摄影像处理部还可以构成为:与使所述显示器显示由所述检测用相机以包含所述检测对象部位的图像的方式拍摄到的拍摄影像并行地使该显示器显示表示所述判定的结果的信息(发明的第八方面)。
102.由此,检测作业者能够一边根据显示于显示器的检测用相机的拍摄影像中的检测对象部位的图像确认检测对象部位的状态,一边识别上述判定的结果,因此,能够高效地进行基于图像对检测对象部位的状态的确认。
103.在上述发明的第一~第八方面中,所述相机选定部以及所述拍摄影像处理部可以构成为:根据规定的检测开始条件的成立,开始各个处理(发明的第九方面)。由此,能够在适当的时机进行工程机械的检测。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献