远程操作支援系统和远程操作支援方法与流程

本发明涉及具有与作业机械和用于对该作业机械进行远程操作的远程操作装置各自进行相互通信的功能的远程操作支援系统。

背景技术：

1、操作员在进行作业机械的上部回转体的回转等操作时，确认在该作业机械的周围是否存在障碍物。例如，针对作业机械的后方，在作业机械的后方设置可拍摄作业机械的后方的相机，操作员通过确认由该相机拍摄到的图像来确认障碍物。例如，提出有以下一种回转式作业车辆的后方视野显示装置：其具备用于获取上部回转体的后方视野的照相机以及显示由该照相机获取的图像的监视器，使以上部回转体的回转中心为中心的圆弧状的距离显示线与由所述照相机取得的图像重叠地显示(例如，参照专利文献1)。

2、现有技术文献

3、专利文献

4、专利文献1：日本特开2005-188160号公报

技术实现思路

1、发明要解决的课题

2、然而，操作员在实际搭乘于作业机械并进行上部回转体相对于下部行驶体的回转等操作的情况下，会下意识地将与该上部回转体一起回转的驾驶室的支柱等存在于其视野中的特定的物体作为识别该上部回转体在实际空间中的位置和/或方位时的基准。操作员在利用远程操作装置操作作业机械时，通过由搭载于该作业机械的照相机或拍摄装置拍摄到的拍摄图像来识别空间。然而，由于特定的物体未映入于该拍摄图像中，因此，有时会难以进行空间识别。

3、因此，本发明的目的在于提供一种能够实现提高对作业机械进行远程操作的操作员对空间的识别精度的远程操作支援系统等。

4、用于解决课题的手段

5、本发明的远程操作支援系统的内容如下。使合成图像显示于用于远程操作所述作业机械的远程操作装置的远程输出接口上，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。

6、根据具有该结构的远程操作支援系统，在拍摄图像上重叠了指标图像的合成图像被显示于远程输出接口。因此，以合成图像所包含的配置于驾驶室的虚拟性的指标部件为基准，操作人员能够以与实际搭乘于驾驶室时相同或者类似的感觉识别到映入拍摄图像的物体在实际空间中的位置以及姿势。其结果，即使在拍摄图像中没有映入指标部件的情况下，也能够实现提高远程操作作业机械的操作员通过合成图像对空间的识别精度。

7、在具有上述结构的远程操作支援系统中，优选的是，所述指标图像是可视觉确认所述拍摄图像中的至少一部分重叠区域的具有透明性的图像、或者表示所述指标部件的轮廓线以及棱线中的至少一方的线图。

8、根据具有该结构的远程操作支援系统，抑制或者避免了拍摄图像的可视性因与该拍摄图像重叠的指标图像的存在而降低，相应地实现了提高远程操作作业机械的操作员通过合成图像对空间的识别精度。

9、在具有上述结构的远程操作支援系统中，优选的是，所述指标图像以与所述拍摄图像的倍率对应的尺寸进行显示。

10、根据具有该结构的远程操作支援系统，在根据拍摄图像的倍率而适当地调整了尺寸或者重新调节了尺寸的基础上，将指标图像显示于远程输出接口上。因此，能够使操作员从合成图像中获取到恰当的距离感。

11、在具有所述构成的远程操作支援系统中，优选的是，在所述作业机械中的搭载有所述实机拍摄装置的上部回转体相对于下部行驶体被进行回转操作的情况下，使所述合成图像显示于所述远程输出接口。

12、根据具有该结构的远程操作支援系统，在开始对作业机械进行回转操作的情况下显示合成图像，因此在操作员需要显示指标图像的情况下就能显示合成图像。

13、在具有所述结构的远程操作支援系统中，优选的是，在所述作业机械中的搭载有所述实机拍摄装置的上部回转体对下部行驶体的回转操作结束的情况下，使所述远程输出接口停止对所述合成图像的显示。

14、根据具有该结构的远程操作支援系统，在对作业机械进行的回转操作结束的情况下停止合成图像的显示，因此能够消除因一直持续显示指标图像而引起的繁琐的情况。

15、本发明的远程操作支援复合系统由所述作业机械和所述远程操作装置中的至少一方与所述远程操作支援系统构成。

16、根据具有该结构的远程操作支援系统，能够构成与作业机械以及远程操作装置中的至少一方进行协作的复合系统，从而能够提高实用性。

17、本发明的远程操作支援方法包括使合成图像显示于用于远程操作所述作业机械的远程操作装置的远程输出接口上的步骤，其中，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。

18、根据具有该结构的远程操作支援方法，由于包括了使合成图像显示于用于远程操作作业机械的远程操作装置的远程输出接口上的工序，所以实现了提高对作业机械进行远程操作的操作员对空间的识别精度。

技术特征：

1.一种远程操作支援系统，其特征在于，

2.根据权利要求1所述的远程操作支援系统，其特征在于，

3.根据权利要求1或2所述的远程操作支援系统，其特征在于，

4.根据权利要求1～3中任一项所述的远程操作支援系统，其特征在于，

5.根据权利要求1～4中任一项所述的远程操作支援系统，其特征在于，

6.一种远程操作支援复合系统，其特征在于，

7.一种远程操作支援方法，其特征在于，包括：

技术总结本发明提供一种远程操作支援系统和远程操作支援方法，其能够实现提高对作业机械进行远程操作的操作员对空间的识别精度。搭载在作业机械(40)上的拍摄装置(412b)拍摄表示该作业机械(40)的周围的情形的拍摄图像。生成在该拍摄图像上重叠指标图像的合成图像，其中，该指标图像是指虚拟地表示配置在作业机械(40)的驾驶室(454)(司机室)中的指标部件的图像。在用于远程操作作业机械(40)的远程操作装置(20)的远程输出接口(220)上显示该合成图像。技术研发人员：佐佐木均,藤原裕介,上田员弘受保护的技术使用者：神钢建机株式会社技术研发日：技术公布日：2024/9/9