处理设备、系统、处理方法和装置与流程

本发明涉及处理设备、系统、处理方法和装置。

背景技术：

1、存在用于将虚拟生成的内容与现实世界相结合的称为交叉现实(以下称为xr)的技术。xr是虚拟现实(以下简称vr)、增强现实(以下简称ar)、混合现实(以下简称mr)、替代现实(以下简称sr)等的总称，并且是指用于将虚拟生成的内容或环境与实际感觉或空间相结合的技术。

2、使用xr的设备的示例包括头戴式显示器(hmd)。hmd包括使用光学透视方法的hmd和使用视频透视方法的hmd。光学透视方法是使用诸如棱镜或半反射镜的光学系统将显示在电子显示器上的图像叠加在通过透镜可见的景色(view)上的方法。另一方面，视频透视方法是通过如下的方式增强现实世界的方法：使用安装在hmd正面的相机实时拍摄景色的图像以生成数字图像并合成景色的数字图像和虚拟生成的数字内容。

3、视频透视方法的优点在于，将景色的图像的数字数据和数字内容进行合成，因此，以高水平融合现实世界和数字信息。然而，视频透视方法的缺点在于，可能发生诸如vr病或视觉诱发的晕动病的现象，并且出现诸如用手抓住移动被摄体的运动困难。这是因为，在视频透视方法中，在拍摄景色的图像的时间与显示合成图像的时间之间，存在与进行用于将景色的图像和数字内容合成的处理所花费的时间相对应的延迟。当使用视频透视方法时，重要的是在显示器上无延迟地显示与佩戴hmd的人的视线匹配的景色的图像。

4、日本专利特开第2014-36357号公开了用于通过基于两个帧计算两个帧之间的运动矢量并根据计算出的运动矢量生成预测帧来抑制处理中的延迟的技术。

5、在日本专利特开第2014-36357号中公开的技术中，直到获得两个帧才能计算运动矢量。此外，以与帧速率相同的频率计算运动矢量。因此，不可能考虑两个帧之间的被摄体的详细运动，并以高精度预测未来帧。如果以高帧率进行摄像，则分别获得两个帧的时间点之间的差变小，并且变得可以考虑被摄体的详细运动，但是要以高处理速度进行处理。此外，当仅在诸如hmd的设备中进行处理时，不能实现所需的处理速度，并且该设备不能用作独立设备。此外，帧通常由大量数据构成，因此，如果以高帧率进行摄像，则从诸如cmos的进行摄像的摄像元件(图像传感器)到处理帧的处理设备的通信量增加。

技术实现思路

1、一种处理设备，包括：第一获得单元，其被构造为以预定间隔获得第一帧数据，所述第一帧数据是被摄体的图像的帧数据；第二获得单元，其被构造为获得事件数据，所述事件数据能够以比所述预定间隔短的间隔获得并且是所述被摄体的像素值的变化的检测结果；检测单元，其被构造为通过使用所述事件数据，以比所述预定间隔短的间隔检测所述被摄体的运动；以及生成单元，其被构造为根据所述第一帧数据和所述被摄体的运动来生成第二帧数据，所述第二帧数据对应于比所述第一帧数据所对应的时间晚的时间。

2、一种系统，包括：拍摄设备；以及显示设备，其中，所述拍摄设备包括：第一获得单元，其被构造为通过以预定间隔拍摄被摄体来获得第一帧数据，所述第一帧数据是所述被摄体的图像的帧数据；第二获得单元，其被构造为通过检测所述被摄体的像素值的变化来获得事件数据，所述事件数据能够以比所述预定间隔短的间隔获得并且是所述被摄体的像素值的变化的检测结果；检测单元，其被构造为通过使用所述事件数据，以比所述预定间隔短的间隔检测所述被摄体的运动；以及发送单元，其被构造为将所述第一帧数据和关于所述被摄体的运动的运动信息发送到所述拍摄设备的外部，并且所述显示设备包括：接收单元，其被构造为从所述显示设备的外部接收所述第一帧数据和所述运动信息；生成单元，其被构造为根据所述第一帧数据和所述运动信息来生成第二帧数据，所述第二帧数据对应于比所述第一帧数据所对应的时间晚的时间；以及显示单元，其被构造为基于所述第二帧数据而显示图像。

3、一种处理方法，包括：以预定间隔获得第一帧数据，所述第一帧数据是被摄体的图像的帧数据；获得事件数据，所述事件数据能够以比所述预定间隔短的间隔获得并且是所述被摄体的像素值的变化的检测结果；通过使用所述事件数据，以比所述预定间隔短的间隔检测所述被摄体的运动；以及根据所述第一帧数据和所述被摄体的运动来生成第二帧数据，所述第二帧数据对应于比所述第一帧数据所对应的时间晚的时间。

4、一种装置，其包括上述处理设备，并且所述装置还包括以下中的至少一者：光学设备，其对应于所述处理设备；控制设备，其被构造为控制所述处理设备；信号处理设备，其被构造为处理从所述处理设备输出的信号；显示设备，其被构造为显示由所述处理设备获得的信息；存储设备，其被构造为存储由所述处理设备获得的信息；以及机械设备，其被构造为基于由所述处理设备获得的信息进行操作。

5、根据以下参照附图对示例性实施例的描述，本发明的其它特征将变得明显。

技术特征：

1.一种处理设备，其包括：

2.根据权利要求1所述的处理设备，

3.根据权利要求1或2所述的处理设备，

4.根据权利要求1或2所述的处理设备，所述处理设备还包括：

5.根据权利要求4所述的处理设备，

6.根据权利要求1或2所述的处理设备，所述处理设备还包括：

7.根据权利要求6所述的处理设备，

8.一种装置，其包括根据权利要求1至7中任一项所述的处理设备，并且所述装置还包括以下中的至少一者：

9.一种系统，其包括：

10.一种处理方法，其包括：

11.根据权利要求10所述的处理方法，所述处理方法还包括：

12.根据权利要求10或11所述的处理方法，所述处理方法还包括：

13.根据权利要求10或11所述的处理方法，所述处理方法还包括：

14.根据权利要求13所述的处理方法，

15.根据权利要求10或11所述的处理方法，所述处理方法还包括：

16.根据权利要求15所述的处理方法，

技术总结本发明提供处理设备、系统、处理方法和装置。一种处理设备，包括：第一获得单元，其被构造为以预定间隔获得第一帧数据，所述第一帧数据是被摄体的图像的帧数据；第二获得单元，其被构造为获得事件数据，所述事件数据能够以比所述预定间隔短的间隔获得并且是所述被摄体的像素值的变化的检测结果；检测单元，其被构造为通过使用所述事件数据，以比所述预定间隔短的间隔检测所述被摄体的运动；以及生成单元，其被构造为根据所述第一帧数据和所述被摄体的运动来生成第二帧数据，所述第二帧数据对应于比所述第一帧数据所对应的时间晚的时间。技术研发人员：河口修,芦田纯平受保护的技术使用者：佳能株式会社技术研发日：技术公布日：2024/10/17