一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

显示装置、记录介质、信息处理装置、系统及方法与流程

2022-03-19 12:22:08 来源:中国专利 TAG:


1.本发明涉及一种信息处理装置、显示装置、信息处理系统、记录介质及信息处理方法。


背景技术:

2.一直以来,存在通过计算机制作虚拟空间,并且能够体验在该虚拟空间内用户行动的虚拟现实(vr:virtual reality)这种空间增强技术。并且,在空间增强技术中还存在在显示器等中对实际存在的现实空间重叠虚拟空间的增强现实(ar:augmented reality)、混合现实空间及虚拟空间,现实空间与虚拟空间实时互相影响的混合现实(mr:mixed reality)等。
3.专利文献1中记载有如下内容,即,在定点操作中,指示器移动中的峰值速度与该时点下的到目标为止的距离存在相互关联,由峰值速度求出到目标为止的距离,由指示器位置及方向预测目标位置,由此在进行定点操作时,系统侧能够在操作结束之前预测用户欲移动指示器的对象位置,由此进行开始启动存在于该场所的图标所表示的应用等操作,以构建能够缩短工作时间的系统。
4.并且,专利文献2中记载有如下内容,即,在显示有计算机绘图及指示器的画面上,根据来自用户的规定的操作输入,在指示器的显示位置附近显示操作菜单。而且,通过该操作菜单命令所期望的项目,由此进行操作命令。在此,操作菜单为如下环形状:以包围指示器的指示位置的方式将用于显示项目的复数个项目区域配置于该显示位置的周围,并且复数个项目区域与指示器的显示位置之间成为空腔。
5.而且,专利文献3中记载有如下内容,即,信息处理装置具备:第1检测单元,检测佩戴了头部佩戴型显示装置的用户头部的位置姿势;第1识别单元,识别存在于用户的视野范围内的用于执行任务的输入装置;第2识别单元,识别存在于用户的视野范围内的用于用户操作输入装置的操作介质;第2检测单元,根据用户头部的位置姿势,检测从用户的视点位置至输入装置的第1距离;第3检测单元,根据用户头部的位置姿势,检测从用户的视点位置至操作介质的第2距离;及判别单元,根据第1距离及第2距离,判别需执行的任务。
6.专利文献1:日本特表2005-352738号公报
7.专利文献2:日本特开2005-107963号公报
8.专利文献3:日本特开2017-059062号公报


技术实现要素:

9.当在虚拟空间内显示复数个对象,并且用户从中欲选择一对象时,若复数个对象在虚拟空间内接近配置,则有时会选择与用户所希望的对象不同的对象。因此,为了选择用户所希望的对象,有时需要进行准确地指定对象的位置等细微的操作。
10.本发明的目的在于提供一种即使在虚拟空间内复数个对象彼此接近配置,用户也能够轻松地选择所希望的对象的信息处理装置等。
11.方案1所述的发明为信息处理装置,其特征在于,具备处理器,所述处理器执行如下处理:在虚拟空间内显示复数个对象及根据来自用户的输入信息操作该对象的操作对象;从所述复数个对象提取对象组;根据所述操作对象的虚拟空间内的操作,从所述对象组中确定一对象;将所确定的所述一对象显示成相对于该一对象以外的其他对象能够识别。
12.方案2所述的发明为方案1所述的信息处理装置,其特征在于,所述处理器提取存在于用户视觉辨认的范围内的对象作为所述对象组。
13.方案3所述的发明为方案1所述的信息处理装置,其特征在于,所述处理器根据所述操作对象的位置,从所述对象中提取所述对象组。
14.方案4所述的发明为方案1所述的信息处理装置,其特征在于,当用户从所述对象组中选择所述一对象时,所述处理器设定引导所述操作对象在虚拟空间内的移动的引导区域。
15.方案5所述的发明为方案4所述的信息处理装置,其特征在于,所述处理器作为所述引导区域还显示引导所述操作对象在虚拟空间内的移动的对象即引导对象。
16.方案6所述的发明为方案5所述的信息处理装置,其特征在于,所述引导对象显示为线及面中的至少一个。
17.方案7所述的发明为方案5所述的信息处理装置,其特征在于,所述引导对象划分为构成所述对象组的对象的个数,所划分的各区间与该对象中的任一个对应,所述处理器在所述区间中,将与离所述操作对象最近的区间对应的所述对象确定为所述一对象,并显示成相对于所述其他对象能够识别。
18.方案8所述的发明为方案1所述的信息处理装置,其特征在于,所述处理器根据所述对象组在虚拟空间内的位置与用户头部的位置之间的关系,变更所确定的所述一对象的显示方式。
19.方案9所述的发明为方案8所述的信息处理装置,其特征在于,所述处理器根据所述对象组在虚拟空间内的位置与用户的视野之间的关系,变更所确定的所述一对象的显示方式。
20.方案10所述的发明为方案8所述的信息处理装置,其特征在于,所述显示方式的变更为移动并显示所确定的所述一对象的位置时的方向。
21.方案11所述的发明为方案8所述的信息处理装置,其特征在于,所述处理器根据构成所述对象组的对象在虚拟空间内的姿势,改变并显示所确定的所述一对象的姿势。
22.方案12所述的发明为显示装置,在虚拟空间内显示复数个对象及根据来自用户的输入信息操作该对象的操作对象,根据所述操作对象的虚拟空间内的操作,将在从所述复数个对象提取的对象组中所确定的一对象显示成相对于该一对象以外的其他对象能够识别。
23.方案13所述的发明为方案12所述的显示装置,其特征在于,当用户从所述对象组中选择所述一对象时,还显示引导所述操作对象在虚拟空间内的移动的对象即引导对象。
24.方案14所述的发明为方案12所述的显示装置,其特征在于,根据所述对象组在虚拟空间内的位置与用户头部的位置之间的关系,变更并显示所述一对象的显示方式。
25.方案15所述的发明为信息处理系统,其特征在于,具备:显示装置,显示虚拟空间;及信息处理装置,制作通过所述显示装置显示的虚拟空间的显示信息,所述信息处理装置
具备处理器,所述处理器执行如下处理:在虚拟空间内显示复数个对象及根据来自用户的输入信息操作该对象的操作对象;从所述复数个对象提取对象组;根据所述操作对象的虚拟空间内的操作,从所述对象组中确定一对象;将所确定的所述一对象显示成相对于该一对象以外的其他对象能够识别。
26.方案16所述的发明为记录介质,其记录有使计算机实现如下功能的程序:在虚拟空间内显示复数个对象及根据来自用户的输入信息操作该对象的操作对象;从所述复数个对象提取对象组;根据所述操作对象的虚拟空间内的操作,从所述对象组中确定一对象;将所确定的所述一对象显示成相对于该一对象以外的其他对象能够识别。
27.方案17所述的发明为信息处理方法,其包括如下步骤:在虚拟空间内显示复数个对象及根据来自用户的输入信息操作该对象的操作对象;从所述复数个对象提取对象组;根据所述操作对象的虚拟空间内的操作,从所述对象组中确定一对象;将所确定的所述一对象显示成相对于该一对象以外的其他对象能够识别。
28.发明效果
29.根据本发明的第1方案,能够提供一种即使在虚拟空间内复数个对象彼此接近配置,用户也能够轻松地选择所希望的对象的信息处理装置。
30.根据本发明的第2、3方案,能够提取为了确定一对象而更合适的对象组。
31.根据本发明的第4方案,在用户进行对象的选择时,输入装置的操作变得更轻松。
32.根据本发明的第5方案,用户能够将引导区域作为引导对象而视觉性地进行掌握。
33.根据本发明的第6方案,能够显示由用户易于识别的引导对象。
34.根据本发明的第7方案,一对象的确定变得更轻松。
35.根据本发明的第8~11方案,变得用户更易于识别一对象。
36.根据本发明的第12方案,能够提供一种显示即使在虚拟空间内复数个对象彼此接近配置用户也能够轻松地选择所希望的对象的显示画面的显示装置。
37.根据本发明的第13方案,用户能够更轻松地选择一对象。
38.根据本发明的第14方案,变得用户更易于识别一对象。
39.根据本发明的第15方案,能够提供一种即使在虚拟空间内复数个对象彼此接近配置,用户也能够轻松地选择所希望的对象的信息处理系统。
40.根据本发明的第16方案,通过计算机能够实现即使在虚拟空间内复数个对象彼此接近配置,用户也能够轻松地选择所希望的对象的功能。
41.根据本发明的第17方案,能够提供一种即使在虚拟空间内复数个对象彼此接近配置,用户也能够轻松地选择所希望的对象的信息处理方法。
附图说明
42.根据以下附图,对本发明的实施方式进行详细叙述。
43.图1是表示本实施方式中的信息处理系统的结构例的图;
44.图2中,图2的(a)~(c)是表示变得难以选择文档对象时的例子的图;
45.图3是表示本实施方式中的信息处理装置及显示装置的功能结构例的框图;
46.图4是对信息处理系统的动作进行说明的流程图;
47.图5是对决定单元根据标记位置决定输入装置等的位置及姿势的处理进行说明的
流程图;
48.图6中,图6的(a)~(b)是表示在图4的步骤108中提取的第1对象组的图;
49.图7是表示在图4的步骤109中提取的第2对象组的图;
50.图8中,图8的(a)~(e)是表示确定单元根据操作对象的移动确定一文档对象并且将其相对于其他文档对象依次移动并显示的方法的图;
51.图9中,图9的(a)~(b)是表示引导对象的其他方式的图;
52.图10中,图10的(a)~(c)是表示变更所确定的文档对象的移动方向的方式的图;
53.图11中,图11的(a)~(b)是表示文档对象移动时的距离的图;
54.图12中,图12的(a)~(b)是表示文档对象移动时改变姿势的情况的图。
55.符号说明
56.1-信息处理系统,10-信息处理装置,20-显示装置,20a-显示画面,30-输入装置,40-相机,110-信息获取单元,120-决定单元,130-保存单元,140-确定单元,150-制作单元。
具体实施方式
57.以下,参考附图对本发明的实施方式进行详细说明。
58.<信息处理系统整体的说明>
59.图1是表示本实施方式中的信息处理系统1的结构例的图。
60.如图1所示,本实施方式的信息处理系统1具备制作显示信息的信息处理装置10;以显示信息为基础在显示画面20a显示图像的显示装置20;进行信息的输入的输入装置30;拍摄用户的头部、显示装置20及输入装置30的相机40。
61.信息处理装置10制作通过显示装置20的显示画面20a显示的虚拟现实空间(vr空间)的显示信息。详细内容将在后面叙述,但在显示装置20的显示画面20a显示各种对象。所显示的对象例如为表示用户头部的用户头部对象、表示显示画面20a的显示器对象、表示输入装置30的输入装置对象、表示文档的文档对象及引导输入装置对象的移动的引导对象等。另外,在此,“文档”为对文字信息及图像信息进行了电子化的电子文件。该电子文件只要是在信息处理系统1中能够进行处理的文件,则关于格式及数据结构等并无特别限制。显示于显示画面20a的对象无需在现实空间中实际存在。在该情况下,表示用户头部的用户头部对象、表示显示画面20a的显示器对象及表示输入装置30的输入装置对象在现实空间中存在,但表示文档的文档对象无需在现实空间中存在。并且,引导输入装置对象的移动的引导对象在现实空间中并不存在。
62.并且,信息处理装置10用于根据在现实空间中检测到的用户头部的位置及姿势的信息,计算vr空间内的用户头部的位置及姿势,并显示用户头部对象。同样地,信息处理装置10用于根据在现实空间中检测到的显示装置20的位置及姿势的信息,计算vr空间内的显示画面20a的位置及姿势,并显示显示器对象。而且,信息处理装置10用于根据在现实空间中检测到的输入装置30的位置及姿势的信息,计算vr空间内的输入装置30的位置及姿势,并显示输入装置对象。另外,在此,“现实空间”是指现实世界中的空间,“虚拟现实空间(vr空间)”是指表示构建于计算机上的模拟了真实世界的世界的三维空间。
63.而且,文档的对象能够以任意的位置及姿势配置于vr空间内,而且还能够反映用户过去操作的结果,信息处理装置10计算位置及姿势。
64.信息处理装置10例如为所谓的通用个人计算机(pc)。而且,信息处理装置10在基于os(操作系统(operating system))的管理下,通过使各种应用软件动作而进行本实施方式的信息的处理等。
65.信息处理装置10具备运算单元即cpu(中央处理器(central processing unit))、存储单元即主存储器以及hdd(硬盘驱动器(hard disk drive))及ssd(固态驱动器(solid state drive))等存储器。在此,cpu为处理器的一例,执行os(基本软件)及应用软件(应用软件)等各种软件。并且,主存储器为存储各种软件及其执行中所使用的数据等的存储区域,存储器为存储对各种软件的输入数据及来自各种软件的输出数据等的存储区域。
66.并且,信息处理装置10具备用于与外部进行通信的通信接口。
67.显示装置20显示上述的vr空间。显示装置20例如为双镜头头戴式显示器(hmd:head mounted display)。即,用户在头部佩戴该头戴式显示器,并且观看通过在头戴式显示器内部配设于用户的眼前的显示画面20a显示的图像。显示画面20a例如由液晶显示器及有机电致发光显示器(oeld:organic electroluminescence display)等具有显示图像的功能的显示器构成。
68.在本实施方式中,显示装置20在显示画面20a显示用于阅览及操作文档的vr空间。并且,该显示画面20a能够提示视差,用户能够三维地识别进深等vr空间。
69.输入装置30对存在于vr空间的对象进行操作。输入装置30只要能够进行信息的输入,则并无特别限制。并且,输入装置30可以是物理存在的物体,也可以是用户的手或手指。当输入装置30为物理存在的物体时,输入装置30例如为鼠标型、笔型、键盘型的输入设备。当输入装置30为能够检测三维位置的鼠标型输入设备时,通过在空间内移动而进行光标的移动及按钮的选择等。在图中示出了用户作为输入装置30使用鼠标型输入设备的情况。并且,当输入装置30为笔型输入设备时,用户能够手持且以笔的方式进行操作而进行书写。形状为笔状,能够进行书写文字及图形等信息的输入。笔型输入设备可以是触控笔等,也可以是圆珠笔、铅笔及钢笔等能够实际笔记的笔。而且,键盘型输入设备具有通过按下而进行信息输入的复数个键。因此,键盘型输入装置可以是实际键盘。
70.当输入装置30为用户的手或手指时,如microsoft corporation的kinect(注册商标)等,通过具备rgb相机及深度传感器等的相机40进行拍摄。而且,信息处理装置10通过分析用户的手或手指的动作,能够获取用户的手或手指的三维坐标。
71.并且,输入装置30可以存在一个,也可以存在复数个。并且,可以设成输入装置30通过发送操作信号,不仅操作存在于vr空间的对象,例如还能够进行确定模式的开始及结束等。操作信号的发送可以通过物理按钮操作进行,也可以通过识别基于用户的手或手指的手势而进行。
72.相机40例如具备使入射的光会聚的光学系统及检测通过光学系统会聚的光的图像传感器。
73.光学系统由单一透镜或组合复数个透镜而构成。光学系统通过透镜的组合及对透镜表面实施的涂布等消除了各种像差。图像传感器排列ccd(电耦合器件(charge coupled device))及cmos(互补金属氧化物半导体(complementary metal oxide semiconductor))等成像元件而构成。
74.相机40拍摄用户的头部、显示装置20及输入装置30。相机40例如还具备rgb相机及
深度传感器等,由此感测所拍摄的对象,并进行三维测量。由此,信息处理装置10能够计算用户的头部、显示装置20及输入装置30的位置及姿势。作为这种相机40并无特别限定,能够使用市售的相机。例如,能够使用leap motion公司的leap motion(注册商标)、intel公司的realsense(注册商标)及microsoft公司的kinect等。
75.并且,也可以在用户的头部、显示装置20及输入装置30中设置标记,并根据该标记的摄影图像,判断各自的位置及姿势。“标记”为任意标识。更具体而言,“标记”例如为以规定的三维形状配置了led等发光装置的标记。并且,如一维条形码及二维条形码,也可以是在平面上印刷的标记。预先设定标记的安装位置,且由信息处理装置10保持。标记具有固有的id编号的信息,能够分别区分用户的头部、显示装置20及输入装置30。
76.信息处理装置10及显示装置20例如经由dvi(数字视频接口(digital visual interface))连接。另外,代替dvi,也可以经由hdmi(注册商标)(高清晰度多介质接口(high-definition multimedia interface))或显示端口(displayport)等连接。
77.并且,信息处理装置10与输入装置30例如经由usb(通用串行总线(universal serial bus))连接。另外,代替usb,也可以经由ieee1394或rs-232c等连接。但并不限定于此,也可以是无线lan(局域网(local area network))及蓝牙(bluetooth)(注册商标)等无线连接。
78.而且,信息处理装置10及相机40在图示的例子中通过有线连接,例如经由usb、ieee1394及rs-232c连接。由此,通过相机40拍摄的图像的图像信息通过有线传送至信息处理装置10。但并不限定于此,也可以是上述无线连接。
79.在这种信息处理系统1中,用户一边观察显示画面20a,一边利用输入装置30,并且对vr空间内的文档对象进行操作,由此进行文档的处理。文档的处理例如为文档的制作、文档的选择、文档的阅览、文档的修正及文档的删除。
80.然而,当复数个文档对象通过重叠等而在vr空间内位于接近的位置时,有时文档的选择变得困难。
81.图2的(a)~(c)是表示文档对象的选择变得困难时的例子的图。
82.其中,图2的(a)示出了进行文档对象的选择之前的状态。
83.在图示例中,在显示画面20a显示有文档对象od1~od5。并且,作为输入装置对象on,显示有用户的手的对象。而且,在输入装置对象on中,显示操作对象os。操作对象os表示在输入装置对象on中对对象进行操作的部位。该操作对象os在vr空间中占据一定的范围。在该情况下,操作对象os也可以说是指示器。因此,例如,当欲选择文档对象od5时,用户将操作对象os对齐到文档对象od5,并使用输入装置30进行预先设定的操作。当输入装置30为鼠标型输入设备时,该操作例如为点击等操作。并且,当输入装置30为用户的手或手指时,该操作为预先设定的手势。
84.其中,在vr空间内显示复数个对象的一例即文档对象od1~od5。而且,在vr空间内显示有根据来自用户的输入信息对该对象进行操作的操作对象os。“输入信息”为当进行了上述的点击及手势等操作时,作为用户的命令输入于信息处理装置10的信息。
85.而且,用户从图2的(a)的状态,如图2的(b)所示,使输入装置对象on接近文档对象od5,并选择文档对象od5。但是,此时,如图2的(c)所示,有时会选择接近的文档对象od4。即,即便使用输入装置30欲选择复数个文档对象od1~od5中的一个,因vr空间中的操作对
象os的微小的位置偏差而有时会选择接近的其他文档对象。并且,构成文档的页面在相同的文档中位于彼此接近的位置,因此在选择页面的情况下,也可能会出现相同的情况。
86.因此,在本实施方式中,如下构成信息处理系统1,而抑制该问题。
87.<信息处理装置10及显示装置20的说明>
88.图3是表示本实施方式中的信息处理装置10及显示装置20的功能结构例的框图。另外,在图3中,选择并图示了信息处理装置10及显示装置20所具有的各种功能中与本实施方式有关的部分。
89.如图3所示,本实施方式的信息处理装置10具备:信息获取单元110,从相机40获取三维测量结果及图像信息;决定单元120,决定用户的头部、显示装置20及输入装置30在现实空间中的位置及姿势;保存单元130,保存用户的头部、显示装置20及输入装置30的大小、形状等关于对象的信息;确定单元140,确定文档对象;及制作单元150,制作通过显示装置20的显示画面20a显示的显示信息。
90.信息获取单元110从拍摄用户的头部、显示装置20及输入装置30的相机40获取它们的三维测量结果及图像信息。
91.在该情况下,如图1所示,相机40拍摄存在于现实空间的用户的头部、显示装置20及输入装置30。而且,这些三维测量结果及所拍摄的图像的信息从相机40传送至信息处理装置10,并由信息获取单元110获取。在该情况下,图像信息为动态图像的图像信息,但例如也可以是每隔40毫秒等以预先设定的短时间间隔拍摄的复数个静态图像的图像信息。
92.并且,信息获取单元110从输入装置30获取输入信息。
93.决定单元120决定用户的头部、显示装置20及输入装置30的位置及姿势。此时,决定单元120从三维测量结果识别用户的头部、显示装置20及输入装置30,并决定它们的位置及姿势。并且,当使用标记时,根据标记的图像信息,决定它们的位置及姿势。
94.保存单元130保持用户的头部、显示装置20及输入装置30的id编号以及现实空间中的大小、形状等。关于大小、形状,保存单元130例如能够将形状作为以三维坐标或使用了该三维坐标的数式来表示的3d模型来保持。并且,当使用标记时,保持标记的安装位置。
95.并且,保存单元130保存关于在vr空间显示的对象的信息。关于对象的信息例如为对象的大小、形状的信息,可以以三维坐标或使用了该三维坐标的数式来表现形状,并且关于对象的信息可以包含表示对象特性的属性信息。作为表示该特性的信息,可以是表示表面的材质感的信息,也可以是表示重量的信息,还可以是表示硬度的信息等。并且,当对象为文档对象od时,保存关于文档内容的信息。即,存储文档中所包含的文字信息及图像信息。
96.确定单元140根据操作对象os的vr空间内的操作,确定一文档对象od。详细内容将在后面叙述,但根据操作对象os在vr空间内的位置,区分一文档对象od与除此以外的其他文档对象od,由此进行确定。
97.制作单元150将用户的头部、显示装置20及输入装置30的3d模型作为用户头部对象、显示器对象及输入装置对象on配置于vr空间,并制作显示信息。此时,在vr空间中,例如优选以与现实空间中相同的位置及姿势来配置各对象。而且,例如优选以与现实空间相同的大小及形状来配置各对象。但并不限定于此,也可以变更大小及形状。并且,关于颜色,并不一定需要使vr空间与现实空间一致。
98.并且,制作单元150将文档对象od等其他对象配置于vr空间,并制作显示信息。此时,在文档对象od的显示面显示文档的内容。而且,详细内容将在后面叙述,但当用户欲选择文档对象od时,制作单元150制作相对于其他文档对象od能够识别地显示一文档对象od的显示信息。
99.并且,如图3所示,显示装置20具备获取显示信息的显示信息获取单元210及以显示信息为基础显示图像的图像显示单元220。
100.显示信息获取单元210获取制作单元150制作的图像信息。并且,图像显示单元220以制作单元150制作的图像信息为基础显示图像。图像显示单元220例如为上述显示画面20a。
101.因此,通过显示装置20显示的画面为上述vr空间,图像显示单元220在vr空间中显示上述对象。
102.<信息处理系统1的动作的说明>
103.接着,对信息处理系统1的动作进行说明。
104.图4是对信息处理系统1的动作进行说明的流程图。
105.首先,相机40拍摄用户的头部、显示装置20及输入装置30(步骤101)。然后,三维测量结果及所拍摄的图像的信息传送至信息处理装置10。
106.该三维测量结果及图像信息由信息处理装置10的信息获取单元110获取(步骤102)。
107.接着,决定单元120以信息获取单元110所获取的三维测量结果及图像信息为基础,决定现实空间中的用户的头部、显示装置20及输入装置30的位置及姿势(步骤103)。
108.图5是对决定单元120根据标记的位置决定输入装置30等的位置及姿势的处理进行说明的流程图。图5是对图4的步骤103的处理进行更详细说明的图。
109.在此,首先,从图像提取标记(步骤201)。此时,当存在复数个标记时,提取各标记的图像。
110.然后,从所提取的标记获取id编号(步骤202)。
111.而且,以所拍摄的图像中的标记的大小及变形状态为基础,决定输入装置30等的位置及姿势(步骤203)。
112.然后,更新与id编号对应的输入装置30等的位置及姿势的信息(步骤204)。
113.返回图4,制作单元150以决定单元120求出的位置及姿势以及保存于保存单元130的对象的信息为基础,制作显示于vr空间的显示信息(步骤104)。
114.而且,制作单元150将制作出的显示信息发送至显示装置20,并由显示装置20的显示信息获取单元210获取(步骤105)。
115.而且,图像显示单元220以显示信息为基础在显示画面20a上显示图像(步骤106)。由此,在vr空间中显示用户头部对象、显示器对象、输入装置对象on及文档对象od等各对象。
116.接着,确定单元140根据用户的操作,判断是否成为接近文档选择模式(步骤107)。接近文档选择模式为在接近的复数个文档对象od中选择一个文档对象od时使用的模式,通过用户进行预先设定的操作,能够设为该模式。该操作例如为按钮操作及手势操作。是否成为接近文档选择模式例如优选对用户明确表示。例如,变更输入装置对象on及操作对象os
的颜色及形状,或在这些对象的附近显示表示成为该模式的文字及图标等对象。接近文档选择模式在用户进行了文档选择时结束。并且,也可以设为在用户进行了用于结束该模式的预先设定的操作时结束。该操作例如为按钮操作及手势操作。
117.其结果,当不是接近文档选择模式时(在步骤107中“否”),返回步骤101。
118.相反,当为接近文档选择模式时(在步骤107中“是”),确定单元140从vr空间中的复数个文档对象od提取对象组。“对象组”为对象的集合,在这里为下述的第1对象组及第2对象组。
119.在该情况下,首先,确定单元140从vr空间中的复数个文档对象od提取第1对象组g1(步骤108)。
120.而且,确定单元140根据操作对象os的位置,从第1对象组g1中提取第2对象组g2(步骤109)。
121.图6的(a)~(b)是表示在图4的步骤108中提取的第1对象组g1的图。
122.确定单元140提取在用户视觉辨认的范围r1内存在的文档对象od作为第1对象组g1。确定单元140以用户头部t的位置及姿势为基础计算用户视觉辨认的范围r1。而且,确定单元140选择该范围r1内所包含的文档对象od作为第1对象组g1。
123.该范围r1能够设为通过显示画面20a显示的所有区域。图6的(a)表示将通过显示画面20a显示的所有区域设为用户视觉辨认的范围r1的情况。而且,作为该范围r1内的文档对象od,示出了提取文档对象od1~od12作为第1对象组g1的情况。
124.并且,范围r1也可以设为通过显示画面20a显示的一部分区域。图6的(b)表示将通过显示画面20a显示的一部分区域设为用户视觉辨认的范围r1的情况。而且,示出了提取该范围r1内的文档对象od5~od8作为第1对象组g1的情况。
125.图7是表示在图4的步骤109中提取的第2对象组g2的图。
126.在此,示出了确定单元140从图6的(a)的状态选定了第2对象组g2的情况。确定单元140根据操作对象os的位置,从文档对象od中提取第2对象组g2。
127.在此,示出了从第1对象组g1即文档对象od1~od12中,文档对象od5~od8选定为第2对象组g2的情况。即,在该情况下,位于离操作对象os的位置较近的位置的文档对象od5~od8选定为第2对象组g2。在该情况下,根据vr空间中的欧几里德距离判断是否位于较近的位置。即,在该情况下,vr空间中的欧几里德距离离操作对象os的位置较小的文档对象od选定为第2对象组g2。
128.返回图4,接着,确定单元140根据操作对象os的vr空间内的操作,从第2对象组g2中确定一文档对象od(步骤110)。具体而言,确定单元140根据操作对象os的移动,从第2对象组g2中确定最近的文档对象od。
129.而且,制作单元150将所确定的一文档对象od显示成相对于该文档对象od以外的其他文档对象od能够识别(步骤111)。具体而言,制作单元150制作相对于该文档对象od以外的其他文档对象od将确定单元140所确定的一文档对象od依次移动并显示的显示信息。
130.图8的(a)~(e)是表示确定单元140根据操作对象os的移动确定一文档对象od并且将其相对于其他文档对象od依次移动并显示的方法的图。
131.其中,图8的(a)是表示移动所确定的一文档对象od之前的状态的图。若提取第2对象组g2,则制作单元150在第2对象组g2附近显示引导操作对象os在vr空间内的移动的对象
即引导对象oa。该引导对象oa为用户从第2对象组g2中选择一文档对象od时引导操作对象os在vr空间内的移动的引导区域的一例。“引导区域”为当用户选择一文档对象od时为了引导操作对象os在vr空间内的移动而显示的区域。
132.引导对象oa例如显示为线及面中的至少一个。在图8的(a)中示出了使用直线来显示了引导对象oa的例子。该引导对象oa由点线箭头oa1及划分线oa2构成。该引导对象oa通过划分线oa2划分为构成第2对象组g2的文档对象od的个数,所划分的各区间与这些文档对象od中的任一个对应。在该情况下,构成第2对象组g2的文档对象od为文档对象od5~od8这四个。因此,引导对象oa划分为四个区间。在图8的(a)中,将该四个区间图示为区间(1)~(4)。而且,区间(1)~(4)分别与文档对象od5~od8对应。另外,(1)~(4)可以以引导对象oa的一部分来显示,但无需一定要显示。另外,当进行显示时,(1)~(4)的显示能够理解为引导对象oa的一部分。
133.在此,用户以使操作对象os沿引导对象oa移动的方式操作输入装置30。在图8的(a)中以轨迹k来图示了操作对象os移动的情况。
134.而且,随着操作对象os的移动,确定单元140确定一文档对象od,制作单元150制作如图8的(b)~(e)所示那样的显示信息,并显示于显示画面20a。
135.具体而言,确定单元140在所设定的区间中,将与离操作对象os最近的区间对应的文档对象od确定为一文档对象od。而且,制作单元150使该一文档对象od相对于其他文档对象od依次移动。
136.例如,当操作对象os位于图8的(b)所示的位置时,离操作对象os最近的引导对象oa的区间为区间(1)。此时,确定单元140将与区间(1)对应的文档对象od5确定为一文档对象od。而且,制作单元150制作使文档对象od5相对于其他文档对象od6~od8移动并显示的显示信息。在该情况下,文档对象od5相对于其他文档对象od6~od8向上方向移动。
137.并且,当操作对象os位于图8的(c)所示的位置时,离操作对象os最近的引导对象oa的区间为区间(2)。此时,确定单元140将与区间(2)对应的文档对象od6确定为一文档对象od。而且,制作单元150制作使文档对象od6相对于其他文档对象od5、od7、od8向上方向移动的显示信息。另外,此时,文档对象od5返回图8的(a)所示的原始位置。即,文档对象od5随着操作对象os的移动,暂时移动,在区间(1)以外的区间,返回到原始位置并显示。
138.同样地,当操作对象os位于图8的(d)~(e)所示的位置时,离操作对象os最近的引导对象oa的区间分别为区间(3)及区间(4)。此时,确定单元140将与区间(3)及区间(4)对应的文档对象od7及文档对象od8确定为一文档对象od。而且,制作单元150制作使文档对象od7及文档对象od8相对于其他文档对象od向上方向移动的显示信息。另外,此时,移动的文档对象od以外的文档对象od返回到图8的(a)所示的原始位置。
139.另外,使文档对象od依次移动的顺序根据各文档对象od在vr空间中的位置而设定。并且,当复数个文档对象od在vr空间中的位置及姿势相同时,根据文档对象od的页面编号等属性设定顺序。
140.图9的(a)~(b)是表示引导对象oa的其他方式的图。
141.其中,图9的(a)是表示作为引导对象oa使用曲线并显示的情况的图。该引导对象oa由曲线oa3及划分线oa2构成。而且,与图8的(a)的情况同样地,引导对象oa划分为四个区间,各区间(1)~(4)分别与文档对象od5~od8对应。
142.并且,图9的(b)是表示作为引导对象oa使用面并显示的情况的图。该引导对象oa由面oa4及划分线oa2构成。而且,与图8的(a)的情况同样地,引导对象oa划分为四个区间。在图9的(b)中,将该四个区间图示为区间(1)~(4)。而且,与图8的(a)的情况同样地,引导对象oa划分为四个区间,各区间(1)~(4)分别与文档对象od5~od8对应。
143.再次返回图4,接着,确定单元140判断用户是否选择了已移动的文档对象od(步骤112)。文档对象od的选择能够通过用户使用输入装置30进行预先设定的操作来进行。当输入装置30为鼠标型输入设备时,该操作例如为点击等操作。并且,当输入装置30为用户的手或手指时,该操作为预先设定的手势。即,如上所述,当文档对象od5~od8的任一个已移动时,若进行该操作,则确定单元140判断为用户选择了已移动的文档对象od。
144.其结果,当选择了文档对象od时(在步骤112中“是”),确定单元140结束接近文档选择模式(步骤113)。而且,对所选择的文档对象od执行预先设定的处理(步骤114)。该处理例如为所选择的文档对象od的放大显示及编辑画面的显示等。
145.相反,当未选择文档对象od时(在步骤112中“否”),确定单元140判断是否选择了接近文档选择模式的结束(步骤115)。接近文档选择模式的结束能够通过用户使用输入装置30进行预先设定的操作来进行。并且,当输入装置30为用户的手或手指时,能够通过预先设定的手势来进行。
146.其结果,当选择了接近文档选择模式的结束时(在步骤115中“是”),结束接近文档选择模式,并结束一系列处理。
147.相反,当未选择接近文档选择模式的结束时(在步骤115中“否”),返回步骤110。
148.另外,在上述例中,随着操作对象os的移动,使文档对象od5~od8暂时移动并显示,但并不限定于此。例如,也可以高亮显示所确定的文档对象od,或暂时变更颜色及形状。并且,也可以是使文档对象od旋转等动作。
149.并且,制作单元150也可以设为变更所确定的一文档对象od的显示方式。具体而言,显示方式的变更例如为移动并显示所确定的一文档对象od时的方向。
150.图10的(a)~(c)是表示变更所确定的文档对象od的移动方向的方式的图。
151.其中,图10的(a)~(b)是表示根据第2对象组g2在vr空间内的位置与用户头部t的位置之间的关系,变更所确定的一文档对象od的移动方向的情况的图。
152.图10的(a)是表示在vr空间内,第2对象组g2的上下方向的中心位置位于比用户头部t的位置更低的位置的情况的图。而且,此时,示出了所确定的一文档对象od即文档对象od6移动的方向。在该情况下,如图所示,当文档对象od6向上方向移动时,用户更易于识别文档对象od6。
153.并且,图10的(b)是表示在vr空间内第2对象组g2的上下方向的中心位置位于比用户头部t的位置更高的位置的情况的图。而且,此时,示出了所确定的一文档对象od即文档对象od6移动的方向。在该情况下,如图所示,当文档对象od6向下方向移动时,用户更易于识别文档对象od6。
154.而且,图10的(c)示出了在文档对象od5~od8的周围存在其他文档对象od即文档对象od21~od22的情况。此时,所确定的一文档对象od即文档对象od6例如优选向避开文档对象od21~od22的方向移动。在图示例中,文档对象od6向存在文档对象od21~od22的方向以外的方向移动。
155.并且,文档对象od移动时的距离例如优选为用户易于识别的距离。
156.即,若该距离过小,则用户不易识别文档对象od移动的情况。并且,若该距离过大,则文档对象od向用户的视野的范围外移动,同样地,变得用户不易识别文档对象od移动的情况。
157.图11的(a)~(b)是表示文档对象od移动时的距离的图。
158.其中,图11的(a)是表示不致使文档对象od移动时的距离过小的方法的图。
159.在此,在vr空间中,设定包含属于第2对象组g2的文档对象od5~od8的长方体状的区域r2。而且,示出了超出区域r2的范围,且以区域r2与文档对象od6不重叠的距离使文档对象od6向上方向移动的情况。在该情况下,文档对象od6与其他文档对象od5、od7、od8不产生重叠,从而用户易于识别文档对象od6移动的情况。
160.并且,图11的(b)是表示不致使文档对象od移动时的距离过大的方法的图。
161.在此,示出了在vr空间中向朝向用户头部t的方向移动文档对象od6的情况。并且,移动的距离设为用户头部t的正前方。在该情况下,文档对象od6向用户方向移动,因此文档对象od6不会向用户的视野的范围外移动。在该情况下,用户易于识别文档对象od6移动的情况。
162.在该情况下,也可以说制作单元150根据第2对象组g2在vr空间内的位置与用户的视野之间的关系变更所确定的一文档对象od的显示方式。
163.并且,也可以以用户更易于识别的方式变更文档对象od移动时的姿势。
164.图12的(a)~(b)是表示文档对象od移动时改变姿势的情况的图。
165.在此,图12的(a)是表示文档对象od移动时不改变姿势的情况的图。在该情况下,文档对象od7正在移动,但移动后的文档对象od的显示面不会朝向用户侧,因此用户不易识别该显示面。
166.相反,图12的(b)是表示文档对象od移动时改变了姿势的情况的图。在该情况下,移动后的文档对象od7的显示面以朝向用户侧的方式姿势发生了变化,从而用户易于识别该显示面。另外,姿势的变化是暂时的,当文档对象od7返回原始位置时,姿势也恢复为原始姿势。
167.在该情况下,也可以说制作单元150根据构成第2对象组g2的文档对象od在vr空间内的姿势,改变并显示所确定的一文档对象od的姿势。
168.根据以上说明的信息处理系统1,即使在vr空间内复数个文档对象od彼此接近配置,用户也能够轻松地选择所希望的文档对象od。
169.另外,显示通过以上说明的信息处理装置10制作的显示信息的显示装置20能够理解为如下显示装置的一例,即,在vr空间内显示复数个文档对象od及根据来自用户的输入信息操作该文档对象od的操作对象os,根据操作对象os的vr空间内的操作,将在从复数个文档对象od提取的对象组中所确定的一文档对象od显示成相对于一文档对象od以外的其他文档对象od能够识别。
170.在该情况下,当用户从对象组中选择一文档对象od时,在显示装置20中还显示引导操作对象os在vr空间内的移动的对象即引导对象oa。
171.并且,在显示装置20中,也可以根据对象组在vr空间内的位置与用户头部t的位置之间的关系,变更并显示一文档对象od的显示方式。
172.另外,在以上说明的方式中,在提取第1对象组g1之后,还提取了第2对象组g2,但也可以不提取第1对象组g1而提取第2对象组g2。
173.并且,在以上说明的方式中,对作为对象选择文档对象od的情况进行了说明,但并不限定于此,只要是在vr空间中显示的对象,则能够无特别限定地适用。
174.而且,在以上说明的方式中,引导对象oa是由线及面设定,但也可以由空间设定,或设定为立体形状的对象。
175.此外,在以上说明的方式中,通过显示装置20进行了虚拟空间的显示,即,进行了利用vr(virtual reality,虚拟现实)的显示,但并不限定于此,也可以利用ar(augmented reality,增强现实)或mr(mixed reality,混合现实)。
176.<程序的说明>
177.在此,以上进行说明的本实施方式中的信息处理装置10进行的处理例如由应用软件等程序准备。
178.因此,在本实施方式中信息处理装置10进行的处理能够理解为用于使计算机实现如下功能的程序:在vr空间内显示复数个文档对象od及根据来自用户的输入信息操作该文档对象od的操作对象os;从复数个文档对象od提取对象组;根据操作对象os的vr空间内的操作,从对象组中确定一文档对象od;将所确定的一文档对象od显示成相对于一文档对象od以外的其他文档对象od能够识别。
179.另外,实现本实施方式的程序当然由通信单元提供,也可以存储于cd-rom等记录介质中后提供。
180.以上,对本实施方式进行了说明,但本发明的技术方案并不限定于上述实施方式中所记载的范围。由权利要求书中的记载明确可知,对上述实施方式加以各种变更或改良的方式也属于本发明的技术方案。
181.上述本发明的实施方式是以例示及说明为目的而提供的。另外,本发明的实施方式并不全面详尽地包括本发明,并且并不将本发明限定于所公开的方式。很显然,对本发明所属的领域中的技术人员而言,各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此,本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献