输入系统及输入方法与流程

1.本发明涉及输入系统及输入方法。


背景技术：

2.以往，已知有能够通过包含触控笔的指示设备的书写操作来输入对笔划的集合体进行记述的墨水数据的数字墨水系统。例如，设想跟随用户的书写操作而在与该书写部位不同的其他部位显示书写内容的情况。
3.在专利文献1中公开了如下技术：在三维空间上设定二维的虚拟平面后，将在该虚拟平面上书写的笔划即时地显示于用户能够佩戴的显示装置。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2013-125487号公报


技术实现要素：

7.发明所要解决的课题
8.然而，通过显示存在各种物体的虚拟空间，用户能够获得好像在该空间内留下书写这样的模拟体验。但是，在专利文献1所公开的技术中，由于虚拟平面在设定后直接固定，因此根据情况不同，会在与用户的意图不同的部位显示书写内容，存在损害用户的输入操作性这样的问题。
9.本发明是鉴于上述问题所做出的，其目的在于提供输入系统及输入方法，在检测指示设备的指示位置的检测设备与显示空间的显示单元分体设置的装置构成中，能够提高用户的输入操作性。
10.用于解决课题的技术方案
11.第一方案的输入系统具备：指示设备；检测设备，检测所述指示设备的指示位置；显示单元，与所述检测设备分体设置，并且显示空间；位置检测部，检测所述空间内的用户的视线位置；及处理器，所述处理器基于在受理了所述指示设备的规定的操作的时间点由所述位置检测部检测出的所述视线位置，从所述空间之中设定包含所述指示设备的基准位置的指示对象区域，并以在所述空间上重叠地将所述指示设备的指示位置显示在所述指示对象区域内的方式控制所述显示单元。
12.第二方案的输入方法是使用输入系统的方法，所述输入系统构成为包含：指示设备；检测设备，检测所述指示设备的指示位置；显示单元，与所述检测设备分体设置，并且显示空间；及位置检测部，检测所述空间内的用户的视线位置，其中，1个或多个处理器执行如下步骤：基于在受理了所述指示设备的规定的操作的时间点由所述位置检测部检测出的所述视线位置，从所述空间之中设定包含所述指示设备的基准位置的指示对象区域的步骤；及以在所述空间上重叠地将所述指示设备的指示位置显示在所述指示对象区域内的方式控制所述显示单元的步骤。
13.发明效果
14.根据本发明，在检测指示设备的指示位置的检测设备与显示空间的显示单元分体设置的装置构成中，进一步提高了用户的输入操作性。
附图说明
15.图1是本发明的一个实施方式的输入系统的整体结构图。
16.图2是关于图1所示的输入系统的输入动作的流程图。
17.图3是表示在可穿戴设备显示的虚拟空间的一例的图。
18.图4是表示区域定义表所具有的数据构造的一例的图。
19.图5是表示落笔操作的前后的3d图像的转变的图。
20.图6是表示笔坐标系与虚拟坐标系之间的对应关系的图。
21.图7是表示抬笔操作的前后的3d图像的转变的图。
22.图8是表示笔坐标系与检测坐标系之间的对应关系的图。
23.图9是关于考虑了输入板的状态量的修正动作的示意图。
24.标号说明
25.10
…
输入系统，20
…
可穿戴设备，22
…
显示面板(显示单元)，23
…
视线传感器(位置检测部)，24
…
处理器，30
…
触控笔(指示设备)，40
…
输入板(检测设备)，50
…
虚拟空间(空间)，52
…
视线位置，72
…
基准位置，74
…
指示对象区域。
具体实施方式
26.以下，参照附图对本发明的实施方式进行说明。为了容易理解说明，在各附图中对相同的构成要素及步骤尽可能标注相同的标记，并且有时省略重复的说明。
27.[输入系统10的结构]
[0028]
图1是本发明的一个实施方式的输入系统10的整体结构图。该输入系统10是能够通过使用指示设备的书写操作来输入记述笔划的集合体的墨水数据的“数字墨水系统”。具体而言，输入系统10构成为包含作为显示设备的一个形态的可穿戴设备20、作为指示设备的一个形态的触控笔30、作为检测设备的一个形态的输入板40。
[0029]
可穿戴设备20是用户u可佩戴的便携式显示装置。具体而言，可穿戴设备20构成为包含壳体21、显示面板22(相当于“显示单元”)、视线传感器23(相当于“位置检测部”)、处理器24(相当于“处理器”)、通信模块25。
[0030]
壳体21具备保持各个电子部件的框架和将该框架固定于用户u的头部的固定构件。显示面板22能够显示图像或影像，例如，可以是液晶面板、有机el(electro-luminescence，电致发光)面板、电子纸等。视线传感器23例如由红外线传感器构成，检测与用户u的视线相关的物理量(例如，眼睛的移动)。
[0031]
处理器24由包含cpu(central processing unit，中央处理单元)、mpu(micro-processing unit，微处理单元)、gpu(graphics processing unit，图形处理单元)的处理运算装置构成。处理器24通过读出并执行存储在未图示的存储器中的程序，进行图像的显示控制、该显示控制所需的各种运算、数据的收发控制等。
[0032]
通信模块25是用于相对于外部装置收发电信号的通信接口。由此，可穿戴设备20
能够与触控笔30或输入板40之间进行各种数据的交换。
[0033]
触控笔30是构成为能够与输入板40之间在一个方向或双方向上通信的电子笔。电子笔的方式可以是电磁感应方式(emr)或主动静电耦合方式(aes)中的任一种。例如，在aes方式的情况下，触控笔30构成为包含笔压传感器31、惯性计测单元(inertial measurement unit；以下，称为第一imu32)、微型控制单元(micro control unit；以下，称为mcu33)、通信芯片34。
[0034]
笔压传感器31例如是捕捉由对笔尖的按压产生的静电电容的变化的、使用了可变电容器的压力传感器。通过该笔压传感器31，不仅能检测笔压，还能够检测包含触控笔30的落笔或抬笔的笔事件。
[0035]
第一imu32例如是组合3轴的陀螺传感器和3方向的加速度传感器而成的计测单元。由此，第一imu32构成为能够测定后述的笔坐标系60(参照图6及图8)上的表示本装置的状态或状态的时间变化的状态量。该状态量包含用于确定位置/姿势的各种物理量、例如位置、速度、加速度、跃度(jerk)、角度、角速度等。
[0036]
mcu33是包含能够控制触控笔30的动作的处理器的控制单元。例如，mcu33除了与触控笔30的指示位置的计算相关的各种运算之外，还进行包含该运算的结果的数据的收发控制等。
[0037]
通信芯片34是用于按照包括bluetooth(注册商标)在内的各种无线通信标准与外部装置之间进行无线通信的集成电路。由此，触控笔30能够经由通信芯片34与可穿戴设备20或输入板40之间进行各种数据的交换。
[0038]
输入板40是能够检测触控笔30的指示位置的装置，与有无显示功能无关。另外，也可以使用包括智能手机、个人计算机在内的各种检测设备来代替输入板40。用户u用单手把持触控笔30，一边将笔尖压靠在输入板40的触摸面41一边使其移动，由此能够将图画或文字写入可穿戴设备20的显示面。
[0039]
该输入板40构成为包含传感器电极42、触摸ic(integrated circuit，集成电路)43、cpu44、通信芯片45、第二imu46。根据需要，也可以省略第二imu46。
[0040]
传感器电极42是能够检测由于导体的接近或接触而产生的静电电容的变化的电极的集合体。静电电容的检测方式可以是互电容方式或自电容方式的任一种。例如，在互电容方式的情况下，该传感器电极42具备用于检测检测坐标系80(参照图8)的xd轴的位置的多个x线电极、用于检测yd轴的位置的多个y线电极。
[0041]
触摸ic43是进行传感器电极42的驱动控制的集成电路。触摸ic43基于从cpu44供给的控制信号驱动传感器电极42。由此，触摸ic43执行检测触控笔30的状态的“笔检测功能”、检测用户u的手指等的触摸的“触摸检测功能”。
[0042]
cpu44通过读出并执行存储在未图示的存储器中的程序，例如能够执行包括墨水数据的生成、数据的收发控制在内的各种功能。此外，也可以使用包含mpu、gpu的各种处理运算装置来代替cpu44。
[0043]
与通信芯片34同样，通信芯片45是用于按照包括bluetooth(注册商标)在内的各种通信标准与外部装置之间进行无线通信的集成电路。由此，输入板40能够经由通信芯片45与可穿戴设备20或触控笔30之间进行各种数据的交换。
[0044]
与第一imu32同样，第二imu46例如是组合3轴的陀螺传感器和3方向的加速度传感
器而成的计测单元。由此，第二imu46构成为能够测定后述的检测坐标系80(参照图8)上的与本装置的位置/姿势相关的状态量。
[0045]
[输入系统10的动作]
[0046]
本实施方式的输入系统10以上述方式构成。接着，参照图2的流程图及图3～图7对输入系统10的输入动作进行说明。
[0047]
＜基本动作＞
[0048]
在图2的步骤s1中，输入系统10以用户u能够视觉确认的方式显示虚拟空间50。具体而言，通过可穿戴设备20的处理器24对显示面板22进行显示控制，显示表示虚拟空间50的图像或影像。
[0049]
图3是表示显示在可穿戴设备20的虚拟空间50的一例的图。该虚拟空间50三维地表示架空的室内。在该室内，设置有包括天花板、地板、墙壁、壁橱等建造物和床、桌子、椅子等家具在内的各种物体。
[0050]
在图2的步骤s2中，输入系统10确认是否受理了触控笔30的落笔操作。具体而言，触控笔30的mcu33基于笔压传感器31的检测信号，判定笔压状态是否从“off”变化为“on”。在未检测到落笔操作的情况下(步骤s2：否)，在直到检测到该操作为止的期间，停留在步骤s1。另一方面，在检测到落笔操作的情况下(步骤s2：是)，进入下一步骤s3。此外，可穿戴设备20可以直接取得触控笔30的检测结果，也可以经由输入板40间接取得触控笔30的检测结果。
[0051]
在步骤s3中，输入系统10确定在步骤s2中检测到的落笔操作时用户u正在视觉确认的物体(以下，称为视觉确认物体)。首先，可穿戴设备20的处理器24在基于视线传感器23的检测信号检测到用户u的视线位置52后，确定位于该视线的前方的虚拟空间50内的物体。在确定视觉确认物体时，例如，处理器24也可以参照图4所示的区域定义表。
[0052]
图4是表示与图3的虚拟空间50相关的区域定义表所具有的数据构造的一例的图。该区域定义表是表示[1]作为位于虚拟空间50内的物体的识别信息的“物体id”、[2]物体占有的“占有范围”、[3]物体面构成的坐标系的“基矢量”、[4]表示坐标系的原点的“基准坐标”之间的对应关系的表格形式的数据。
[0053]
首先，处理器24基于视线传感器23的检测信号检测用户u的视线位置52，计算虚拟空间50上的视线矢量。然后，处理器24参照图4所示的区域定义表，判定该视线矢量是否和与各个物体建立了对应的占有范围交叉。在存在相应的物体的情况下，确定为该物体是“视觉确认物体”。此外，在图4的示例中，针对每个物体分配id，但也可以对具有多个面的物体针对物体的每个面分配id。
[0054]
在图2的步骤s4中，输入系统10(更详细而言，是处理器24)判定在步骤s3中确定的视觉确认物体是否与上次确定的视觉确认物体相同。在为相同的视觉确认物体的情况下(步骤s4：是)，进入步骤s5，另一方面，在为不同的视觉确认物体的情况下(步骤s4：否)，进入步骤s6。
[0055]
在进入步骤s5的情况下，输入系统10(更详细而言，是处理器24)设定在步骤s3中确定的视觉确认物体、即与本次的视线对应的指示对象区域74(图6)。具体而言，处理器24参照图4的区域定义表，设定虚拟坐标系70(图6)中的平面状的指示对象区域74。例如，在视觉确认物体的id＝ob0001的情况下，处理器24将坐标值为(xv1，yv1，zv1)的基准位置72(图
6)设定为指示对象区域74的“中心点”，将2个基矢量(ex1
↑
，ey1
↑
)设定为指示对象区域74的“平面矢量”，将剩余的1个基矢量ez1
↑
设定为指示对象区域74的“法线矢量”。
[0056]
在进入步骤s6的情况下，输入系统10(更详细而言，是处理器24)设定与上次的流程图执行时的步骤s5或s6、即上次的情况相同的指示对象区域74。与此同时，处理器24显示以指示对象区域74成为正面的方式切换了视点的虚拟空间50。
[0057]
图5是表示落笔操作的前后的3d图像50a、50b的转变的图。更详细而言，上侧的图表示落笔操作前的3d图像50a，下侧的图表示落笔操作后的3d图像50b。例如，当在用户u的视线位置52处于壁橱的门的状态下进行落笔操作时，3d图像50a转变为3d图像50b。该3d图像50b相当于以壁橱的门(即，指示对象区域74)成为正面的方式切换了视点的二维图像。
[0058]
在图2的步骤s7中，输入系统10跟随用户u的笔移动操作，进行虚拟空间50上的描绘处理。首先，触控笔30在将落笔操作时的本装置的位置设定为笔坐标系60的原点op后，依次取得由第一imu32测定的状态量。然后，可穿戴设备20从触控笔30直接取得包含该状态量的数据。或者，可穿戴设备20也可以经由输入板40从触控笔30间接取得该数据。
[0059]
然后，处理器24按照规定的转换规则转换触控笔30的状态量，并将转换后的状态量依次相加，由此计算虚拟空间50上的指示位置。以下，参照图6对使用移动量的时间序列来计算虚拟坐标系70上的指示位置的示例进行说明。
[0060]
图6上侧的笔坐标系60是由xp轴、yp轴、zp轴构成的三维正交坐标系，由触控笔30独自定义。例如，在触控笔30的落笔位置62是原点op的情况下，m
↑
(t)表示第t个时间点的笔坐标系60上的触控笔30的移动量(三维矢量)。
[0061]
另一方面，图6下侧的虚拟坐标系70是由xv轴、yv轴、zv轴构成的三维正交坐标系，由可穿戴设备20独自定义。在此，由虚线表示的四边形状的区域相当于以基准位置72为基准设定的指示对象区域74。当第t个时间点的虚拟坐标系70上的指示位置为pv(t)时，pv(t)按照pv(t)＝pv(t-1) a
·m↑
(t)依次计算。
[0062]
在此，a相当于用于从笔坐标系60转换到虚拟坐标系70的仿射矩阵(3行
×
3列)。如果笔坐标系60及虚拟坐标系70是已知的，则该仿射矩阵a唯一地确定。例如，仿射矩阵a可以与物体或物体面建立了对应地预先存储，也可以在每次设定指示对象区域74时计算。
[0063]
然后，处理器24以针对当前显示的虚拟空间50在计算出的指示位置重叠显示标记的方式控制显示面板22。通过依次执行该动作，在虚拟空间50上重叠显示点等标记的轨迹(即，笔划)。
[0064]
在图2的步骤s8中，输入系统10确认是否检测到抬笔操作。具体而言，触控笔30的mcu33基于笔压传感器31的检测信号，判定笔压状态是否从“on”变化为“off”。在未检测到抬笔操作的情况下(步骤s8：否)，在直到检测到该操作为止的期间，依次重复步骤s7、s8。另一方面，在检测到抬笔操作的情况下(步骤s8：是)，进入下一步骤s9。
[0065]
在步骤s9中，输入系统10(更详细而言，是处理器24)解除从执行步骤s5、s6时设定的指示对象区域74。与此同时，处理器24显示使视点复原的虚拟空间50。
[0066]
图7是表示抬笔操作的前后的3d图像50c、50d的转变的图。更详细而言，上侧的图表示抬笔操作前的3d图像50c，下侧的图表示抬笔操作后的3d图像50d。例如，当在1次笔划结束的状态下进行抬笔操作时，则3d图像50c转变为3d图像50d。该3d图像50d相当于在图5的3d图像50a上书写了1条笔划的图像。
[0067]
之后，返回步骤s1，以下，依次执行步骤s1～s9中的任一个。这样，通过持续输入系统10的动作，用户u能够获得好像在虚拟空间50内留下书写这样的模拟体验。
[0068]
＜基本动作的效果＞
[0069]
如上所述，该实施方式的输入系统10构成为包含：触控笔30；输入板40，检测触控笔30的指示位置；显示面板22，与输入板40分体设置，并且显示空间(在此，为虚拟空间50)；视线传感器23，检测虚拟空间50内的用户u的视线位置52；及1个或多个处理器(在此，为处理器24)。而且，处理器24基于在受理了触控笔30的规定的操作的时间点由视线传感器23检测出的视线位置52，从虚拟空间50中设定包含触控笔30的基准位置72的指示对象区域74(图2的步骤s5、s6)，并以在虚拟空间50上重叠地将触控笔30的指示位置显示在指示对象区域74内的方式控制显示面板22(图2的步骤s7)。
[0070]
这样，基于检测出的视线位置52，从虚拟空间50中设定包含触控笔30的基准位置72的指示对象区域74，因此能够在当前时间点的用户u的视线的前方、即更接近要进行书写的用户u的意图的部位显示指示位置。由此，在检测触控笔30的指示位置的输入板40与显示虚拟空间50的显示面板22分体设置的装置构成中，用户u的输入操作性进一步提高。
[0071]
特别是，在上述的确定的操作是将触控笔30的笔尖压靠在触摸面41的“落笔操作”的情况下，由于不需要以进行通常的书写操作的感觉来进行特别的操作，因此对用户u来说，使用便利性进一步提高。
[0072]
另外，指示对象区域74也可以针对位于虚拟空间50内的每个物体或每个物体面设定。由此，用户u能够获得好像选择位于虚拟空间50内的物体而留下书写这样的感觉，相应地，模拟体验的现实感增加。
[0073]
另外，处理器24也可以在上次的视线位置52与本次的视线位置52位于同一物体上或物体面上的情况下，设定与上次设定的情况相同的基准位置72及指示对象区域74。由此，容易反映想要在同一物体或物体面上继续书写的用户u的意图。
[0074]
与此相反，在上次的视线位置52与本次的视线位置52位于不同的物体上或物体面上的情况下，处理器24也可以设定与上次设定的情况不同的基准位置72及指示对象区域74。由此，容易反映表示作为关注对象的物体或物体面被变更的用户u的意图。
[0075]
另外，在设定了指示对象区域74的情况下，处理器24也可以切换到指示对象区域74成为正面的视点而显示虚拟空间50。由此，用户u容易进行书写操作。
[0076]
另外，触控笔30或输入板40也可以从受理了规定的操作的时间点起，依次输出触控笔30的移动量，处理器24按照规定的转换规则转换触控笔30的移动量，将转换后的移动量依次加到基准位置72的坐标值中，从而计算虚拟空间50上的指示位置。通过采用处理器24计算虚拟空间50上的指示位置的结构，能够减轻触控笔30的运算处理的负荷。
[0077]
[触控笔30的状态修正]
[0078]
＜基本动作的问题点＞
[0079]
在上述的基本动作中，设想输入板40不移动而配置成水平状态。然而，在输入板40的位置/姿势随时间变化的情况下，有时在虚拟空间50上不能正确地书写。
[0080]
图8是表示笔坐标系60与检测坐标系80之间的对应关系的图。附图上侧的笔坐标系60是由xp轴、yp轴、zp轴构成的三维正交坐标系，由触控笔30独自定义。另一方面，附图下侧的检测坐标系80是由xd轴、yd轴、zd轴构成的三维正交坐标系，由输入板40独自定义。在
此，由虚线表示的四边形状的区域相当于触摸面41构成的区域。
[0081]
在输入板40配置成理想状态(例如，水平状态)的情况下，xp-yp平面相对于xd-yd平面平行。即，在用户u进行书写(笔移动操作)期间，触控笔30沿水平方向移动。然而，在输入板40在水平面倾斜配置的情况下，在用户u进行书写期间，触控笔30沿倾斜的触摸面41(xd-yd平面)移动。即，发生与理想的配置状态的背离，可穿戴设备20执行的仿射转换处理与实际的举动不相符。因此，通过使用输入板40的状态量来修正触控笔30的状态量，能够解决上述的问题。
[0082]
＜修正动作的说明＞
[0083]
图9是关于考虑了输入板40的状态的修正动作的示意图。仅标记可穿戴设备20、触控笔30以及输入板40中的主要的结构。以下，将触控笔30使用第一imu32计测的本装置的状态量称为“第一状态量”，将输入板40使用第二imu46计测的本装置的状态量称为“第二状态量”。
[0084]
触控笔30的mcu33依次取得由第一imu32在第一周期t1计测的第一状态量。然后，mcu33在对该第一状态量、最近取得的第二状态量进行汇总后，进行将包含笔压传感器31的笔压的检测结果及已汇总的状态量的数据(以下，称为“第一数据”)发送到可穿戴设备20的控制。在此，所谓“汇总”，是指获得从第一状态量减去第二状态量后所得的相对状态量、或者将第一状态量和第二状态量连结。以下，将触控笔30与可穿戴设备20之间的通信称为“第一通信”。
[0085]
另一方面，触控笔30的mcu33进行从输入板40接收包含第二状态量的数据(以下，称为“第二数据”)的控制。该第二状态量由输入板40的第二mcu46在第二周期t2依次计测。以下，将触控笔30与输入板40之间的通信称为“第二通信”。在收发第二状态量时，例如，使用按照bluetooth(注册商标)等的通信标准安装的中继通信功能。
[0086]
然而，由于进行书写侧的触控笔30被用户u频繁地移动，因此状态的时间变化相对大。与此相对，被书写侧的输入板40几乎不被用户u移动，因此状态的时间变化相对小。即，认为即使降低第二状态量的更新频度，也能够充分得到修正的效果。因此，通过使第二通信的执行频度与第一通信的执行频度相比相对地降低，能够相应地削减通信次数，其结果是，能够节约消耗电力。
[0087]
具体而言，在第一通信及第二通信同步地进行的情况下，也可以将每单位时间的通信次数设定为n：1(n是2以上的整数)。或者，在第一通信及第二通信非同步地进行的情况下，也可以以满足t1《t2的关系的方式分别设定第一、第二通信的执行周期即t1、t2。
[0088]
可穿戴设备20的处理器24使用修正后的状态量，计算虚拟空间50上的指示位置。处理器24在取得了包含相对状态量的第一数据的情况下，直接使用该相对状态量计算指示位置。另一方面，处理器24在取得了包含第一状态量及第二状态量的对的第一数据的情况下，使用从第一状态量减去第二状态量后所得的相对状态量计算指示位置。
[0089]
如上所述，该实施方式的输入系统10构成为包含：触控笔30；输入板40，检测触控笔30的指示位置；及1个或多个处理器24。触控笔30及输入板40能够相互通信，触控笔30能够计测表示本装置的状态或状态的时间变化的第一状态量，输入板40能够计测表示本装置的状态或状态的时间变化的第二移动量。而且，触控笔30通过第二通信从输入板40接收包含第二状态量的第二数据，并且通过第一通信将汇总了第一状态量及第二状态量的第一数
据发送到处理器24。
[0090]
另外，汇总可以是从第一状态量减去第二状态量而计算相对状态量或将第一状态量和第二状态量连结。另外，第二通信也可以是不与处理器24之间进行的、使用与第一通信不同的方式的通信(例如，中继通信)。另外，第二通信的执行频度可以比第一通信的执行频度低。
[0091]
[变形例]
[0092]
此外，本发明不限于上述的具体例。即，在上述的具体例中，本领域技术人员能够适当地施加设计变更，只要具备本发明的特征，就包含在本发明的范围内。另外，上述的实施方式及后述的变形例所具备的各要素只要在技术上可行，就能够进行组合，将这些要素组合后只要包含本发明的特征，则也包含在本发明的范围内。
[0093]
在上述的实施方式中，以可穿戴设备20显示使用了虚拟现实(vr)技术的虚拟现实空间为例进行了说明，取而代之，也可以显示使用了增强现实(ar)技术或复合现实(mr)技术的空间。例如，在ar技术的情况下，在取得与位于真实空间的物体相关的各种信息后，可以预先创建图4所示的区域定义表。
[0094]
在上述的实施方式中，处理器24以落笔操作为契机来设定指示对象区域74，但也可以以除此以外的操作，例如触控笔30所具有的侧开关的操作为契机。另外，在上述的实施方式中，处理器24以落笔操作/抬笔操作为契机进行切换虚拟空间50的视点的显示控制，取而代之，也可以进行不切换视点的显示控制。