图像投射系统的控制方法和图像投射系统与流程

1.本公开涉及图像投射系统的控制方法和图像投射系统。


背景技术：

2.在将图像投射到不是单纯平面的投射面、例如具有三维形状的投射面的情况下，根据观察者的视点位置，有时会观察到图像大幅变形。例如，在专利文献1中公开了如下技术：为了能够从规定的视点位置观察到没有变形的图像，通过三维计测技术计测投射面的形状，将根据计测结果校正后的投射图像投射到投射面上。作为计测投射面的三维形状的三维计测技术的一例，可以举出专利文献2所公开的技术。
3.专利文献1：日本特开2019
‑
139030号公报
4.专利文献2：日本特开2018
‑
181271号公报
5.现有的三维计测技术的计测结果中包含噪声。即使根据包含噪声而计测的投射面的三维形状进行投射图像的变形校正，也存在不能进行充分校正的问题。


技术实现要素：

6.为了解决上述问题，本公开的图像投射系统的控制方法包含：根据作为被投射图像的投射面的形状的三维计测结果的计测信息，估计通过将所述投射面分割为n个而得到的n个区域各自的法线向量，计算作为所述n个法线向量的平均的平均法线向量，计算第1向量，该第1向量沿着表示向量的3轴分量中的、在所述n个法线向量中方差程度最大的分量所对应的轴，估计基准面，该基准面将所述第1向量和所述平均法线向量的外积作为法线向量，估计假想投射面，该假想投射面是基于通过将所述计测信息所表示的所述投射面的三维形状投影到所述基准面而得到的投影结果的面，并且是与所述基准面垂直的面，根据所述假想投射面生成对图像进行校正的校正信息，根据所述校正信息对投射图像进行校正，将校正后的所述投射图像投射到所述投射面。另外，n是2以上的整数。
7.此外，为了解决上述问题，本公开的图像投射系统包含：校正装置，其根据作为被投射图像的投射面的形状的三维计测结果的计测信息，估计通过将所述投射面分割为n个而得到的n个区域各自的法线向量，计算作为所述n个法线向量的平均的平均法线向量，计算第1向量，该第1向量沿着表示向量的3轴分量中的、在所述n个法线向量中方差程度最大的分量所对应的轴，估计基准面，该基准面将所述第1向量和所述平均法线向量的外积作为法线向量，估计假想投射面，该假想投射面是基于通过将所述计测信息所表示的所述投射面的三维形状投影到所述基准面而得到的投影结果的面，并且是与所述基准面垂直的面，根据所述假想投射面生成对图像进行校正的校正信息，并根据所述校正信息对投射图像进行校正；以及投射装置，其将由所述校正装置校正后的所述投射图像投射到所述投射面。在本图像投射系统中，n也是2以上的整数。
附图说明
8.图1是表示本公开第1实施方式的投影仪100的结构例的框图。
9.图2是表示用于测量投射面sp的三维形状的图案图像ip的一例的图。
10.图3是表示进行变形校正时的投影仪100的动作流程的流程图。
11.图4是表示进行变形校正时的投影仪100的动作流程的流程图。
12.图5是表示从上方观察到的铅直地配设的投射面sp的俯视图的一例的图。
13.图6是表示由摄像部17拍摄的拍摄图像ic的一例的图。
14.图7是表示投射面sp的形状的三维计测结果的一例的图。
15.图8是表示进行变形校正时的投影仪100所执行的假想投射面设定处理流程的流程图。
16.图9是表示在假想投射面设定处理中投影仪100所计算的法线向量组的一例的图。
17.图10是表示在假想投射面设定处理中估计的假想投射面的一例的图。
18.图11是表示校正信息生成部18生成的二维展开图pd的一例的图。
19.图12是表示在二维展开图pd上设定的图像区域as的一例的图。
20.图13是表示通过本公开第2实施方式的控制方法投射在投射面上的图像的一例的图。
21.图14是表示通过本公开第3实施方式的控制方法投射在投射面上的图像的一例的图。
22.标号说明
23.10：控制部；11：存储部；12：输入操作部；13：图像信息输入部；14：图像信息校正部；15：图像投射部；16：测量部；17：摄像部；18：校正信息生成部；21：光源；22r、22g、22b：液晶光阀；23：投射镜头；24：光阀驱动部；100：投影仪；as：图像区域；b1、b2：块；c1：基准点；c2：基准点；dp：图案图像数据；ic：拍摄图像；ip：图案图像；n：角部；pd：二维展开图；sp：投射面；uw、uk：单位图案；w1、w2：平面。
具体实施方式
24.以下，参照附图对本公开的实施方式进行说明。在以下叙述的实施方式中附加了技术上优选的各种限定。然而，本公开的实施方式不限于以下叙述的方式。
25.1.第1实施方式
26.图1是表示作为本公开的图像投射系统的第1实施方式的投影仪100的结构例的框图。如图1所示，投影仪100具有控制部10、存储部11、输入操作部12、图像信息输入部13、图像信息校正部14、图像投射部15、测量部16以及校正信息生成部18。投影仪100根据输入到图像信息输入部13的图像信息，从图像投射部15向投射面sp投射图像。
27.本实施方式的投影仪100能够校正在不是单纯的平面的投射面sp上投射图像时产生的图像的变形，具体而言，能够校正在三维形状的投射面sp上投射图像时产生的图像的变形。更详细地说，投影仪100将图2所示的图案图像ip从图像投射部15投射到投射面sp，由测量部16测量投射面sp的三维形状。并且，投影仪100生成用于对图像进行校正的校正信息，使得以在该三维形状的投射面sp粘贴矩形的纸那样的形状投射图像。然后，投影仪100对本来应显示的图像(即、在校正了变形的状态下应显示的图像)实施基于校正信息的校正
处理，并将处理后的图像投射到投射面sp。以下，将在校正了变形的状态下应显示的图像称为显示图像。
28.控制部10构成为具有一个或多个处理器。控制部10通过按照存储在存储部11中的控制程序进行动作来统一控制投影仪100的动作。
29.存储部11具有作为易失性存储器的ram(random access memory：随机存取存储器)和作为非易失性存储器的rom(read only memory：只读存储器)。ram用于临时存储各种数据等。rom存储用于控制投影仪100的动作的控制程序以及控制数据等。在本实施方式的存储部11中，存储有与用于测量投射面sp的三维形状的图案图像ip对应的图像数据。以下，将与图案图像ip对应的图像数据称为图案图像数据dp。另外，存储部11也可以存储显示图像用的图像数据。
30.输入操作部12具有用户用来对投影仪100进行各种指示的多个操作键。作为输入操作部12所具有的操作键的一例，可以举出电源键、菜单键和方向键。电源键是用于切换电源的接通和断开的操作键。菜单键是显示用于进行各种设定的设定菜单的操作键。方向键是用于选择设定菜单的项目的操作键。当用户操作输入操作部12的各种操作键时，输入操作部12向控制部10输出与用户的操作内容对应的操作信号。由此，用户的操作内容被传递到控制部10。另外，也可以构成为将能够进行远程操作的未图示的遥控器用作输入操作部12。在该情况下，遥控器发送与用户的操作内容对应的红外线的操作信号，未图示的遥控器信号接收部接收该信号，并将接收到的操作信号输出到控制部10。
31.图像信息输入部13与计算机、图像再现装置等未图示的外部图像供给装置连接，从图像供给装置接受显示图像用的图像信息的供给。另外，图像信息输入部13能够从控制部10接受存储部11所存储的图像信息的供给。作为从控制部10供给到图像信息输入部13的图像信息的具体例，可以举出图案图像数据dp和显示图像用的图像数据。图像信息输入部13基于控制部10的控制，根据需要对从图像供给装置或控制部10供给的图像信息实施各种处理，并将处理后的图像信息输出到图像信息校正部14。作为图像信息输入部13对图像信息实施的处理的具体例，可以举出分辨率转换处理和图像质量调整处理。
32.图像信息校正部14基于控制部10的控制，校正由投射面sp的三维形状等引起的图像的变形。具体而言，图像信息校正部14针对从图像信息输入部13输入的图像信息，实施基于从控制部10输入的校正信息的校正处理，并将作为处理后的图像信息的校正图像信息输出到图像投射部15的光阀驱动部24。
33.图像投射部15具有：光源21；作为光调制装置的3个液晶光阀22r、22g和22b；作为投射光学系统的投射镜头23；以及光阀驱动部24。图像投射部15利用液晶光阀22r、22g和22b对从光源21射出的光进行调制而形成图像光，并从投射镜头23投射该图像光而在投射面sp上显示图像。图像投射部15是本公开的投射装置的一例。
34.光源21包含超高压水银灯、金属卤化物灯等放电型的光源灯或者发光二极管、半导体激光器等固体光源而构成。从光源21射出的光被未图示的集成光学系统转换为亮度分布基本均匀的光，并被未图示的色分离光学系统分离为作为光的3原色的红色、绿色和蓝色的各色光成分。红色的光成分入射到液晶光阀22r，绿色的光成分入射到液晶光阀22g，蓝色的光成分入射到液晶光阀22b。
35.液晶光阀22r、22g和22b分别由在一对透明基板之间封入了液晶的透射型的液晶
面板等构成。在各液晶面板中，形成有由排列成矩阵状的多个像素构成的矩形的图像形成区域ai，能够按每个像素对液晶施加驱动电压。
36.光阀驱动部24在液晶光阀22r、22g和22b各自的图像形成区域ai中形成图像。具体而言，光阀驱动部24对图像形成区域ai的各像素施加与从图像信息校正部14输入的图像信息对应的驱动电压，将各像素设定为与图像信息对应的光透射率。从光源21射出的光透过液晶光阀22r、22g和22b的图像形成区域ai，由此按照每个像素被调制，按照每个色光形成与图像信息对应的图像光。所形成的各色的图像光被未图示的色合成光学系统按每个像素合成而成为表示彩色图像的图像光，并被投射镜头23放大投射到投射面sp。其结果，在投射面sp上，显示基于图像信息的图像。
37.测量部16按照控制部10的控制进行动作，测量投射面sp的三维形状。测量部16具有用于拍摄图案图像ip的摄像部17。摄像部17是具有ccd(charge coupled device：电荷耦合器件)传感器或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)传感器等摄像元件的照相机。另外，在图1中，省略了摄像元件的图示。摄像部17对从图像投射部15投射到投射面sp的图案图像ip进行拍摄，生成表示拍摄图像的拍摄图像信息。摄像部17是本公开的摄像装置的一例。
38.测量部16根据由摄像部17生成的拍摄图像信息，测量投射面sp的三维形状。具体而言，测量部16从基于拍摄图像信息的图像、即摄像部17的拍摄图像所包含的图案图像ip中检测多个基准点，导出各基准点的三维坐标。测量部16是根据本公开的测量装置的一例。测量部16将所导出的各基准点的三维坐标作为测量结果输出到校正信息生成部18。
39.校正信息生成部18按照控制部10的控制进行动作，根据测量部16的测量结果，生成用于校正与投射面sp的三维形状对应的图像变形的校正信息。校正信息生成部18将所生成的校正信息输出到控制部10。校正信息生成部18和图像信息校正部14是本公开的校正装置的一例。
40.图像信息输入部13、图像信息校正部14、测量部16以及校正信息生成部18可以由一个或多个处理器等构成，也可以由asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)等专用的处理装置构成。
41.图2是表示用于测量投射面sp的三维形状的图案图像ip的一例的图。图案图像ip是在图像形成区域ai中形成的矩形图像。如图2所示，图案图像ip是将白色的单位图案uw和黑色的单位图案uk排列成15
×
11的矩阵状而得的图像。所有的单位图案uw和单位图案uk是全等的矩形，在图案图像ip中，以同色的单位图案在上下左右不相邻的方式，单位图案uw和单位图案uk配置成方格花纹状。
42.测量部16根据由摄像部17拍摄的图案图像ip，检测白色的单位图案uw的顶点、即单位图案uw的角部作为基准点c1。在矩形的图案图像ip内，基准点c1配置成16
×
12的矩阵状。这里，图案图像ip也可以视为由各单位图案uw和各单位图案uk的轮廓线构成的格子状的图像。此时，图案图像ip包含多个平行的直线即横线、和与其垂直的多个平行的直线即纵线而构成，它们的交点、即格子的交点为基准点c1。与上述多个横线平行的轴是本公开的第1轴的一例，与上述多个纵线平行的轴是本公开的第2轴的一例。以下，有时将第1轴称为横轴，将第2轴称为纵轴。在矩形的图案图像ip内，沿着纵轴的格子间隔、即沿着基准点c1的纵
轴的间隔为等间隔，沿着横轴的格子间隔、即沿着基准点c1的横轴的间隔也为等间隔。另外，格子的角度、即纵线和横线所成的角度是直角。另外，有时将与单位图案uw以及单位图案uk对应的区域(即，以在纵向、横向、斜向上相邻的4个基准点c1为顶点的矩形区域)称为块b1。
43.接着，对投影仪100的动作进行说明。
44.图3和图4是表示进行变形校正时的投影仪100的动作流程、即本公开的图像投射系统的控制方法流程的流程图。当用户操作投影仪100的输入操作部12来指示变形校正的开始时，投影仪100的控制部10按照图3所示的流程图进行动作。
45.在图3的步骤s101中，控制部10使图像投射部15投射图2所示的图案图像ip。具体地说，控制部10从存储部11中读出图案图像数据dp，并将读出的图案图像数据dp输出到图像信息输入部13。此外，控制部10指示图像信息校正部14不进行校正处理。其结果，在图像形成区域ai的整个区域形成图案图像ip，图案图像ip被投射到投射面sp。在投射面sp不是平面的情况下，图案图像ip在投射面sp上被变形显示。
46.在步骤s102中，控制部10对测量部16进行指示，使摄像部17对投射到投射面sp的图案图像ip进行拍摄。
47.例如，如图5所示，假设作为两个壁面的平面w1和平面w2彼此以直角相交，并且图像被投射到包含当从图像投射部15观察时在深度方向上凹进的角部n的范围上。图5是从上方观察到的铅直地配设的投射面sp的俯视图，在图5所示的例子中，呈直角相交的平面w1和平面w2这2个平面成为投射面sp。该情况下，越是靠近角部n的位置，从图像投射部15到投射面sp的距离越长。图6是表示由摄像部17拍摄到的拍摄图像ic的图。如图6所示，从图像投射部15投射到投射面sp的图案图像ip以越是接近角部n的位置越被较大程度地放大的方式被变形投射，这样变形显示的图案图像ip被拍摄部17拍摄为拍摄图像ic。
48.返回图3，在步骤s103中，控制部10对测量部16进行指示，使测量部16根据由摄像部17拍摄到的拍摄图像ic，测量投射面sp的三维形状。测量部16在接收到来自控制部10的指示时，从拍摄图像ic所包含的图案图像ip中检测多个基准点c1。在此，矩形的图案图像ip中的各基准点c1的坐标是已知的，被预先存储在存储部11中。以下，将存储在存储部11中的各基准点c1的坐标称为基准坐标。测量部16利用三角测量的原理，根据检测出的基准点c1的坐标(即、拍摄图像ic中的基准点c1的坐标)与存储部11中存储的基准坐标的对应关系，导出投射面sp上的基准点c1的三维坐标。测量部16例如能够求出以摄像部17中的未图示的摄像镜头的主点为原点的三维坐标。通过该三维坐标，能够识别投射面sp的三维形状和投射面sp上的图像的变形。在步骤s103中计算的投射面sp上的基准点c1的三维坐标是投射面sp的形状的三维计测结果，是本公开的计测信息的一例。
49.例如，作为投射面sp的形状，假设如图7所示那样，计测形状如屏风那样在单轴方向上移位的三维形状。在三维计测中，实质上不可能将噪声抑制为无限小。如果参照图7，则能够确认：投射图案在投射面sp未良好地散射而无法取得充分的信号等，由此发生了明显突出的深度错误、较大的计测不良区域、由微小的计测不良造成的三维形状的变形等。
50.返回图3，在步骤s104中，控制部10指示校正信息生成部18，使校正信息生成部18根据导出的基准点c1的三维坐标，生成用于校正由投射面sp的三维形状引起的变形的校正信息。校正信息生成部18在接收到该指示后，按照图4所示的流程进行动作，开始校正信息
的生成。
51.如图4所示，在步骤s110中，校正信息生成部18执行假想投射面设定处理。在自动进行图像的变形校正的情况下，如果作为校正前提的投射面sp的三维形状的计测精度不充分，则不能进行所希望的变形校正。如果不能将噪声抑制为无限小，则通过某种手段进行补偿是比较重要的。在步骤s110中执行的假想投射面设定处理是对投射面sp的三维形状的计测结果中包含的噪声进行补偿的处理。在假想投射面设定处理中，校正信息生成部18基于由测量部16导出的基准点c1的三维坐标，设定将投射面sp的形状的三维计测结果中包含的噪声的至少一部分去除后的假想投射面。
52.图8是表示在步骤s110中校正信息生成部18执行的假想投射面设定处理的处理内容的流程图。如图8所示，假想投射面设定处理包含第1估计处理sa110、计算处理sa120、第2估计处理sa130以及第3估计处理sa140。如图8所示，校正信息生成部18首先执行第1估计处理sa110。在第1估计处理sa110中，校正信息生成部18基于由测量部16导出的基准点c1的三维坐标，对将投射面sp分割为n个而得到的每个单位单元估计法线向量。n是2以上的整数。例如，在将投射面sp沿纵向分割为32个、并且沿横向分割为20个的情况下，n＝32
×
20＝640。在n＝640的情况下，校正信息生成部18针对640个单位单元的每一个估计法线向量。其结果，得到640个法线向量。以下，将通过第1估计处理sa110计算的n个法线向量称为法线向量组。
53.在第1估计处理sa110后续的计算处理sa120中，校正信息生成部18根据法线向量组计算两个基准向量，该两个基准向量限定出作为估计假想投射面时的基准的基准面。作为两个基准向量中的一个的第1基准向量是通过对表示向量的三轴的各个分量计算法线向量组的算术平均而得到的平均法线向量。作为两个基准向量中的另一个的第2基准向量是沿着表示向量的3轴分量中的、在法线向量组中方差程度最大的分量所对应的轴的向量。第2基准向量是本公开的第1向量的一例。
54.在本实施方式中，校正信息生成部18进行针对法线向量组的主成分分析，根据仅着眼于第1主成分而得到的修正法线向量组，计算第2基准向量。主成分分析是多变量分析方法之一，是将由多变量构成的数据降维成方差最大化分量的方法。第1主成分是指通过主成分分析得到的第1固有向量。例如，对根据图7所示的三维形状的计测结果而估计的法线向量组实施主成分分析，由此求出图9所示的修正法线向量组。通过对在三维上具有方差的法线向量组实施主成分分析，能够使该法线向量组简并为仅关注方差最大的一维成分的修正法线向量组，该修正法线向量组的算术平均成为第2基准向量。第1基准向量的计算和第2基准向量的计算可以同时并行执行，也可以在一方的执行后执行另一方。计算第1基准向量的处理是本公开的第1计算处理的一例，计算第2基准向量的处理是本公开的第2计算处理的一例。即，本实施方式中的计算处理sa120与本公开的第1计算处理以及第2计算处理对应。
55.在计算处理sa120后续的第2估计处理sa130中，校正信息生成部18根据第1基准向量和第2基准向量估计基准面。更具体地说，校正信息生成部18将以第1基准向量和第2基准向量的外积为法线向量的面估计为基准面。另外，两个向量的外积也称为向量积。
56.在第2估计处理sa130后续的第3估计处理sa140中，校正信息生成部18首先将计测信息表示的各点投影到基准面上。接着，校正信息生成部18对计测信息所示的各点向基准
面的投影结果、即投影在基准面上的点的集合，实施使其在与基准面的法线向量以及第2基准向量两者相交的方向上简并为一条线的滤波处理。作为该滤波处理的具体例，可以举出使用了高斯滤波的滤波处理。然后，校正信息生成部18将通过上述滤波处理而简并的线沿着基准面的法线向量延长，由此估计假想投射面。在第3估计处理sa140中，通过将计测信息所示的各点投影到基准面上，去除与基准面的法线向量的方向对应的成分的噪声。另外，通过对计测信息所示的各点向基准面的投影结果实施基于高斯滤波等的滤波处理，去除与基准面的法线向量以及第2基准向量两者相交的方向对应的成分的噪声。图10是表示根据图7所示的投射面sp的三维计测结果估计的假想投射面的一例的图。
57.以上是本实施方式中的假想投射面设定处理的处理内容。
58.返回图4，在步骤s111中，校正信息生成部18生成将在步骤s110的假想投射面设定处理中设定的假想投射面展开在单一平面上的二维展开图。例如，如图5所示，假设呈直角相交的平面w1和平面w2这2个平面在假想投射面设定处理中被设定为假想投射面。图11是表示校正信息生成部18对上述假想投射面生成的二维展开图pd的一例的图。如图11所示，二维展开图pd是表示被投射了图案图像ip的假想投射面上的基准点c1的位置关系的假想图，表示假想投射面上的图案图像ip的变形。在图11中，为了方便，沿着纵轴和横轴相邻的基准点c1彼此以直线连接。即，二维展开图pd构成为包含与图案图像ip的单位图案uw以及单位图案uk对应的多个矩形的块b1，各块b1的顶点是基准点c1。而且，在二维展开图pd上，各块b1的边的长度、即相邻的基准点c1间的距离与假想投射面上的对应的单位图案uw以及单位图案uk的边的长度相等。另外，二维展开图pd上的各块b1的顶点的角度与假想投射面上的对应的单位图案uw以及单位图案uk的顶点的角度相等。
59.接着，在步骤s112中，校正信息生成部18在所生成的二维展开图pd上，设定用于形成显示图像的图像区域。图像区域是显示图像的本来形状、即与图像形成区域ai相似的矩形的区域。图像区域的位置和大小优选设定为图像区域不超出二维展开图pd且图像区域尽可能大。
60.图12是表示在二维展开图pd上设定的图像区域as的图。图像区域as是显示图像的本来形状、即与图像形成区域ai相似的矩形的区域，其位置和大小被决定为不超出二维展开图pd且尽可能大。在图12中，为了方便，在图像区域as中描绘有与图案图像ip对应的格子花纹，由格子划分成的矩形的块b2与矩形的图案图像ip的块b1对应。此外，图像区域as中的沿着纵轴以及横轴的各轴的格子间隔与图案图像ip同样地分别为等间隔，格子的角度是直角。此外，图像区域as中的格子的交点是与图案图像ip中的基准点c1对应的基准点c2，以后，有时将基准点c1称为第1基准点c1，将基准点c2称为第2基准点c2。这样，校正信息生成部18在设定于二维展开图pd上的图像区域as中，将多个第2基准点c2配置成矩阵状。
61.返回图4，在步骤s113中，校正信息生成部18进行将二维展开图pd上的第2基准点c2的坐标转换为与图像形成区域ai对应的矩形的图像上的坐标的坐标转换处理。以下，将与图像形成区域ai对应的矩形图像也称为基本图像。更详细地说明的话，校正信息生成部18根据矩形的图案图像ip上的第1基准点c1的坐标与二维展开图pd上的第1基准点c1的坐标的对应关系，导出将配置有第2基准点c2的二维展开图pd变形为基本图像的形状、即矩形时的第2基准点c2的坐标。包含第2基准点c2的图像区域as通过上述的坐标转换处理被变形地配置在基本图像上。这里，基本图像上的第2基准点c2相当于将配置在二维展开图pd上的
第2基准点c2重新配置在假想投射面上并从图像投射部15的位置观察时的图像。
62.接着，在步骤s114中，校正信息生成部18根据配置在基本图像上的第2基准点c2的坐标，生成用于校正变形的校正信息。步骤s114的处理是本公开的生成处理的一例。校正信息例如是转换表，用于针对被分割为多个块b1的显示图像的各块b1，分别根据4个顶点(即、4个第1基准点c1)的坐标和基本图像中的图像区域as内的对应的块b2的4个顶点(即，第2基准点c2)的坐标，进行显示图像的变形。作为该变形的具体例，可以举出投射变换。校正信息生成部18将所生成的校正信息输出到控制部10。然后，控制部10使处理返回到图3所示的流程。
63.返回到图3，在步骤s105中，控制部10将所输入的校正信息输出到图像信息校正部14，使图像信息校正部14开始基于该校正信息对显示图像进行校正的校正处理。在步骤s105中开始的校正处理是本公开的校正处理的一例。之后，图像信息校正部14对从图像信息输入部13依次输入的显示图像用的图像信息，进行与校正信息对应的校正处理。具体而言，图像信息校正部14在基本图像的图像区域as内形成显示图像，并且进行将图像区域as的外侧区域设定为黑色的处理。其结果，从图像投射部15投射基于校正后的图像信息的图像，在投射面sp上以校正了变形的状态显示出显示图像。虽然从投影仪100投射的图像的整体变形，但由于图像区域as的外侧区域被设定为黑色，所以观察者仅看到在图像区域as内形成的显示图像。图像区域as在二维展开图pd上是没有变形的矩形区域，所以在实际的投射面sp上以沿着投射面sp粘贴矩形的纸那样的形状被显示。
64.当表示显示图像的图像信息被输入到图像信息输入部13时，在图像信息校正部14中进行上述的校正处理，从图像投射部15以校正了变形的状态向投射面sp投射显示图像。由图像投射部15进行的显示图像的投射是本公开的投射处理的一例。
65.根据本实施方式的投影仪100，即使在投射面sp的形状的三维计测结果中包含与计测不良部位等对应的噪声的情况下，也能够良好地生成变形校正后的图像。在本实施方式中，例示了在三维计测结果中包含由于计测不良造成的噪声等的情况，但在与投射面sp无关的不需要物体存在于投射面sp附近的情况下，也能够应用同样的处理。例如，在投射面sp是磁体式的白板，在白板上粘贴有磁体等不需要物体的情况下，不需要配合磁体的形状进行变形校正。在这样的情况下，通过使用上述的主成分分析来估计假想投射面，也能够去除与投射面sp无关的成分。
66.如以上说明的那样，根据本实施方式的投影仪100，能够得到以下的效果
67.(1)根据本实施方式的投影仪100，通过估计假想投射面时的投射面的三维计测结果向基准面的投射，去除该三维计测结果中包含的噪声的至少一部分，进而，通过针对向基准面的投射结果的滤波处理，进一步去除与基准面的法线向量以及第2基准向量的两者相交的方向的噪声。这样，基于去除了三次计测结果所包含的噪声的至少一部分后的假想投射面生成校正信息，所以根据本实施方式，能够降低该计测结果所包含的噪声对基于投射面sp的三维形状计测结果的投射图像变形校正的影响。
68.(2)根据本实施方式的投影仪100，图像信息校正部14在被输入了表示以等间隔平行配置的多个纵线和以等间隔平行配置的多个横线垂直的格子图案的图像信息的情况下，以在三维形状的假想投射面上维持格子的间隔比和角度的方式，即以格子为等间隔且角度为直角的方式校正图像信息。因此，无论观察者的位置如何，都能够抑制给观察者带来不自
然的印象。
69.(3)根据本实施方式的投影仪100，测量部16通过利用摄像部17拍摄图像投射部15所投射的图案图像ip来测量投射面sp的三维形状，所以不需要具备用于测量三维形状的专用装置。
70.(4)根据本实施方式的投影仪100，由于图像投射部15和测量部16一体地构成，所以不需要每次调整图像投射部15和测量部16的配置。
71.2.其他实施方式
72.图13是表示通过本公开第2实施方式的控制方法投射在投射面上的图像的一例的图。在本实施方式中，以显示图像中的铅直轴与基准面的法线向量一致的方式生成校正信息这一点与第1实施方式不同。此外，在图13中，基准面的法线向量被记述为墙轴(wall axis)。在本公开的控制方法中，由于包含计算基准面的法线向量(换言之，投射面的铅直轴)的计算处理，所以能够利用计算处理的计算结果自动地进行图13那样的校正图像的生成。另外，也可以是，以使投射图像中的铅直轴属于基准面的方式，换言之，以使投射图像中的水平轴与墙轴一致的方式，生成校正信息。当投射图像的铅直轴或水平轴与墙轴一致时，能够向观众提供适合于空间的图像，因此是优选的。
73.图14是表示通过本公开第3实施方式的控制方法投射在投射面上的图像的一例的图。在本实施方式中，与第1实施方式的不同之处在于，以使投影仪100的底面所包含的轴与显示图像的水平轴一致的方式，换言之，以使投射图像的铅直轴相对于基准面的法线向量的倾斜度与投影仪相对于铅直轴的倾斜度一致的方式，生成校正信息。在图14中，投影仪100的底面所包含的轴被记述为投影仪水平轴(pj horizontal axis)。另外，关于投影仪100相对于铅直轴的倾斜度，只要在投影仪100中设置检测投影仪100相对于铅直方向的姿势的传感器，并根据该传感器的检测结果来求出即可。
74.3.变形例
75.另外，上述各实施方式也可以如下进行变更。
76.在上述各实施方式中，测量部16通过利用摄像部17对从图像投射部15投射的图案图像ip进行拍摄，测量投射面sp的三维形状，但不限于该方式。例如，也可以构成为代替测量部16而具有能够测量投射面sp的三维形状的三维测量装置。作为三维测量装置，能够采用投射结构化光的方式、tof(time of flight：飞行时间)方式等。此外，关于投射结构化光的方式，如上述实施方式那样，可以是从图像投射部15投射结构化光的方式，也可以是从三维测量装置所具有的投射装置投射结构化光的方式。另外，三维计测的方法没有特别限定，但使用相移法的三维计测特别是对于小于5m左右的近中距离的测量，容易得到计测精度，且容易准确地计测三维形状。因此，作为三维计测的方法，优选相移法。
77.这里，在从图像投射部15以外的投射装置投射结构化光的方式中，还能够构成为投射不可见光(例如，红外光)的结构化光。在该情况下，因为所投射的结构化光不被观察者观察到，所以还能够在显示图像的投射中进行三维形状的测量而更新校正信息。此外，在通过tof方式测量三维形状的方式中，除了与上述同样地，能够在显示图像的投射中进行三维形状的测量而更新校正信息以外，还不需要具有投射不可见光的投射装置。
78.另外，在具有上述三维测量装置的结构中，能够基于所测量的投射面sp的三维形状、和图像投射部15与三维测量装置的配置关系，计算从图像投射部15投射了图案图像ip
时的基准点c1的三维坐标，所以实际上不需要投射图案图像ip。同样，如上述实施方式那样，在具有图像投射部15和摄像部17的结构中，例如只要从图像投射部15投射结构化光，并由摄像部17对其进行拍摄来识别投射面sp的三维形状，就能够基于图像投射部15与摄像部17的配置关系，计算从图像投射部15投射了图案图像ip时的基准点c1的三维坐标。因此，在该结构的情况下，也不需要实际投射图案图像ip。
79.在上述各实施方式中，图像投射部15投射矩阵状地排列有多个矩形的单位图案uw以及单位图案uk的图案图像ip，测量部16检测矩形的单位图案uw的顶点(即、格子的交点)作为基准点c1，但基准点c1并不限定于单位图案uw的顶点。例如，也可以是，图像投射部15投射排列有具有亮度分布的多个单位图案的图案图像，测量部16检测各单位图案的最大亮度位置或最小亮度位置作为基准点c1。另外，也可以将排列在图案图像内的多个图形的重心位置作为基准点c1进行检测。
80.在上述各实施方式中，对一体地具有图像投射部15以及测量部16等各构成要素的投影仪100进行了说明，但也可以是各构成要素的一部分或者全部被分离的结构。但是，在图像投射部15和测量部16分离的情况下，由于每次设置时各自的配置状态变化，所以每次都需要进行校准。所谓校准，是指将矩形的图案图像ip上的坐标与拍摄图像ic上的坐标建立对应的处理。
81.在上述各实施方式中，作为光调制装置，虽然采用了透射型的液晶光阀22r、22g和22b，但是也能够采用反射型的液晶光阀等反射型的光调制装置。另外，还能够采用数字微镜器件等，该数字微镜器件通过按照每个作为像素的微镜控制入射的光的射出方向，对从光源21射出的光进行调制。并且，并不限定于按色光具有多个光调制装置的结构，也可以构成为由1个光调制装置对多个色光分时进行调制。
82.4.从各实施方式以及各变形例的至少一个中掌握的方式
83.本公开不限于上述各实施方式和变形例，在不脱离其主旨的范围内能够以各种方式实现。例如，本公开还能够通过以下的方式来实现。为了解决本公开课题的一部分或全部、或者为了实现本公开效果的一部分或全部，能够适当地替换或组合与以下记载的各方式中的技术特征对应的、上述实施方式中的技术特征。此外，如果该技术特征在本说明书中未作为必需的技术特征进行说明，则能够适当删除。
84.本公开的图像投射系统的控制方法的一个方式包含第1估计处理、第1计算处理、第2计算处理、第2估计处理、第3估计处理、生成处理、校正处理和投射处理。在第1推断处理中，根据作为被投射图像的投射面的形状的三维计测结果的计测信息，估计通过将所述投射面分割为n个而得到的n个区域各自的法线向量。另外，n是2以上的整数。在第1计算处理中，计算作为所述n个法线向量的平均的平均法线向量。在第2计算处理中，计算第1向量，该第1向量沿着表示向量的3轴分量中的、在所述n个法线向量中方差程度最大的分量所对应的轴。在第2估计处理中，估计基准面，该基准面将所述第1向量和所述平均法线向量的外积作为法线向量。在第3估计处理中，估计假想投射面，该假想投射面是基于通过将所述计测信息所表示的所述投射面的三维形状投影到所述基准面而得到的投影结果的面，并且是与所述基准面垂直的面。在生成处理中，根据所述假想投射面生成对图像进行校正的校正信息。在校正处理中，根据所述校正信息对投射图像进行校正。并且，在投射处理中，将校正后的所述投射图像投射到所述投射面。在本方式中，通过估计假想投射面时的投射面的三维
计测结果向基准面的投射，去除该三维计测结果中包含的噪声的至少一部分。因此，基于根据假想投射面生成的校正信息的图像变形校正不会受到该至少一部分的噪声造成的影响。这样，根据本方式，能够降低计测结果所包含的噪声对基于投射面的三维形状计测结果的投射图像变形校正的影响。另外，关于第1计算处理和第2计算处理，既可以先执行第2计算处理，也可以并列执行第1计算处理和第2计算处理。
85.在更优选方式的图像投射系统的控制方法中，也可以是，在所述第3估计处理中，对所述计测信息所表示的所述投射面的三维形状向所述基准面的投影结果实施滤波处理，将基于滤波处理后的所述投影结果、且与所述基准面垂直的面估计为所述假想投射面。在此，作为滤波处理的具体例，可以举出使所述投影结果沿所述第1向量的方向简并而成为一条线的处理，具体可以举出高斯滤波处理。根据本方式，由于进一步去除投射面的三维计测结果中包含的噪声来估计假想投射面，所以能够进一步降低计测结果中包含的噪声对基于投射面的三维形状计测结果的投射图像变形校正的影响。
86.在更优选方式的图像投射系统的控制方法中，也可以是，在所述生成处理中，以使所述投射图像中的铅直轴与所述基准面的法线向量一致的方式，生成所述校正信息。根据本方式，能够将在基准面的法线向量方向具有铅直轴的投射图像投射到投射面。
87.另外，在其他优选方式的图像投射系统的控制方法中，也可以是，包含对投射所述投射图像的投影仪相对于铅直轴的倾斜度进行计测的计测处理，在所述生成处理中，以使所述投射图像的铅直轴相对于所述基准面的法线向量的倾斜度与所述投影仪的倾斜度一致的方式，生成所述校正信息。根据本方式，能够将对应于投影仪相对于铅直轴的倾斜度、铅直轴相对于基准面的法线向量方向倾斜的投射图像投射到投射面上。
88.本公开的图像投射系统的一个方式包含校正装置和投射装置。根据作为被投射图像的投射面的形状的三维计测结果的计测信息，估计通过将所述投射面分割为n个而得到的n个区域各自的法线向量。另外，校正装置计算作为所述n个法线向量的平均的平均法线向量，并计算第1向量，该第1向量沿着表示向量的3轴分量中的、在所述n个法线向量中方差程度最大的分量所对应的轴。另外，校正装置估计基准面，该基准面将所述第1向量和所述平均法线向量的外积作为法线向量。另外，校正装置估计假想投射面，该假想投射面是基于通过将所述计测信息所表示的所述投射面的三维形状投影到所述基准面而得到的投影结果的面，并且是与所述基准面垂直的面。另外，校正装置根据所述假想投射面生成对图像进行校正的校正信息。并且，校正装置根据所述校正信息对投射图像进行校正。投射装置将由所述校正装置校正后的所述投射图像投射到所述投射面。在本方式中，n也是2以上的整数。根据本方式，能够降低计测结果所包含的噪声对基于投射面的三维形状计测结果的投射图像变形校正的影响。