1.本公开涉及信息处理装置和方法，并且具体地，涉及能够以更高准确度执行远程控制的信息处理装置和方法。
背景技术：
：：2.传统上，已经构想了用于通过传送动觉数据、触感数据等来执行远程控制的系统(例如，参见非专利文献1和非专利文献2)。近年来，随着信息处理技术的改进，需要更准确的远程控制。3.引文列表4.非专利文献5.[非专利文献1][0006]“definitionandrepresentationofhaptic-tactileessenceforbroadcastproductionapplications”，smptest2100-1，2017[0007][非专利文献2][0008]p.hinterseer，s.hirche，s.chaudhuri，e.steinbach，m.buss，“perception-baseddatareductionandtransmissionofhapticdataintelepresenceandteleactionsystems”，ieeetransactionsonsignalprocessing技术实现要素：[0009]技术问题[0010]然而，在常规情况下，仅传送单个观察点的信息。因此，难以充分地提高远程控制的准确度，并且仅可以在远程侧再现简单的操作。[0011]鉴于这样的情况，本公开实现更准确的远程控制。[0012]问题的解决方案[0013]本技术的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括传送单元，该传送单元传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0014]本技术的一个方面的信息处理方法是一种信息处理方法，该信息处理方法包括传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0015]本技术的另一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：接收单元，该接收单元接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息；以及驱动单元，该驱动单元基于由接收单元接收的触觉数据来驱动用作接口的装置的多个被驱动点。[0016]本技术的另一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息；以及基于所接收的触觉数据来驱动用作接口的装置的多个被驱动点。[0017]在本技术的一个方面的信息处理装置和方法中，传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0018]在本技术的另一方面的信息处理装置和方法中，接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息，以及基于所接收的触觉数据来驱动用作接口的装置的多个被驱动点。附图说明[0019]图1是示出触觉系统的概述的图。[0020]图2是示出远程控制系统的示例的图。[0021]图3是示出本地系统的主要配置示例的框图。[0022]图4是示出mpd系统的主要配置示例的框图。[0023]图5是示出触觉接口的示例的图。[0024]图6是示出三维刺激装置的示例的图。[0025]图7是示出触觉数据的示例的图。[0026]图8是示出刺激操作数据的示例的图。[0027]图9是示出手套型装置的示例的图。[0028]图10是示出手套型装置的使用示例的图。[0029]图11是示出触觉数据的示例的图。[0030]图12是示出kt映射(ktmap)的示例的图。[0031]图13是示出远程控制系统的应用示例的图。[0032]图14是示出远程控制系统的应用示例的图。[0033]图15是示出远程控制系统的应用示例的图。[0034]图16是示出触感数据的示例的图。[0035]图17是示出远程控制系统的应用示例的图。[0036]图18是示出远程控制系统的应用示例的图。[0037]图19是示出渲染器(renderer)的主要配置示例的框图。[0038]图20是示出渲染器的主要配置示例的框图。[0039]图21是示出gps信息的示例的图。[0040]图22是示出得出倾斜角的示例的图。[0041]图23是示出kt映射的示例的图。[0042]图24是示出kt映射的示例的图。[0043]图25是示出触觉数据的示例的图。[0044]图26是示出编码数据的帧结构的示例的图。[0045]图27是示出通过死区进行编码的示例的图。[0046]图28是示出编码触觉数据的示例的图。[0047]图29是示出编码单元和解码单元的主要配置示例的框图。[0048]图30是示出处理的状态的示例的图。[0049]图31是示出编码数据的帧内结构的示例的图。[0050]图32是示出触觉数据传送处理的流程的示例的流程图。[0051]图33是示出触觉数据接收处理的流程的示例的流程图。[0052]图34是示出mpd生成处理的流程的示例的流程图。[0053]图35是示出mpd控制处理的流程的示例的流程图。[0054]图36是示出使用mpd的数据参考的状态的示例的图。[0055]图37是示出使用mpd的数据参考的状态的示例的图。[0056]图38是示出使用mpd的数据参考的状态的示例的图。[0057]图39是示出容器的配置示例的图。[0058]图40是示出容器的配置示例的图。[0059]图41是示出容器的配置示例的图。[0060]图42是示出文件格式的数据的布置示例的图。[0061]图43是示出文件格式的示例的图。[0062]图44是示出文件格式的数据的布置示例的图。[0063]图45是示出文件格式的数据的布置示例的图。[0064]图46是示出文件格式的示例的图。[0065]图47是示出mpd的示例的图。[0066]图48是示出mpd的示例的图。[0067]图49是示出mpd的示例的图。[0068]图50是示出mpd的示例的图。[0069]图51是示出mpd的示例的图。[0070]图52是示出mpd的示例的图。[0071]图53是示出mpd的示例的图。[0072]图54是示出mpd的示例的图。[0073]图55是示出mpd的示例的图。[0074]图56是示出mpd的示例的图。[0075]图57是示出mpd的示例的图。[0076]图58是示出mpd的示例的图。[0077]图59是示出语义的示例的图。[0078]图60是示出语义的示例的图。[0079]图61是示出hdmi传送的配置示例的图。[0080]图62是示出元数据的示例的图。[0081]图63是示出元数据的示例的图。[0082]图64是示出语义的示例的图。[0083]图65是示出通过tmds通道的触觉数据的传送格式的示例的图。[0084]图66是示出计算机的主要配置示例的框图。具体实施方式[0085]在下文中，将描述用于实施本公开的模式(在下文中，被称为“实施方式”)。将按以下顺序给出描述。[0086]1.触觉传送[0087]2.第一实施方式(远程控制系统)[0088]3.第二实施方式(mpd的应用)[0089]4.第三实施方式(数字接口)[0090]5.补充[0091]《1.触觉传送》[0092]《触觉系统》[0093]远程社会(telexistencesociety)旨在通过将根据用户意愿控制的装置设置在空间上分开的地方并经由网络控制装置来实现瞬时空间移动的效果，并且被构想成引起人类增强的实现，对于人类增强，在远程侧再现引导控制的本地侧的动作，并且远程装置根据动作进行操作，使得进展和结果在任何时间被反馈至本地侧，人类被并入反馈系统中以免受时空约束，使得反馈使本地活动继续，并且人类能力可以被放大而不是仅仅是存在感。[0094]例如，图1的触觉系统10包括触觉装置11和触觉装置15，它们安装在彼此远离的位置处并且由传感器、致动器等构成。一个触觉装置传送由传感器检测到的触觉数据(动觉数据、触感数据等)，并且另一触觉装置接收触觉数据并且基于触觉数据来驱动致动器。通过交换这样的触觉数据，一个触觉装置的操作可以在另一触觉装置中再现。即，实现了远程操作。通过通信装置12与通信装置14经由网络13彼此通信来实现这样的触觉数据的交换。[0095]通信装置12也可以将来自触觉装置11的触觉数据反馈至触觉装置11。类似地，通信装置14也可以将来自触觉装置15的触觉数据反馈至触觉装置15。[0096]在这样的触觉数据的传送中，需要准确地描述多个本地动觉传感器的输出如何彼此结合地改变，并且将其传输至远程接收装置。[0097]触觉装置可以是例如弯曲的骨骼臂形状的装置或可以戴在手上的手套形状的装置。当操作者在本地侧移动作为触觉显示器的骨骼臂或手套时，每个关节处的位置信息和运动状态发生改变。[0098]作为触觉装置，已经构想了更高阶的触觉装置等，其将动觉传感器的配置中的自由度从第一(1自由度(1dof))改变为第三(3dof)，增加了关节点的数目。然而，当向远程侧传送时，仅限于单个关节点的信息。另外，在研究中，假设在三维空间中元素在单个向量上的投影，执行压缩编码并递送编码结果。[0099]关于形成动觉传感器的骨骼的多个关节点的信息可以通过组合来描述端部的运动，并且如果没有清楚地描述这样的互连信息，则无法在接收侧的再现装置中执行准确的追踪。[0100]因此，描述了由动觉传感器构成的每个关节部的连接信息，并且在传送时将连接信息作为元数据传送至接收侧。通过这样做，可以实现高动觉再现性和触感再现性。[0101]《2.第二实施方式》[0102]《远程控制系统》[0103]图2是示出作为应用本技术的通信系统(信息处理系统)的实施方式的远程控制系统的概述的图。图2中示出的远程控制系统100具有彼此远离的本地系统101和远程系统102。本地系统和远程系统102各自具有触觉装置，经由网络110彼此通信，并且通过交换触觉数据实现对触觉装置的远程控制。例如，对一个触觉装置的操作输入可以在另一触觉装置中再现。[0104]这里，尽管在描述中将通信的主体侧的系统称为本地系统101，并且将通信伙伴侧的系统称为远程系统102，但是本地系统101和远程系统102是基本上可以起到相同作用的系统。因此，除非另有说明，否则下面对本地系统101的描述也可以应用于远程系统102。[0105]本地系统101和远程系统102的配置是任意的。本地系统101和远程系统102可以具有不同的配置或相同的配置。此外，尽管在图2中示出了一个本地系统101和一个远程系统102，但是远程控制系统100可以包括任意数目的本地系统101和远程系统102。[0106]另外，远程控制系统100可以包括mpd服务器103。mpd服务器103执行与对本地系统101和远程系统102的媒体呈现描述(mpd)的登记和提供有关的处理。本地系统101和远程系统102可以使用该mpd来选择和获取必要的信息。当然，mpd服务器103的配置也是任意的，并且其数目也是任意的。[0107]可以省略该mpd服务器103。例如，本地系统101或远程系统102可以向通信伙伴提供mpd。此外，例如，本地系统101和远程系统102可以在不使用mpd的情况下交换触觉数据。[0108]网络110例如被配置为任何有线通信网络或无线网络或这两者，例如局域网、专用线路网络、广域网(wan)、因特网或卫星通信。此外，网络110可以被配置为多个通信网络。[0109]《本地系统》[0110]图3是示出本地系统101的主要配置示例的框图。如图3所示，本地系统101包括触觉装置121、通信装置122、数字接口123和数字接口124。[0111]触觉装置121是可以用作用户或远程装置的接口的装置，并且生成触觉数据或基于触觉数据来进行操作。另外，例如，触觉装置121可以经由数字接口123向通信装置122提供触觉数据等。此外，触觉装置121可以经由数字接口124获取从通信装置122提供的触觉数据等。[0112]通信装置122可以经由网络110(图2)与其他装置通信。例如，通信装置122可以通过通信交换触觉数据和交换mpd。此外，例如，通信装置122可以经由数字接口123获取从触觉装置121提供的触觉数据等。此外，通信装置122可以经由数字接口124向触觉装置121提供触觉数据等。数字接口123和数字接口124是用于例如通用串行总线(usb)(注册商标)和高清晰度多媒体接口(hdmi)(注册商标)的任意标准的数字设备的接口。[0113]触觉装置121包括传感器单元131、渲染器132、致动器133和触觉接口(i/f)134。[0114]传感器单元131检测在触觉接口134中的观察点处的动觉数据、触感数据等，并且将检测到的数据作为触觉数据提供给通信装置122。传感器单元131还可以向渲染器132提供触觉数据。[0115]传感器单元131可以包括任何传感器，例如，检测位置和运动的磁传感器、超声波传感器和全球定位系统(gps)传感器，检测诸如角速度的运动状态的陀螺仪传感器，检测加速度的加速度传感器等，只要传感器可以检测到必要的数据即可。例如，传感器单元131可以包括图像传感器141和空间坐标转换单元142。图像传感器141向空间坐标转换单元142提供捕获图像数据。空间坐标转换单元142从图像得出触觉接口134的观察点(例如，关节等)的空间坐标(三维坐标系的坐标)。空间坐标转换单元142可以将坐标数据作为触觉数据提供给通信装置122和渲染器132。[0116]图像传感器141可以具有深度方向的检测功能。这样，空间坐标转换单元142可以更容易地使用捕获图像及其深度值来得出观察点的空间坐标。此外，传感器单元131可以具有多个传感器。[0117]渲染器132使用从通信装置122提供的从另一外部装置传送的触觉数据执行渲染，以生成用于致动器的控制信息。渲染器132将控制信息提供给致动器133。渲染器132还可以使用从传感器单元131(空间坐标转换单元142)提供的触觉数据执行渲染。[0118]致动器133响应于从渲染器132提供的控制信息驱动触觉接口134。例如，致动器133使触觉接口134再现由传送的触觉数据表示的运动(动觉、触感等)。[0119]触觉接口134用作作为用户的操作者、远程装置等的动觉数据、触感数据等的接口。例如，触觉接口134由致动器133控制以再现与从渲染器132输出的触觉数据对应的运动、触感等。[0120]通信装置122执行与触觉数据的传送/接收有关的处理。在图3的示例的情况下，通信装置122包括合成器151、编码单元152、容器处理单元153、mpd生成单元154、成像单元155和视频编码单元156。[0121]合成器151将从触觉装置121(传感器单元131)提供的触觉数据转换成用于传送的格式(例如，生成稍后将描述的kt映射)。合成器151将用于传送的触觉数据提供给编码单元152。此外，合成器151还可以将用于传送的触觉数据提供给mpd生成单元154。[0122]编码单元152获取并编码从合成器151提供的触觉数据以生成触觉数据的编码数据。编码单元152将编码数据提供给容器处理单元153。[0123]容器处理单元153执行与传送数据的生成有关的处理。例如，容器处理单元153可以获取从编码单元152提供的触觉数据的编码数据，将编码数据存储在传送数据中，并且将其传送至远程系统102。[0124]此外，针对在触觉装置121中生成的触觉数据，通信装置122可以生成作为用于控制触觉数据的再现的控制信息的mpd。[0125]例如，mpd生成单元154可以从合成器151获取触觉数据，针对触觉数据生成mpd，并且将生成的mpd提供给编码单元152。在这样的情况下，编码单元152可以获取从mpd生成单元154提供的mpd并且对mpd进行编码以生成mpd的编码数据，并且将编码数据提供给容器处理单元153。容器处理单元153可以将从编码单元152提供的mpd的编码数据存储在传送数据中，并且将其传送至例如mpd服务器103。容器处理单元153可以将其中存储有mpd的编码数据的传送数据传送至远程系统102。[0126]此外，通信装置122还可以传送不是触觉数据的数据。例如，通信装置122可以对触觉装置121进行成像并且将捕获图像传送至远程系统102。[0127]例如，成像单元155可以包括图像传感器等，对触觉装置121(或触觉装置121的用户)进行成像，生成捕获图像数据，并且将捕获图像数据提供给视频编码单元156。视频编码单元156可以获取并编码从成像单元155提供的捕获图像数据以生成捕获图像数据的编码数据并且将编码数据提供给容器处理单元153。在这样的情况下，容器处理单元153可以将从视频编码单元156提供的捕获图像数据的编码数据存储在传送数据中，并且将传送数据传送至例如远程系统102。[0128]此外，通信装置122包括容器处理单元161、解码单元162、mpd控制单元163、视频解码单元164和显示单元165。[0129]容器处理单元161执行从传送数据中提取期望数据的处理。例如，容器处理单元161可以接收从远程系统102传送的传送数据，从传送数据中提取触觉数据的编码数据，并且将提取的编码数据提供给解码单元162。[0130]解码单元162可以获取从容器处理单元161提供的触觉数据的编码数据并对其进行解码以生成触觉数据并且将生成的触觉数据提供给触觉装置121(的渲染器132)。[0131]另外，通信装置122可以使用mpd控制触觉数据的再现。[0132]例如，容器处理单元161可以从mpd服务器103获取其中存储有与期望触觉数据对应的mpd的传送数据，从传送数据中提取mpd的编码数据，并且将其提供给解码单元162。解码单元162可以对编码数据进行解码以生成mpd并且将mpd提供给mpd控制单元163。mpd控制单元163可以获取从解码单元162提供的mpd，使用mpd控制容器处理单元161，并且使其中存储有期望的触觉数据的编码数据的传送数据被获取。[0133]此外，通信装置122还可以接收不是触觉数据的数据。例如，通信装置122可以从远程系统102接收触觉装置121的捕获图像。[0134]在这样的情况下，容器处理单元161可以接收从远程系统102传送的传送数据，从传送数据中提取捕获图像数据的编码数据，并且将提取的编码数据提供给视频解码单元164。视频解码单元164可以获取从容器处理单元161提供的编码数据并对编码数据进行解码以生成捕获图像数据并且将生成的捕获图像数据提供给显示单元165。显示单元165包括诸如监视器或投影仪的任意显示装置，并且可以显示与提供的捕获图像数据对应的捕获图像。[0135]远程系统102可以具有与本地系统101相同的配置。即，参照图3给出的描述也可以应用于远程系统102。[0136]《mpd服务器》[0137]图4是示出mpd服务器103的主要配置示例的框图。在图4中示出的mpd服务器103中，中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203经由总线204连接。[0138]输入/输出接口210也连接至总线204。输入单元211、输出单元212、存储单元213、通信单元214和驱动器215连接至输入/输出接口210。[0139]输入单元211可以包括任何输入装置，例如键盘、鼠标、麦克风、触摸板、图像传感器、运动传感器或各种其他传感器。此外，输入单元211可以包括输入端子。输出单元212可以包括任何输出装置，例如显示器、投影仪、扬声器等。此外，输出单元212可以包括输出端子。[0140]存储单元213例如包括诸如硬盘、ram盘或非易失性存储器的任意存储介质，以及将信息写入存储介质或从存储介质读取信息的存储控制单元。通信单元214包括例如网络接口。驱动器215驱动诸如磁盘、光盘、磁光盘或半导体存储器的任意可移除记录介质221，并且将信息写入可移除记录介质221或从可移除记录介质221读取信息。[0141]在如上所述的那样配置的mpd服务器103中，cpu201例如通过经由输入/输出接口210和总线204将存储在存储单元213中的程序加载到ram203中并执行程序，来实现由稍后将描述的功能块指示的各种功能。ram203还适当地存储cpu201执行各种类型的程序处理所需的数据等。[0142]例如，由计算机执行的程序可以记录在作为封装介质等的可移除记录介质221上并应用于其。在这样的情况下，可以通过将可移除记录介质221安装在驱动器215中来经由输入/输出接口210将程序安装在存储单元213中。[0143]该程序也可以经由诸如局域网、专用线路网络或wan、因特网、卫星通信等的有线或无线传送介质来提供。在这样的情况下，程序可以由通信单元214接收并被安装在存储单元213中。[0144]另外，可以将该程序预先安装在rom202或存储单元213中。[0145]《多个关节信息的力表示/传送》[0146]例如，远程控制系统100表示当力施加至诸如安装在触觉接口134上的触笔或手柄的对象时施加至触觉接口134的装置位置(关节等)的力，如图5所示。[0147]另外，远程控制系统100传送关于多个装置位置(多个关节等)的触觉数据(动觉数据和触感数据)。[0148]在下文中，假设触觉数据包括以下中的至少之一：在装置位置处检测到的动觉数据，在装置位置处检测到的触感数据，以及表示施加至装置位置的力的力数据。[0149]当仅再现端部的运动时，即使一条位置信息也能够被表示，但是从视点到端部的关节点的运动不能被如实地再现，限制了使用。如果关节点被配置在多个级中，并且需要再现每个关节点的位置和关于动作的点的信息、例如每个关节点的位置处的力或扭矩，则可以通过描述传感器输出的偏航(yaw)/俯仰(pitch)/横滚(roll)的旋转信息和关于每个关节点的力/扭矩的信息来执行更准确的控制。[0150]另外，通过描述多级传感器输出中的每一个并将连接信息作为元数据传送至接收侧，可以在接收侧的再现装置中执行更准确的追踪。远程控制系统100可以通过描述由动觉传感器构成的每个关节部的连接信息，并且在传送时将连接信息作为元数据传送至接收侧，来实现高动觉再现性。[0151]《用例1》[0152]将描述远程控制系统100的应用示例。例如，如图6所示的三维刺激装置301可以作为触觉接口134来应用，并且远程控制系统100可以应用于在远程位置处再现三维刺激装置301的运动的系统。[0153]在三维刺激装置301中，杆状对象302附接至具有多个关节的臂的末端，并且对象302的位置和姿势由臂支承。换言之，当用户等移动对象302或改变其姿势时，例如，三维刺激装置301可以通过臂检测对象302的位置或姿势的改变。[0154]对象302例如用作笔、指针等。例如，当用户移动对象302写字或者画线或图片时，三维刺激装置301可以通过臂检测对象302的位置或姿势的改变，并且获得能够表示改变的触觉数据。例如，可以通过使用触觉数据控制具有与三维刺激装置301的驱动机构类似的驱动机构的装置的运动来再现以上提及的对象302的运动。[0155]如图6所示，臂具有多个关节(可移动部)。传感器单元131使用三维刺激装置301(触觉接口134)的多个关节和附接有对象302的臂的末端作为观察点，并且检测关于每个观察点的触觉数据。[0156]例如，将臂的三个关节点以从根侧(图中的左侧)开始顺序地设置为观察点art_1、观察点art_2和观察点art_3。另外，将臂的末端(附接有对象302的位置)设置为观察点art_4。观察点的连接位置关系从运动的原点开始顺序为art_1-》art_2-》art_3-》art_4，并且art_1为运动的原点并且成为后续连接关系的支点。也可以将原点设置在另一位置处，并且将art_1设置为相对于原点具有偏移的位置。[0157]传感器单元131检测关于观察点的关于位置的信息、关于运动的信息、以及关于施加力的信息作为触觉数据。关于位置的信息包括指示观察点的位置的信息。关于运动的信息包括指示附接至观察点的对象302的运动(姿势改变量)的信息。在图6的示例的情况下，仅针对附接有对象302的观察点art_4获得该信息。关于施加力的信息包括指示在观察点处在竖直方向上施加的力的大小和方向(推、拉等)的信息。在图6的示例的情况下，该力表示通过对象302施加的力。因此，仅针对附接有对象的观察点art_4获得该信息。[0158]传感器单元131输出如图7的表中所示的信息作为触觉数据。图7的示例对应于图6的示例。在图7的表中，p_id是观察点的标识信息(id)。在图7的示例的情况下，检测关于四个观察点a1(图6中的art_1)至a4(图6中的art_4)的触觉数据。upsp指示在支点方向上位于上游的相邻观察点(关节点)。例如，观察点a2(art_2)的upsp为观察点a1(art_1)，观察点a3(art_3)的upsp为观察点a2(art_2)，并且观察点a4的upsp(art_4)为观察点a4(art_4)。由于观察点a1(art_1)为最高观察点(在臂的第一根侧)，因此观察点a1本身被分配给其upsp。[0159]支点关节点位置是指示观察点的位置的信息。表示观察点的位置的方法是任意的。例如，观察点的位置可以由以观察点的支点为原点的坐标(例如，xyz坐标)表示(x1/y1/z1，x2/y2/z2，x3/y3/z3，x4/y4/z4)。通过取与相邻关节点的向量的绝对值来唯一地获得回转半径r。此外，通过将这些坐标与以上提及的观察点之间的连接位置关系组合，可以由单个坐标系来表示每个观察点的位置。[0160]刺激操作是关于观察点的运动的信息。如上所述，仅针对附接有对象的观察点art_4获得该信息。表示该运动的方法是任意的。例如，如图8所示，其可以由以x、y和z坐标轴为旋转轴(pt4/yw4/rl4)的旋转方向(俯仰、偏航和横滚)上的运动(速度)表示。[0161]力是关于施加至观察点的力的信息。如上所述，仅针对附接有对象的观察点art_4获得该信息。表示该力的方法是任意的。例如，其可以由力的大小、例如牛顿(n)来表示(n4)。另外，可以由值的符号指示力的方向。例如，正值可以指示将对象302推向观察点art_4的方向上的力，而负值可以指示使对象302离开观察点art_4移动的方向(拉的方向)上的力。此外，臂等的质量(m)可以用作已知信息，并且加速度(a)可以用来表示该力(f＝ma)。[0162]同时，可以对具有被链接的运动(具有相关的运动)的观察点进行分组。另外，可以由组中的观察点之间具有较强关系的观察点形成子组(sub_gp)。例如，由于观察点a1至a4是一个三维刺激装置301的观察点，因此观察点a1至a4具有相关操作并且因此可以被分组。另外，由于观察点a1至a4也是一个臂的观察点，因此观察点a1至a4在其操作之间具有更强的关系并且因此可以形成子组。在图7的示例的情况下，形成由观察点a1构成的子组和由观察点a2至a4构成的子组。以这种方式，用作支点的最根侧的观察点可以形成单独的子组。[0163]图7的表是示例，并且由传感器单元131输出的触觉数据不限于图7的示例。由传感器单元131输出的触觉数据可以包括以下中的至少之一：包括关于在观察点处检测到的动觉的信息的动觉数据，包括关于在观察点处检测到的触感的信息的触感数据，以及包括关于施加至观察点的力的大小的信息的力数据。[0164]在图7的示例中，支点关节点位置是关于观察点的位置的信息和关于动觉的信息。此外，刺激操作是关于观察点的速度的信息和关于动觉的信息。即，支点关节点位置和刺激操作的数据被包括在动觉数据中。另外，力是关于施加至观察点的力的大小的信息。即，力的数据被包括在力数据中。[0165]即，例如，由传感器单元131输出的触觉数据可以包括触感数据，或者可以省略图7中示出的信息的一部分。[0166]例如，远程控制系统100可以通过传送如图7的示例中的关于多个观察点的触觉数据来表示对象302的运动，该对象302的运动不能仅使用观察点art_4的位置信息来表示。另外，还可以表示施加力。因此，可以以更高准确度执行远程控制。[0167]《用例2》[0168]另外，例如，如图9所示的手套型装置311可以作为触觉接口134来应用，并且远程控制系统100可以应用于在远程位置处再现手套型装置311的运动的系统。[0169]手套型装置311是手套类型的装置，并且例如当用户等将手套型装置像手套一样穿戴在他/她的手上并移动它时，可以检测到运动。如图9所示，传感器单元131使用手套型装置311的腕、关节、指尖等作为观察点。观察点a1是手套型装置311的腕。观察点a2和a3是拇指的关节，并且观察点b1是拇指的末端。观察点a4至a6是食指的关节，并且观察点b2是食指的末端。观察点a7至a9是中指的关节，并且观察点b3是中指的末端。观察点a10至a12是无名指的关节，并且观察点b4是无名指的末端。观察点a13至a15是小指的关节，并且观察点b5是小指的末端。[0170]如用例1的情况中那样，传感器单元131检测关于这些观察点的触觉数据。例如，当用户穿戴手套型装置311并抓握对象312(例如，智能电话)时，如图10所示，传感器单元131检测手指的运动、即各个观察点的运动，并且输出触觉数据。图11的表示出了触觉数据的示例。[0171]类似于图7的示例，图11的表示出了关于每个观察点的p_id、upsp和支点关节位置。另外，示出了关于与对象312接触的观察点(例如，观察点a2、a3、a6、a9、a12和a15)中的每一个的刺激操作。此外，示出了施加至手指的末端处的观察点(例如，观察点b1至b5)中的每一个的力。表示这样的信息的方法如用例1的情况中那样是任意的。[0172]另外，在这种情况下，如图11的表中的虚线框所示，观察点针对每个手指分为子组。例如，作为支点的观察点a1，拇指的观察点a2、a3和b1，食指的观察点a4、a5、a6和b2，中指的观察点a7、a8、a9和b3，无名指的观察点a10、a11、a12和b4，以及小指的观察点a13、a14、a15和b5分别分为子组。[0173]图11的表是示例，并且由传感器单元131输出的触觉数据不限于图11的示例。由传感器单元131输出的触觉数据可以包括以下中的至少之一：包括关于在观察点处检测到的动觉的信息的动觉数据，包括关于在观察点处检测到的触感的信息的触感数据，以及包括关于施加至观察点的力的大小的信息的力数据。[0174]在图11的示例中，支点关节点位置是关于观察点的位置的信息和关于动觉的信息。此外，刺激操作是关于观察点的速度的信息和关于动觉的信息。即，支点关节点位置和刺激操作的数据被包括在动觉数据中。另外，力是关于施加至观察点的力的大小的信息。即，力的数据被包括在力数据中。[0175]即，例如，由传感器单元131输出的触觉数据可以包括触感数据，或者可以省略图11中示出的信息的一部分。[0176]例如，远程控制系统100可以通过传送如图11的示例中的关于多个观察点的触觉数据来表示对象302的运动，该对象302的运动不能仅使用指尖处的观察点b1至b5的位置信息来表示。另外，还可以表示施加力。因此，可以以更高准确度执行远程控制。[0177]《kt映射》[0178]可以使用例如图12中示出的动觉和触感(kt)映射331来针对每个观察点整合(可以针对每个观察点分类)如上所述的关于多个观察点的触觉数据的每条信息。图12中示出的kt映射是这样的表，其中针对每个观察点整合(针对每个观察点分类)关于每个观察点的触觉数据。[0179]如图12所示，在该kt映射331中，观察点被分组，并且示出了每个组的标识信息(组id)。在这样的组中，指示了每个观察点的标识信息(p_id)，并且对于每个p_id，诸如upsp、支点关节点位置、刺激操作、力(n)、硬度(g)、摩擦系数(μ)和温度(℃)的信息相关联。[0180]p_id、upsp、支点关节点位置、刺激操作和力(n)是与图7和图11中的信息相同的信息。力的类型可以是压力。压力由施加至单位面积的力表示，并且例如n/m2或帕斯卡p为单位。硬度(g)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的硬度的信息。这里，表示硬度的单位被假定为刚性。刚性是一种弹性模量，其是确定变形的难度的物理属性值，并且可以以gpa表示。gpa值越大表示硬度越大。摩擦系数(μ)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的摩擦系数的信息。可以从通过将摩擦力除以作用在接触表面上的法向力而获得的无量纲量(μ＝f/n)获得摩擦系数。温度(℃)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的温度的信息。即，硬度(g)、摩擦系数(μ)和温度(℃)都是关于与触觉接口134接触的对象的表面的信息，即关于触感的信息。即，该数据被包括在触感数据中。[0181]通过以这种方式形成整合了每个观察点的触觉数据的kt映射331，可以更容易地选择和交换期望观察点的触觉数据。此外，通过以如图12的示例中所示的表的形式将触觉数据配置为kt映射331，可以更容易地选择和交换期望观察点的期望信息。因此，可以控制和调整与触觉数据的传送有关的通信和处理的负荷。[0182]同时，kt映射331可以包括每个观察点的触觉数据，并且其细节不限于图12中示出的示例。例如，图12中未示出的信息可以被包括在kt映射331中，或者可以省略图12中示出的信息的一部分。此外，观察点可以如图7和图11的示例的情况中那样分为子组。[0183]《用例3》[0184]远程控制系统100可以双向地传送这样的触觉数据。例如，如图13所示，当本地操作者操作手套型装置311时，在手套型装置311的多个观察点(黑色圆圈)处检测到的触觉数据(每个观察点的位置、速度和加速度的数据等、施加力数据等)被传送(转发)至远程位置处的远程装置351。远程装置351是与手套型装置311对应的手形装置(所谓的机器人手)，并且是远程系统102的触觉接口134。[0185]远程装置351基于传送的多条观察点触觉数据来控制诸如其关节的多个控制点(白色圆圈)，以抓握作为抓握目标的预定对象352(例如，球等)。[0186]当通过抓握对象352在远程装置351的多个观察点(白色圆圈)处检测到诸如动觉数据、触感数据和力数据的触觉数据时，触觉数据(每个观察点的位置、速度和加速度的数据等、施加力数据等)被传送(反馈)至本地操作者的手套型装置311。即，在这种情况下，在装置的力点(抓握对象的部分)处存在动觉传感器，并且对施加力进行检测、量化并将其传送至另一方。力点的位置独立于关节点的位置，并且可以是任何位置。[0187]通过以这种方式执行反馈传送，手套型装置311可以再现由远程装置351检测到的、在抓握对象352时的反作用力。即，本地操作者可以感觉到反作用力。因此，当远程装置351反馈与接收的信号具有相同大小的力作为相反方向上的反作用力时，本地操作者通过用手指抓握而感觉到位置是稳定的。通过调整施加至手套型装置311的力使得本地操作者可以获得这样的感觉，可以执行远程控制使得远程装置351可以稳定地抓握对象352。即，可以以更高准确度执行远程控制。[0188]同时，该反馈传送可以仅在通过抓握对象352而更新了前向传送的动觉数据的情况下执行。[0189]《用例4》[0190]同时，可以通过无线通信传送触觉数据。例如，如图14所示，远程控制系统100可以应用于设置在例如所谓的无人机的飞行对象361上的机器人手362的远程控制。在这种情况下，本地操作者操作手套型装置311以输入对机器人手362的操作。本地系统101将位置数据和力数据作为在手套型装置311中检测到的动觉数据通过无线通信传送至飞行对象361。飞行对象361将信息提供给机器人手362，并且机器人手362根据其控制被驱动以执行诸如抓握对象的操作。当机器人手362抓握对象等时，其位置数据和力数据如用例3的情况中那样被反馈至手套型装置311。本地操作者可以体验基于反馈的位置数据和力数据由手套型装置311再现的动觉、触感等，同时远程控制机器人手362。[0191]这样的远程控制可以应用于例如救援飞行对象361飞行至事故现场并且通过机器人手362抓握在事故现场发现的人的身体以对人进行救援的操作等。例如，机器人手362可以与本地操作者的手结合地移动并且绕人的周围抱持他/她。此外，此时，可以通过反馈传送来确认本地操作者是否正在抱持人。同时，反馈数据可以包括视频和音频数据。[0192]《用例5》[0193]另外，远程控制系统100可以应用于通过远程装置检测材料的表面状态的系统。例如，如图15所示，当本地操作者穿戴手套型装置311并且在图中从上到下扫描时，在手套型装置311中检测到的触觉数据被前向传送至远程位置处的远程装置371，并且在远程装置371中再现手套型装置311的运动。即，远程装置371在图中从上到下扫描对象表面372。[0194]根据该扫描，远程装置371检测对象表面372的不平坦的状态等。该触觉数据被反馈至本地操作者侧的手套型装置311。手套型装置311基于触觉数据通过触觉致动器再现由远程装置371检测到的对象表面372的不平坦性。因此，本地操作者可以确定没有直接接触的不平坦性。[0195]例如，关于触感的检测，本地操作者可以通过用两个手指以预定力操作来同时检测具有宽度的范围。当位置信息在某个时间改变时，当以由位置信息计算的速度v(mm/sec)追踪具有λmm的表面不平坦间隔的材料时，在皮肤表面上生成具有f＝v/λhz的频率的振动。当追踪该振动时，例如，变成如图16所示。因此，从两个手指(触点)的位置信息，可以确定，作为并排的两个手指的并行扫描的结果的触感数据的反馈模式在具有微小时间差的情况下在其间具有相似关系。因此，可以确定表面以由两个手指扫描的距离对角地具有不平坦性。[0196]通过在本地侧以这种方式比较两个手指的位置和该位置处获得的触感反馈信息，可以更准确和高效地确定多个位置的表面的形状、不平坦性、粗糙度和光滑度，并且确定纹理和结构作为表面。可以使用从本地侧传送的力信息来控制要在远程侧施加的力的程度。以这种方式，即使在传送仅触感而不分发视频的情况下，也可以通过同时扫描多个点来确定对象表面的纹理。[0197]《用例6》[0198]此外，扩展现实(xr)可以应用于系统。例如，如图17所示，可以通过显示虚拟手部的视频来提高感觉的真实性。在图17的示例的情况下，本地操作者穿戴手套型装置311-1并且执行与远程位置处的远程操作者的虚拟握手操作。远程操作者也穿戴手套型装置311-2并且类似地执行与本地操作者的虚拟握手操作。[0199]根据前向传送和反馈传送，交换在每个手套型装置311中检测到的触觉数据，并且由另一侧的手套型装置311的动觉/触感致动器再现运动。[0200]另外，本地操作者穿戴头戴式显示器(hmd)381-1。类似地，远程操作者穿戴头戴式显示器(hmd)381-2。当不需要在描述中将头戴式显示器381-1和头戴式显示器381-2彼此区分时，将头戴式显示器381-1和头戴式显示器381-2称为头戴式显示器381。头戴式显示器381配备有用于识别周围环境的图像传感器。[0201]头戴式显示器381-1显示包括与由本地操作者操作的手套型装置311-1对应的真实手部的图像和与由远程操作者操作的手套型装置311-2对应的虚拟手部的图像的虚拟空间的视频。与手套型装置311-1对应的虚拟手部的图像是基于在手套型装置311-1中检测到的触觉数据生成的。即，真实手部的图像再现由本地操作者操作的手套型装置311-1的运动的状态。类似地，与手套型装置311-2对应的虚拟手部的图像是基于从手套型装置311-2传送的触觉数据生成的。即，该虚拟手部的图像再现由远程操作者操作的手套型装置311-2的运动的状态。[0202]本地操作者例如可以通过在观看显示在头戴式显示器381-1上的视频的同时操作手套型装置311-1，在显示在头戴式显示器381-1上的虚拟空间中执行虚拟手部握手。此外，由于手套型装置311-1可以使用通过动觉/触感致动器从手套型装置311-2反馈的触觉数据来再现动觉和触感，因此本地操作者可以在握手时感觉到另一人的手部的运动和力的大小，以及诸如温度的感觉。此外，在该系统的情况下，本地操作者可以观看握手的视频，并且因此可以提高握手感觉的真实性。[0203]这同样适用于远程操作者侧。头戴式显示器381-2显示包括与由本地操作者操作的手套型装置311-1对应的虚拟手部的图像和与由远程操作者操作的手套型装置311-2对应的虚拟手部的图像的虚拟空间的视频。与手套型装置311-1对应的虚拟手部的图像是基于从手套型装置311-1传送的触觉数据生成的。即，该虚拟手部的图像再现由本地操作者操作的手套型装置311-1的运动的状态。类似地，与手套型装置311-2对应的虚拟手部的图像是基于在手套型装置311-2中检测到的触觉数据生成的。即，该虚拟手部的图像再现由远程操作者操作的手套型装置311-2的运动的状态。[0204]远程操作者例如可以通过在观看显示在头戴式显示器381-2上的视频的同时操作手套型装置311-2，在显示在头戴式显示器381-2上的虚拟空间中执行虚拟手部的握手。此外，由于手套型装置311-2可以使用通过动觉/触感致动器从手套型装置311-1反馈的触觉数据来再现动觉和触感，因此远程操作者可以在握手时感觉到另一人的手部的感觉。此外，在该系统的情况下，远程操作者可以观看握手的状态的视频，并且因此可以提高握手感觉的真实性。[0205]例如，本地系统101使用诸如以下内容的信息来表示手套型装置311-1的位置：参考位置rp1(referenceposition1，参考位置1)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp1(例如，组1(group1)(＝组织1(organ1))的支点)，以及从参考位置rp1的偏移。[0206]类似地，远程系统102使用诸如以下内容的信息来表示手套型装置311-2的位置：参考位置rp2(referenceposition2，参考位置2)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp2(例如，组2(group2)(＝组织2(organ2))的支点)，以及从参考位置rp2的偏移。[0207]通过交换该信息，可以得出手套型装置311-1和手套型装置311-2的相对位置，并且可以在虚拟空间中执行握手。[0208]《用例7》[0209]此外，在像图17的系统的实现远程位置处的操作者之间的虚拟握手的系统中，本地操作者和远程操作者可以执行与实际机器人手的握手。[0210]在这种情况下，不需要头戴式显示器381。而是，在本地操作者附近设置机器人手391-1。本地操作者操作手套型装置311-1以实际与机器人手391-1握手。机器人手391-1基于从手套型装置311-2传送的触觉数据被驱动，并且再现由远程操作者操作的手套型装置311-2的运动。即，本地操作者和远程操作者可以获得仿佛他们真的在互相握手的感觉(动觉或触感)。此外，由于实际的机器人手391-1被驱动，因此本地操作者可以提高握手感觉的真实性。[0211]这同样适用于远程操作者侧。即，在远程操作者附近设置机器人手391-2。远程操作者操作手套型装置311-2以实际与机器人手391-2握手。机器人手391-2基于从手套型装置311-1传送的触觉数据被驱动，并且再现由本地操作者操作的手套型装置311-1的运动。即，本地操作者和远程操作者可以获得仿佛他们真的在互相握手的感觉(动觉或触感)。此外，由于实际的机器人手391-2被驱动，因此远程操作者可以提高握手感觉的真实性。[0212]例如，本地系统101使用诸如以下内容的信息来表示手套型装置311-1的位置：参考位置rp1(参考位置1)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp1(例如，group1(＝organ1)的支点)，以及从参考位置rp1的偏移。[0213]类似地，远程系统102使用诸如以下内容的信息来表示手套型装置311-2的位置：参考位置rp2(参考位置2)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp2(例如，group2(＝organ2)的支点)，以及从参考位置rp2的偏移。[0214]通过交换该信息，可以得出手套型装置311-1和手套型装置311-2的相对位置，并且可以执行虚拟握手(与实际的机器人手391握手)。[0215]《渲染器》[0216]接下来，将描述渲染器132。渲染器132可以合成例如通过本地操作生成的力数据和关于力数据远程接收的力数据。图19示出了这样的情况下的渲染器132的主要配置示例。如图19所示，这种情况下的渲染器132包括合成单元401。合成单元401获取从传感器单元131提供的通过本地操作生成的力数据(force1(力，方向))。此外，合成单元401获取从解码单元162提供的远程接收的力数据(force2(力，方向))。合成单元401合成力数据以生成致动器133的控制信息(synth_force(力，方向))。合成单元401将控制信息提供给致动器133。[0217]另外，渲染器132可以校正在绝对位置处的触觉系统的姿势。此外，渲染器132可以将远程位置信息校正并映射在本地位置关系中。图20示出了这样的情况下的渲染器132的主要配置示例。在这种情况下，渲染器132包括位置关系确定单元411和位置校正单元412。[0218]位置关系确定单元411从本地绝对坐标1确定参考位置rp1与参考关节点bp1之间的位置关系。类似地，位置关系确定单元411确定rp1与本地从属关节点cp1之间的位置关系。[0219]位置校正单元412从远程绝对坐标2获得远程参考位置rp2与远程参考观察点bp2之间的位置关系以及远程从属关节点cp2的位置关系。这些位置关系按如上所述的那样获得的本地位置关系被缩放和校正。然后，将经校正的位置数据发送至致动器。[0220]同时，也可以在远程侧的渲染器中执行相同的处理。[0221]《通过位置检测传感器的延迟补偿》[0222]可以在本地侧和远程侧中的每一者处的检测运动的传感器中设置预测器，并且可以使用紧接在前的历史来预测紧接在对应位置之后的位置。通过该预测功能，可以传送在本地侧的当前位置之前的值(抢先位置数据)作为实际传送的位置信息。[0223]在远程侧，传送抢先数据位置处的反馈信息。当本地侧的实际运动已经进行时，可以通过从远程侧接收反馈信息并调谐反馈信息使得其由致动器再现来获得本地侧的渲染器输出。这同样可以适用于从远程侧传送的传感器信息，并且可以通过返回本地侧对来自远程侧的抢先位置信息的反馈，在远程侧的渲染器输出中没有感觉到延迟的情况下获得动觉触感信息。[0224]《绝对位置的识别》[0225]可以使用全球定位系统(gps)信息和3轴方向传感器检测相对于北方的倾斜，以识别触觉装置的支点位置和设置方向。在gps信息中，例如，将诸如二维坐标(纬度、经度)、海拔和时间的信息定义为空间坐标。图21示出了以xml格式描述gps信息的示例。[0226]《竖直方向上的偏差》[0227]另外，如图22所示，例如，可以使用加速度传感器421来获得其中设置有加速度传感器的装置420的倾斜角。例如，当加速度传感器421与重力作用的方向一致时，加速度传感器421检测到9.8m/sec2的加速度。另一方面，当加速度传感器421被设置在与重力作用的方向垂直的方向上时，重力的影响消失并且加速度传感器421的输出变为0。当获得任意角度θ的倾斜的加速度a作为加速度传感器421的输出时，倾斜角度θ可以通过下面的公式(1)得出。[0228]θ＝sin-1(a/g)...(1)[0229]以这种方式，可以计算触觉装置在竖直方向上的偏差。[0230]《触觉数据(kt映射)的其他示例》[0231]触觉数据(kt映射)的配置是任意的并且不限于上面的示例。图7的示例中的触觉数据可以如图23所示配置。图11的示例中的触觉数据可以如图24所示配置。即，可以将每个观察点的位置、速度和加速度指示为支点关节点位置。[0232]《触觉数据的编码》[0233]例如，如图25的图形所示，观察点的触觉数据(动觉数据、触感数据、力数据)的值沿时间轴动态地改变。因此，当对这样的触觉数据进行编码时，例如，如图26所示，可以以预定时间间隔形成帧(触觉帧(haptic_frame))。[0234]在图26中，矩形表示按时间序列布置的触觉数据，并且触觉数据以预定时间间隔分开以形成触觉帧(haptic_frame)451-1和触觉帧451-2、触觉帧451-3、……。当不需要在描述中区分每个触觉帧时，将其称为触觉帧451。[0235]另外，可以在触觉帧451中的触觉数据的样本之间执行预测，并且在执行预测时，信息量的增加被抑制。[0236]作为一维数据编码方法，例如，存在死区。在死区方法的情况下，例如，在如图27的a所示的一维数据中，仅对紧接在前的值显著变化的一些数据(由黑色圆圈指示的数据)进行编码，并且省略变化小的灰色部分中的数据的编码。在解码时，对于没有被编码的部分，复制编码/解码数据。因此，解码数据如图27的b所示。即，在死区方法的情况下，存在难以再现微小改变的可能性。相反，当想要再现具有高清晰度的运动时，感知阈值的范围变得非常窄并且要传送的数据的频率增加，并且因此可能降低编码效率。[0237]因此，在对触觉数据进行编码时，在按时间序列的相邻点之间获得差，并且对差值进行可变长度编码。例如，如图28的a所示，在一维触觉数据的触觉帧451中的按时间序列的相邻点之间得出差。对于触觉帧的开始处的数据，不得出差，并且完整地使用其值。[0238]以这种方式，各个触觉帧的触觉数据(差值)变成例如曲线461至曲线464。然后，这些差值被量化并且被附加地可变长度编码。以这种方式，与原始数据被完整编码的情况相比，可以减少信息量并且可以抑制编码效率的降低。此外，当对这样的编码数据进行解码时，可以如图28的b所示的曲线465所示如实地重建原始数据。因此，可以抑制由于诸如死区方法的编码/解码而引起的再现准确度的降低。即，可以在接收侧再现具有高清晰度的运动，并且还可以实现始终恒定的数据压缩效果。这在三维空间中的运动的情况下是相同的。[0239]同时，当执行这样的预测处理时，由于传送时的错误等而引起的无效解码值可能传播至后续样本，但是通过如上所述的那样以预定时间间隔配置触觉帧、在触觉帧的开始处刷新预测、以及在不得出差值的情况下执行编码，即使解码失败，也可以抑制传播。因此，例如可以提高对传送错误等的抵抗力。[0240]《编码单元》[0241]在图29的a中示出了这种情况下的编码单元152(图3)的主要配置示例。在这种情况下，编码单元152包括延迟单元501、算术运算单元502、量化单元503和可变长度编码单元504。[0242]延迟单元501延迟输入的触觉数据(输入数据(t))以生成延迟的触觉数据(dd(t))。算术运算单元502得出输入的触觉数据(输入数据(t))与经延迟单元501延迟的触觉数据(dd(t))之间的差值(也被称为预测残差值)(预测数据(t))。即，在样本之间执行预测并得出预测残差。量化单元503对预测残差值(预测数据(t))进行量化，以生成量化系数(量化数据(t))。可变长度编码单元504对量化系数(量化数据(t))进行可变长度编码以生成编码数据(可变长度码(t))并且输出编码数据。[0243]《解码单元》[0244]另外，在图29的b中示出了这种情况下的解码单元162的主要配置示例。在这种情况下，解码单元162包括可变长度解码单元511、去量化单元512、算术运算单元513和延迟单元514。[0245]可变长度解码单元511对输入的编码数据(可变长度码(t))进行可变长度解码，以生成量化系数(量化数据(t))。去量化单元512对量化系数(量化数据(t))进行去量化，以得出去量化系数(去量化数据(t))。该去量化系数(去量化数据(t))是重建的预测残差值(预测数据'(t))。由于执行量化并且取决于量化步长宽度而不可逆，因此该重建的预测残差值(预测数据'(t))可能与编码单元152的预测残差值(预测数据(t))不同。[0246]算术运算单元513将通过由延迟单元514延迟触觉数据(重建数据(t))而获得的数据(dd'(t))加至去量化系数(去量化数据(t))，以得出重建的触觉数据(重建数据(t))。即，算术运算单元513通过将过去样本的解码结果加至预测残差来生成当前样本的触觉数据。[0247]例如，如果输入至编码单元152的触觉数据(输入数据(t))值按时间序列以“2”→“8”→“4”→“6”→“10”的顺序改变，则触觉数据(dd(t))、预测残差值(预测数据(t))、触觉数据(dd'(t))和触觉数据(重建数据(t))变为如图30所示的值。通常，在可变长度编码中，执行映射使得随着输入值接近零而码长度减小，并且因此可以减少信息量，并且可以抑制编码效率的降低。[0248]在触觉帧中，如图31的a至c所示，在样本之间预测诸如支点关节点位置、刺激操作和力的信息，并且该信息由未预测值和预测残差值构成。[0249]《触觉数据传送处理的流程》[0250]接下来，将描述在本地系统101中执行的处理。本地系统101通过执行触觉数据传送处理来传送触觉数据。将参照图32的流程图描述该触觉数据传送处理的流程的示例。[0251]当触觉数据传送处理开始时，在步骤s101中，传感器单元131在触觉接口134的多个观察点处检测动觉数据、触感数据、力数据等。在步骤s102中，传感器单元131使用这样的信息生成多点触觉数据。在步骤s103中，合成器151通过执行每个观察点的多点触觉数据的整合等来生成kt映射。[0252]在步骤s104中，编码单元152使用样本之间的预测对kt映射进行编码以生成编码数据。[0253]在步骤s105中，容器处理单元153将编码数据存储在容器中并生成传送数据。在步骤s106中，容器处理单元153传送传送数据。[0254]当如上所述传送包括触觉数据的传送数据时，触觉数据传送处理结束。[0255]以这种方式，可以传送多个观察点的触觉数据，并且可以以更高准确度执行远程控制。[0256]《触觉数据接收处理的流程》[0257]接下来，将参照图33的流程图描述触觉数据接收处理的流程的示例。[0258]当触觉数据接收处理开始时，在步骤s131中，容器处理单元161接收传送的数据并提取编码数据。在步骤s132中，解码单元162对编码数据进行解码以再现kt映射。在步骤s133中，解码单元162使用kt映射再现多点触觉数据。[0259]在步骤s134中，渲染器132使用多点触觉数据执行渲染以再现用于控制致动器133的控制信息。[0260]在步骤s135中，致动器133基于在步骤s134中生成的控制信息来驱动触觉接口134。[0261]当触觉接口134被驱动时，触觉数据接收处理结束。[0262]以这种方式，可以接收多个观察点的触觉数据，并且可以以更高准确度执行远程控制。[0263]《3.第二实施方式》[0264]《mpd的应用》[0265]如上所述，远程控制系统100还可以将mpd应用于触觉数据的再现。在这样的情况下，本地系统101可以针对由此检测到的触觉数据生成mpd，并且将mpd登记在mpd服务器103中。[0266]《mpd生成处理的流程》[0267]将参照图34的流程图描述用于生成这样的mpd的mpd生成处理的流程的示例。[0268]当mpd生成处理开始时，在步骤s161中，mpd生成单元154从合成器151获取多点触觉数据，并且基于多点触觉数据来生成与多点触觉数据对应的mpd。[0269]在步骤s162中，容器处理单元153将在步骤s161中生成的mpd传送至mpd服务器103。当传送mpd时，mpd传送处理结束。[0270]通过以这种方式针对多点触觉数据生成mpd并将其登记在mpd服务器中，可以执行基于mpd的再现控制。[0271]《mpd控制处理的流程》[0272]将参照图35的流程图描述mpd控制处理的流程的示例，该mpd控制处理是与使用mpd的触觉数据的再现控制有关的处理。[0273]当mpd控制处理开始时，在步骤s191中，mpd控制单元163经由容器处理单元161从mpd服务器103请求并获取mpd。[0274]在步骤s192中，mpd控制单元163基于通过步骤s191的处理获取的mpd来选择要获取的触觉数据。[0275]在步骤s193中，mpd控制单元163经由容器处理单元161从远程系统102请求通过步骤s192的处理选择的触觉数据。[0276]基于以上提及的请求提供的触觉数据可以通过本地系统101执行上述触觉数据接收处理来获取。[0277]《容器的配置示例》[0278]在图36的a中示出了用于存储触觉数据的容器的主要配置示例。触觉数据存储在例如iso基础媒体文件格式(isobmff)的容器(传送数据)中。在该isobmff的情况下，容器具有初始化段(is)和媒体段(ms)，如图36的a所示。轨道标识信息(trackid)、时间戳(timestamp)等存储在ms中。另外，dashmpd与该ms相关联。[0279]图36的a示出了当媒体段未被分段时容器的状态的示例。图36的b示出了当媒体段被分段时容器的状态的示例。媒体段包含moof和mdat作为影像片段。[0280]dashmpd根据组id(group_id)与媒体段的moof相关联。图37的a示出了在从本地侧传送的情况下的示例。图37的b示出了在从远程侧传送的情况下的示例。[0281]此外，当本地存在多个触觉装置时，一个mpd可以与多个moof相关联，如图38所示。即使在这样的情况下，也根据组id执行关联。如在该示例中那样，触觉数据可以存储在各个组的不同轨道中。[0282]《轨道的分配》[0283]关于触觉数据，可以将一个组分配给媒体文件的一个轨道。图39示出了当存储图7的示例的触觉数据时的容器配置的示例。另外，图40示出了当存储图11的示例的触觉数据时的容器配置的示例。此外，图41示出了当存储图16的示例的触觉数据时的容器配置的示例。[0284]《文件格式的数据布置》[0285]例如，如图42所示，一个触觉装置121(触觉接口134)的所有观察点的触觉数据可以设置在容器的一个轨道中。在这种情况下，轨道被分配给一个文件，并且moof被独立地设置在轨道内。hapticsamplegroupentry('hsge')指示同一时间的子部分之间的偏移位置、时间轴上升序的偏移位置、样本之间的偏移位置等以及每个观察点的连接布置。当编码目标是触感数据时这也同样适用。根据指示子部分之间的偏移位置的subpt_grp_offset，可以容易地根据再现侧的观察点的结构近似地拾取仅必要的subptrep组。[0286]图43示出了量化表(q_table)、值的精度(precision_of_positions)和连接链(connection_chain)的示例。connection_chain信息指示当subpartrep_ordering_type为“交错”时编码样本元素的放置顺序。也可以传送和接收速度和加速度信息而不是位置。另外，还可以传送和接收旋转位置和旋转速度信息而不是旋转加速度。[0287]《错误容限的考虑》[0288]当解码单元162对编码目标数据进行可变长度解码时，可以通过检测具有与正常数据的含义不同的含义的预定代码串(唯一字)，使由于传送过程中的错误而引起的劣化的影响最小化，可以检测下一时间数据或下一触觉帧的开始，并且可以从其重新开始解码处理。在图44中示出了示例。在图44中，斜线阴影矩形指示用于根据可变长度编码的唯一字来识别触觉帧的帧顶部的标识信息。此外，灰色的矩形指示用于根据可变长度编码的唯一字来识别时间数据的顶部(time_datatop)的标识信息。[0289]例如，“1111111111”可以是用于识别触觉帧的帧顶部的唯一字，而“1111111110”可以是用于识别时间数据的顶部(timedatatop)的唯一字。即，n个“1”可以在触觉帧的帧顶部处继续，(n-1)个“1”可以在时间数据的顶部(timedatatop)处继续，并且最大(n-2)个“1”可以在其他编码数据中继续。[0290]即使在发生包丢失的情况下(可以利用上层的校验和等进行检查)，也可以通过检查连续的“1”的数目来检测唯一字，并且可以在接收器中执行从预定定时的恢复。[0291]《接收侧的再现选择系统的确保》[0292]存在传送侧和接收侧的装置具有不同规模的关节点(即，传送侧的观察点的数目不同于接收侧的控制点的数目)的情况。当在传送侧操作的关节点的数目(m)不同于在接收侧可再现的关节点的数目(p)时，特别地，当m＞p时，可以仅解码与能够由接收侧再现的关节点对应的子点组。例如，如图45所示，可以仅选择要再现的子组(sbgsp)，并且可以跳过其他解码或再现。在图45的示例的情况下，跳过以灰色表示的子组(例如，sbgsp4和sbgsp6)的解码或再现。[0293]此时，作为接收侧的决定，针对mpd中的每个子表示中包括的每个子组集合检查关节点的位置信息的初始值。具有许多接近的并且可以在接收器中再现的关节点和位置信息的子组集合被用作再现目标。例如，当采用子组集合＝1、2、3和5时，跳过图45中以灰色表示的子组(子组集)。在跳过时，使用mpd中的subpt_grp_offset信息。[0294]从远程侧仅以采用的量传送当以这样的方式再现时到本地侧的反馈信息。根据该功能，可以将更广泛类型的再现装置用作触觉动觉再现装置。[0295]图46示出了与kt映射对应的isobmff文件格式的moof语法的示例。在图46中，/hsge和/connection_chain是被提供以对应于kt映射的元素。[0296]《接收侧通过mpd对分发目标的控制》[0297]接收侧可以访问mpd服务器103，获取并分析mpd文件，考虑接收侧的网络中的可能带宽，并且选择适当的比特率。此外，取决于接收侧的装置配置，可以执行用于选择要递送的观察点的规模的控制，使得规模在可再现范围内。[0298]为了实现上述功能，使用mpd中的补充描述符定义新模式。[0299]例如，当传送侧经由mpd服务器103接收比特率请求时，传送侧以实现请求的量化步长执行编码量化控制。这样的情况下的mpd的示例在图47中示出。图47是与图11的触觉数据对应的mpd的示例。图48至图50的子表示的描述被插入到图47中由交替的长短划线指示的帧701和帧702的部分中。图48至图50的子表示下方的位置数据、旋转加速度数据(rotaccdate)和力数据指示动态改变的初始值。在该示例中，编码比特率的总量可以从4mbps或2mbps中选择。[0300]另外，当传送侧经由mpd服务器103接收用于减小关节点的规模的请求时，传送侧减小子组(sub_group)的数目并且执行编码以实现该请求。这样的情况下的mpd的示例在图51中示出。图51是与图11的触觉数据对应的mpd的示例。图52和图53的子表示的描述被插入到图51中由交替的长短划线指示的帧711和帧712的部分中。图52和图53的子表示下方的位置数据、旋转加速度数据和力数据指示动态改变的初始值。在该示例中，子组的数目可以从6和4中选择。[0301]尽管图47至图53的示例描述了当从单个动觉装置传送触觉数据时的mpd，但是可以从多个动觉装置传送触觉数据。这样的情况下的mpd的示例在图54中示出。在图54的示例的情况下，提供两个适配集。向适配集分配不同的组id，并且适配集对应于不同的动觉装置。[0302]另外，图55示出了当双向传送触觉数据时与从本地系统101到远程系统102的触觉数据的传送对应的mpd的示例。在这种情况下，对远程系统102执行请求，使得远程系统102在与来自本地系统101的传送对应的mpd中返回诸如硬度、摩擦系数和温度信息的触感数据。例如，图55的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrhardness”value＝“ptb1queryhardness”/》是请求远程系统102将“硬度”作为触感(触感数据)返回的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrfriction”value＝“ptb1queryfriction”/》是请求远程系统102将“摩擦系数”作为触感(触感数据)返回的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrtemp”value＝“ptb1querytemperature”/》是请求远程系统102将“温度信息”作为触感(触感数据)返回的描述。类似地，图55的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrhardness”value＝“ptb2queryhardness”/》是请求远程系统102将“硬度”作为触感(触感数据)返回的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrfriction”value＝“ptb2queryfriction”/》是请求远程系统102将“摩擦系数”作为触感(触感数据)返回的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrtemp”value＝“ptb2querytemperature”/》是请求远程系统102将“温度信息”作为触感(触感数据)返回的描述。[0303]另外，图56示出了与图55的mpd对应的、与从远程系统102到本地系统101的触觉数据的传送(反馈传送)对应的mpd的示例。在该反馈传送中，基于图55的mpd中的请求来返回诸如硬度、摩擦系数和温度信息的触感数据。例如，图56的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pthardness”value＝“ptb1hardness”/》是示出响应于来自本地系统101的请求而将“硬度”作为触感数据反馈并且其初始值反映在ptb1hardness中的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:ptfriction”value＝“ptb1friction”/》是示出响应于来自本地系统101的请求而将“摩擦系数”作为触感数据反馈并且其初始值反映在ptb1friction中的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pttemp”value＝“ptb1temperature”/》是示出响应于来自本地系统101的请求而将“温度信息”作为触感数据反馈并且其初始值反映在ptb1temperature中的描述。类似地，图56的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pthardness”value＝“ptb2hardness”/》是示出响应于来自本地系统101的请求而将“硬度”作为触感数据反馈并且其初始值反映在ptb2hardness中的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:ptfriction”value＝“ptb2friction”/》是示出响应于来自本地系统101的请求而将“摩擦系数”作为触感数据反馈并且其初始值反映在ptb2friction中的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pttemp”value＝“ptb2temperature”/》是示出响应于来自本地系统101的请求而将“温度信息”作为触感数据反馈并且其初始值反映在ptb2temperature中的描述。[0304]图57是示出当双向传送触感数据时与从本地系统101到远程系统102的触感数据的传送对应的mpd的另一示例的图。在这种情况下，对远程系统102执行请求，使得远程系统102在与来自本地系统101的传送对应的mpd中返回作为频率和幅度值的振动信息。例如，图57的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibfreqency”value＝“ptb1queryvibfrequency”/》是请求远程系统102返回作为频率的振动信息的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibamplitude”value＝“ptb1queryvibamplitude”/》是请求远程系统102将返回作为幅度值的振动信息的描述。类似地，图57的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibfreqency”value＝“ptb2queryvibfrequency”/》是请求远程系统102将返回作为频率的振动信息的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibamplitude”value＝“ptb2queryvibamplitude”/》是请求远程系统102将返回作为幅度值的振动信息的描述。[0305]另外，图58示出了与图57的mpd对应的、与从远程系统102到本地系统101的触感数据的传送(反馈传送)对应的mpd的示例。在该反馈传送中，基于图57的mpd中描述的请求将振动信息作为频率和幅度值返回。例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibfreqency”value＝“ptb1vibfrequency”/》是示出响应于来自本地系统101的请求而将振动信息作为频率反馈并且其初始值反映在ptb1vibfrequency中的描述。此外，例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibamplitude”value＝“ptb1vibamplitude”/》是示出响应于来自本地系统101的请求而将振动信息作为幅度值反馈并且其初始值反映在ptb1vibamplitude中的描述。类似地，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibfreqency”value＝“ptb2vibfrequency”/》是示出响应于来自本地系统101的请求而将振动信息作为频率反馈并且其初始值反映在ptb2vibfrequency中的描述。此外，例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibamplitude”value＝“ptb2vibamplitude”/》是示出响应于来自本地系统101的请求而将振动信息作为幅度值反馈并且其初始值反映在ptb2vibamplitude中的描述。[0306]在图59和图60中示出了mpd语义的示例。[0307]《4.第三实施方式》[0308]《数字接口》[0309]在本地系统101和远程系统102中之一或这两者中，如图3所示，触觉装置121与通信装置122之间的触觉数据的传送可以经由数字接口123或数字接口124执行。如上所述，任何标准的数字装置的接口均可以应用于这些数字接口。例如，图61示出了当应用hdmi时数字接口123的主要配置示例。当应用hdmi时数字接口124的主要配置示例与图61的示例相同。在这种情况下，触觉装置121与通信装置122之间的触觉数据的传送使用hdmi的最小化传送差分信令(tmds)通道来执行。同时，即使通过光传送线路或无线电波来传送通过tmds通道传送的数据，也可以将其视为相同的前提。[0310]触感数据的传送与视频数据同步执行或者使用消隐时段(blankingperiod)来执行。在图62和图63中示出了该数据岛时隙中的元数据的插入的状态的示例。另外，在图64中示出了语义的示例。此外，在图65中示出了tmds通道中的触觉数据的传送格式的示例。[0311]《5.补充》[0312]《计算机》[0313]可以通过硬件或软件执行上述一系列处理。当通过软件执行一系列处理时，将包括软件的程序安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。[0314]图66是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。[0315]在图66中示出的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903经由总线904相互连接。[0316]输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。[0317]输入单元911可以包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、ram盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质921。[0318]在如上配置的计算机中，例如，cpu901通过经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到ram903并且执行程序来执行上述一系列处理。cpu901执行各种类型的处理所需的数据等也被适当地存储在ram903中。[0319]例如，由计算机执行的程序可以记录在作为封装介质等的可移除记录介质921上并应用于其。在这样的情况下，可以通过将可移除记录介质921安装在驱动器915中来经由输入/输出接口910将程序安装在存储单元913中。[0320]该程序也可以经由诸如局域网、租用线路网络或wan、因特网、卫星通信等的有线或无线传送介质来提供。在这种情况下，程序可以由通信单元914接收并且安装在存储单元913中。[0321]另外，程序也可以预先安装在rom902或存储单元913中。[0322]《本技术的应用目标》[0323]尽管上面已经将远程控制系统100的每个装置作为应用本技术的示例进行了描述，但是本技术可以应用于任何配置。[0324]例如，本技术可以应用于各种电子设备，例如卫星广播、有线广播如有线电视、因特网上的传送、局域网、使用专用线路的网络或wan、通过蜂窝通信到终端的传送中的传送器或接收器(例如，电视接收器或移动电话)等，或者将图像记录在诸如光盘、磁盘和闪存的介质上或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。[0325]例如，本技术可以被实现为诸如系统大规模集成(lsi)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者具有添加至单元的其他功能的组(例如，视频组)的装置的一部分的配置。[0326]例如，本技术还可以应用于由多个装置配置的网络系统。例如，本技术可以被实现为经由网络与多个装置协作共享或处理的云计算。例如，本技术可以被实现在向诸如计算机、视听(av)装置、便携式信息处理终端或物联网(iot)装置的任何终端提供与图像(运动图像)有关的服务的云服务中。[0327]在本说明书中，系统意指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件可以不在同一壳体中。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及在单个壳体中容纳多个模块的单个装置都是系统。[0328]可以通过硬件或软件执行上述一系列处理。当通过软件执行一系列处理时，将包括软件的程序安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。[0329]《其他》[0330]本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的本质精神的情况下进行各种修改。[0331]例如，可以将描述为一个装置(或处理单元)的配置划分并配置为多个装置(或处理单元)。另一方面，上面描述为多个装置(或处理单元)的配置可以被集合并配置为一个装置(或处理单元)。除了上述配置之外的配置可以被添加至每个装置(或每个处理单元)的配置。此外，当整个系统中的配置或操作基本相同时，某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。[0332]例如，上述程序可以在任何装置中执行。在这种情况下，装置可以具有必要的功能(功能块等)并且可以能够获得必要的信息。[0333]例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，当多种处理被包括在一个步骤中时，上述多种处理可以由一个装置执行，或者可以由多个装置共享并执行。换言之，也可以将一个步骤中包括的多种处理作为多个步骤的处理来执行。相比之下，被描述为多个步骤的处理可以作为一个步骤共同执行。[0334]例如，对于由计算机执行的程序，描述程序的步骤的处理可以按照本说明书中描述的顺序按时间顺序执行，或者可以在诸如调用时的必要定时处单独执行或并行执行。即，只要不发生不一致，就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与另一程序的处理并行执行或者可以与另一程序的处理组合执行。[0335]例如，只要不发生不一致，与本技术有关的多种技术就可以独立地单独实现。当然，可以组合使用本技术的任何数目的模式。例如，在任何实施方式中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部组合实现。此外，上述本技术的部分或全部可以与上面未描述的其他技术组合实现。[0336]本技术还可以配置如下。[0337](1)一种信息处理装置，包括传送单元，所述传送单元传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息。[0338](2)根据(1)所述的信息处理装置，其中，所述动觉数据包括关于所述观察点的位置的信息或关于所述观察点的速度的信息。[0339](3)根据(1)或(2)所述的信息处理装置，其中，所述触感数据包括以下中的至少之一：关于与所述观察点接触的另外的对象的硬度的信息，关于所述对象的摩擦系数的信息，以及关于所述对象的温度的信息。[0340](4)根据(1)至(3)中任一项所述的信息处理装置，其中，所述触觉数据包括按每个观察点分类的所述动觉数据、所述触感数据和所述力数据中的至少之一。[0341](5)根据(4)所述的信息处理装置，其中，所述触觉数据还包括指示所述观察点之间的关系的信息。[0342](6)根据(4)或(5)所述的信息处理装置，其中，所述传送单元将每个观察点的所述触觉数据存储在针对根据所述装置的控制结构的所述观察点的各个组的不同轨道中，并且传送所述触觉数据。[0343](7)根据(1)至(6)中任一项所述的信息处理装置，还包括编码单元，所述编码单元对所述触觉数据进行编码以生成编码数据，[0344]其中，所述传送单元传送由所述编码单元生成的所述编码数据。[0345](8)根据(7)所述的信息处理装置，其中，所述编码单元针对所述触觉数据，执行样本之间的预测以得出预测残差，并且对所述预测残差进行编码以生成所述编码数据。[0346](9)根据(1)至(8)中任一项所述的信息处理装置，还包括生成单元，所述生成单元生成用于控制所述触觉数据的再现的控制信息，[0347]其中，所述传送单元传送由所述生成单元生成的所述控制信息。[0348](10)一种信息处理方法，包括传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息。[0349](11)一种信息处理装置，包括：接收单元，所述接收单元接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息，以及[0350]驱动单元，所述驱动单元基于由所述接收单元接收的所述触觉数据来驱动用作接口的装置的多个被驱动点。[0351](12)根据(11)所述的信息处理装置，还包括控制单元，所述控制单元基于用于控制所述触觉数据的再现的控制信息来控制所述接收单元，[0352]其中，所述接收单元接收由所述控制单元指定的所述触觉数据。[0353](13)根据(12)所述的信息处理装置，其中，所述接收单元接收由所述控制单元指定的比特率的所述触觉数据。[0354](14)根据(12)或(13)所述的信息处理装置，其中，所述接收单元接收由所述控制单元指定的所述观察点的组的所述触觉数据。[0355](15)根据(11)至(14)中任一项所述的信息处理装置，其中，所述接收单元接收所述触觉数据的编码数据，并且[0356]所述信息处理装置还包括解码单元，所述解码单元对由所述接收单元接收的所述编码数据进行解码以生成所述触觉数据。[0357](16)根据(15)所述的信息处理装置，其中，所述编码数据是通过执行样本之间的预测而得出的所述触觉数据的预测残差的编码数据，并且[0358]所述解码单元对所述编码数据进行解码以生成所述预测残差，并且将过去样本的解码结果加至所述预测残差以生成当前样本的所述触觉数据。[0359](17)根据(16)所述的信息处理装置，其中，所述解码单元检测所述编码数据中包括的预定代码串，并且识别所述样本之间的预测的开始位置。[0360](18)根据(11)至(17)中任一项所述的信息处理装置，还包括渲染处理单元，所述渲染处理单元执行基于在具有所述被驱动点的所述装置的观察点处检测到的触觉数据以及由所述接收单元接收到的所述触觉数据来生成用于控制所述驱动单元的控制信息的渲染处理，[0361]其中，所述驱动单元基于由所述渲染处理单元生成的所述控制信息来驱动所述装置的多个所述被驱动点。[0362](19)根据(18)所述的信息处理装置，其中，所述渲染处理单元使用绝对坐标来校正所述控制信息。[0363](20)一种信息处理方法，包括：接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息，以及[0364]基于所接收的所述触觉数据来驱动用作接口的装置的多个被驱动点。[0365]附图标记列表[0366]100远程控制系统，101本地系统，102远程系统，103mpd服务器，121触觉装置，122通信装置，131传感器单元，132渲染器，133致动器，134触觉接口，141图像传感器，142空间坐标转换单元，151合成器，152编码单元，153容器处理单元，154mpd生成单元，155成像单元，156视频编码单元，161容器处理单元，162解码单元，163mpd控制单元，164视频解码单元，165显示单元，301三维刺激装置，302对象，311手套型装置，312对象，331kt映射，351远程装置，352对象，353虚拟对象，361飞行对象，362机器人手，371远程装置，372对象表面，381头戴式显示器，391机器人手，401合成单元，411位置关系确定单元，412位置校正单元，420装置，421加速度传感器，451触觉帧，501延迟单元，502算术运算单元，503量化单元，504可变长度编码单元，511可变长度解码单元，512去量化单元，513算术运算单元，514延迟单元。当前第1页12当前第1页12
背景技术：
：：2.传统上，已经构想了用于通过传送动觉数据、触感数据等来执行远程控制的系统(例如，参见非专利文献1和非专利文献2)。近年来，随着信息处理技术的改进，需要更准确的远程控制。3.引文列表4.非专利文献5.[非专利文献1][0006]“definitionandrepresentationofhaptic-tactileessenceforbroadcastproductionapplications”，smptest2100-1，2017[0007][非专利文献2][0008]p.hinterseer，s.hirche，s.chaudhuri，e.steinbach，m.buss，“perception-baseddatareductionandtransmissionofhapticdataintelepresenceandteleactionsystems”，ieeetransactionsonsignalprocessing技术实现要素：[0009]技术问题[0010]然而，在常规情况下，仅传送单个观察点的信息。因此，难以充分地提高远程控制的准确度，并且仅可以在远程侧再现简单的操作。[0011]鉴于这样的情况，本公开实现更准确的远程控制。[0012]问题的解决方案[0013]本技术的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括传送单元，该传送单元传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0014]本技术的一个方面的信息处理方法是一种信息处理方法，该信息处理方法包括传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0015]本技术的另一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：接收单元，该接收单元接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息；以及驱动单元，该驱动单元基于由接收单元接收的触觉数据来驱动用作接口的装置的多个被驱动点。[0016]本技术的另一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息；以及基于所接收的触觉数据来驱动用作接口的装置的多个被驱动点。[0017]在本技术的一个方面的信息处理装置和方法中，传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息。[0018]在本技术的另一方面的信息处理装置和方法中，接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，该动觉数据包括关于在观察点处检测到的动觉的信息，该触感数据包括关于在观察点处检测到的触感的信息，该力数据包括关于施加至观察点的力的大小的信息，以及基于所接收的触觉数据来驱动用作接口的装置的多个被驱动点。附图说明[0019]图1是示出触觉系统的概述的图。[0020]图2是示出远程控制系统的示例的图。[0021]图3是示出本地系统的主要配置示例的框图。[0022]图4是示出mpd系统的主要配置示例的框图。[0023]图5是示出触觉接口的示例的图。[0024]图6是示出三维刺激装置的示例的图。[0025]图7是示出触觉数据的示例的图。[0026]图8是示出刺激操作数据的示例的图。[0027]图9是示出手套型装置的示例的图。[0028]图10是示出手套型装置的使用示例的图。[0029]图11是示出触觉数据的示例的图。[0030]图12是示出kt映射(ktmap)的示例的图。[0031]图13是示出远程控制系统的应用示例的图。[0032]图14是示出远程控制系统的应用示例的图。[0033]图15是示出远程控制系统的应用示例的图。[0034]图16是示出触感数据的示例的图。[0035]图17是示出远程控制系统的应用示例的图。[0036]图18是示出远程控制系统的应用示例的图。[0037]图19是示出渲染器(renderer)的主要配置示例的框图。[0038]图20是示出渲染器的主要配置示例的框图。[0039]图21是示出gps信息的示例的图。[0040]图22是示出得出倾斜角的示例的图。[0041]图23是示出kt映射的示例的图。[0042]图24是示出kt映射的示例的图。[0043]图25是示出触觉数据的示例的图。[0044]图26是示出编码数据的帧结构的示例的图。[0045]图27是示出通过死区进行编码的示例的图。[0046]图28是示出编码触觉数据的示例的图。[0047]图29是示出编码单元和解码单元的主要配置示例的框图。[0048]图30是示出处理的状态的示例的图。[0049]图31是示出编码数据的帧内结构的示例的图。[0050]图32是示出触觉数据传送处理的流程的示例的流程图。[0051]图33是示出触觉数据接收处理的流程的示例的流程图。[0052]图34是示出mpd生成处理的流程的示例的流程图。[0053]图35是示出mpd控制处理的流程的示例的流程图。[0054]图36是示出使用mpd的数据参考的状态的示例的图。[0055]图37是示出使用mpd的数据参考的状态的示例的图。[0056]图38是示出使用mpd的数据参考的状态的示例的图。[0057]图39是示出容器的配置示例的图。[0058]图40是示出容器的配置示例的图。[0059]图41是示出容器的配置示例的图。[0060]图42是示出文件格式的数据的布置示例的图。[0061]图43是示出文件格式的示例的图。[0062]图44是示出文件格式的数据的布置示例的图。[0063]图45是示出文件格式的数据的布置示例的图。[0064]图46是示出文件格式的示例的图。[0065]图47是示出mpd的示例的图。[0066]图48是示出mpd的示例的图。[0067]图49是示出mpd的示例的图。[0068]图50是示出mpd的示例的图。[0069]图51是示出mpd的示例的图。[0070]图52是示出mpd的示例的图。[0071]图53是示出mpd的示例的图。[0072]图54是示出mpd的示例的图。[0073]图55是示出mpd的示例的图。[0074]图56是示出mpd的示例的图。[0075]图57是示出mpd的示例的图。[0076]图58是示出mpd的示例的图。[0077]图59是示出语义的示例的图。[0078]图60是示出语义的示例的图。[0079]图61是示出hdmi传送的配置示例的图。[0080]图62是示出元数据的示例的图。[0081]图63是示出元数据的示例的图。[0082]图64是示出语义的示例的图。[0083]图65是示出通过tmds通道的触觉数据的传送格式的示例的图。[0084]图66是示出计算机的主要配置示例的框图。具体实施方式[0085]在下文中，将描述用于实施本公开的模式(在下文中，被称为“实施方式”)。将按以下顺序给出描述。[0086]1.触觉传送[0087]2.第一实施方式(远程控制系统)[0088]3.第二实施方式(mpd的应用)[0089]4.第三实施方式(数字接口)[0090]5.补充[0091]《1.触觉传送》[0092]《触觉系统》[0093]远程社会(telexistencesociety)旨在通过将根据用户意愿控制的装置设置在空间上分开的地方并经由网络控制装置来实现瞬时空间移动的效果，并且被构想成引起人类增强的实现，对于人类增强，在远程侧再现引导控制的本地侧的动作，并且远程装置根据动作进行操作，使得进展和结果在任何时间被反馈至本地侧，人类被并入反馈系统中以免受时空约束，使得反馈使本地活动继续，并且人类能力可以被放大而不是仅仅是存在感。[0094]例如，图1的触觉系统10包括触觉装置11和触觉装置15，它们安装在彼此远离的位置处并且由传感器、致动器等构成。一个触觉装置传送由传感器检测到的触觉数据(动觉数据、触感数据等)，并且另一触觉装置接收触觉数据并且基于触觉数据来驱动致动器。通过交换这样的触觉数据，一个触觉装置的操作可以在另一触觉装置中再现。即，实现了远程操作。通过通信装置12与通信装置14经由网络13彼此通信来实现这样的触觉数据的交换。[0095]通信装置12也可以将来自触觉装置11的触觉数据反馈至触觉装置11。类似地，通信装置14也可以将来自触觉装置15的触觉数据反馈至触觉装置15。[0096]在这样的触觉数据的传送中，需要准确地描述多个本地动觉传感器的输出如何彼此结合地改变，并且将其传输至远程接收装置。[0097]触觉装置可以是例如弯曲的骨骼臂形状的装置或可以戴在手上的手套形状的装置。当操作者在本地侧移动作为触觉显示器的骨骼臂或手套时，每个关节处的位置信息和运动状态发生改变。[0098]作为触觉装置，已经构想了更高阶的触觉装置等，其将动觉传感器的配置中的自由度从第一(1自由度(1dof))改变为第三(3dof)，增加了关节点的数目。然而，当向远程侧传送时，仅限于单个关节点的信息。另外，在研究中，假设在三维空间中元素在单个向量上的投影，执行压缩编码并递送编码结果。[0099]关于形成动觉传感器的骨骼的多个关节点的信息可以通过组合来描述端部的运动，并且如果没有清楚地描述这样的互连信息，则无法在接收侧的再现装置中执行准确的追踪。[0100]因此，描述了由动觉传感器构成的每个关节部的连接信息，并且在传送时将连接信息作为元数据传送至接收侧。通过这样做，可以实现高动觉再现性和触感再现性。[0101]《2.第二实施方式》[0102]《远程控制系统》[0103]图2是示出作为应用本技术的通信系统(信息处理系统)的实施方式的远程控制系统的概述的图。图2中示出的远程控制系统100具有彼此远离的本地系统101和远程系统102。本地系统和远程系统102各自具有触觉装置，经由网络110彼此通信，并且通过交换触觉数据实现对触觉装置的远程控制。例如，对一个触觉装置的操作输入可以在另一触觉装置中再现。[0104]这里，尽管在描述中将通信的主体侧的系统称为本地系统101，并且将通信伙伴侧的系统称为远程系统102，但是本地系统101和远程系统102是基本上可以起到相同作用的系统。因此，除非另有说明，否则下面对本地系统101的描述也可以应用于远程系统102。[0105]本地系统101和远程系统102的配置是任意的。本地系统101和远程系统102可以具有不同的配置或相同的配置。此外，尽管在图2中示出了一个本地系统101和一个远程系统102，但是远程控制系统100可以包括任意数目的本地系统101和远程系统102。[0106]另外，远程控制系统100可以包括mpd服务器103。mpd服务器103执行与对本地系统101和远程系统102的媒体呈现描述(mpd)的登记和提供有关的处理。本地系统101和远程系统102可以使用该mpd来选择和获取必要的信息。当然，mpd服务器103的配置也是任意的，并且其数目也是任意的。[0107]可以省略该mpd服务器103。例如，本地系统101或远程系统102可以向通信伙伴提供mpd。此外，例如，本地系统101和远程系统102可以在不使用mpd的情况下交换触觉数据。[0108]网络110例如被配置为任何有线通信网络或无线网络或这两者，例如局域网、专用线路网络、广域网(wan)、因特网或卫星通信。此外，网络110可以被配置为多个通信网络。[0109]《本地系统》[0110]图3是示出本地系统101的主要配置示例的框图。如图3所示，本地系统101包括触觉装置121、通信装置122、数字接口123和数字接口124。[0111]触觉装置121是可以用作用户或远程装置的接口的装置，并且生成触觉数据或基于触觉数据来进行操作。另外，例如，触觉装置121可以经由数字接口123向通信装置122提供触觉数据等。此外，触觉装置121可以经由数字接口124获取从通信装置122提供的触觉数据等。[0112]通信装置122可以经由网络110(图2)与其他装置通信。例如，通信装置122可以通过通信交换触觉数据和交换mpd。此外，例如，通信装置122可以经由数字接口123获取从触觉装置121提供的触觉数据等。此外，通信装置122可以经由数字接口124向触觉装置121提供触觉数据等。数字接口123和数字接口124是用于例如通用串行总线(usb)(注册商标)和高清晰度多媒体接口(hdmi)(注册商标)的任意标准的数字设备的接口。[0113]触觉装置121包括传感器单元131、渲染器132、致动器133和触觉接口(i/f)134。[0114]传感器单元131检测在触觉接口134中的观察点处的动觉数据、触感数据等，并且将检测到的数据作为触觉数据提供给通信装置122。传感器单元131还可以向渲染器132提供触觉数据。[0115]传感器单元131可以包括任何传感器，例如，检测位置和运动的磁传感器、超声波传感器和全球定位系统(gps)传感器，检测诸如角速度的运动状态的陀螺仪传感器，检测加速度的加速度传感器等，只要传感器可以检测到必要的数据即可。例如，传感器单元131可以包括图像传感器141和空间坐标转换单元142。图像传感器141向空间坐标转换单元142提供捕获图像数据。空间坐标转换单元142从图像得出触觉接口134的观察点(例如，关节等)的空间坐标(三维坐标系的坐标)。空间坐标转换单元142可以将坐标数据作为触觉数据提供给通信装置122和渲染器132。[0116]图像传感器141可以具有深度方向的检测功能。这样，空间坐标转换单元142可以更容易地使用捕获图像及其深度值来得出观察点的空间坐标。此外，传感器单元131可以具有多个传感器。[0117]渲染器132使用从通信装置122提供的从另一外部装置传送的触觉数据执行渲染，以生成用于致动器的控制信息。渲染器132将控制信息提供给致动器133。渲染器132还可以使用从传感器单元131(空间坐标转换单元142)提供的触觉数据执行渲染。[0118]致动器133响应于从渲染器132提供的控制信息驱动触觉接口134。例如，致动器133使触觉接口134再现由传送的触觉数据表示的运动(动觉、触感等)。[0119]触觉接口134用作作为用户的操作者、远程装置等的动觉数据、触感数据等的接口。例如，触觉接口134由致动器133控制以再现与从渲染器132输出的触觉数据对应的运动、触感等。[0120]通信装置122执行与触觉数据的传送/接收有关的处理。在图3的示例的情况下，通信装置122包括合成器151、编码单元152、容器处理单元153、mpd生成单元154、成像单元155和视频编码单元156。[0121]合成器151将从触觉装置121(传感器单元131)提供的触觉数据转换成用于传送的格式(例如，生成稍后将描述的kt映射)。合成器151将用于传送的触觉数据提供给编码单元152。此外，合成器151还可以将用于传送的触觉数据提供给mpd生成单元154。[0122]编码单元152获取并编码从合成器151提供的触觉数据以生成触觉数据的编码数据。编码单元152将编码数据提供给容器处理单元153。[0123]容器处理单元153执行与传送数据的生成有关的处理。例如，容器处理单元153可以获取从编码单元152提供的触觉数据的编码数据，将编码数据存储在传送数据中，并且将其传送至远程系统102。[0124]此外，针对在触觉装置121中生成的触觉数据，通信装置122可以生成作为用于控制触觉数据的再现的控制信息的mpd。[0125]例如，mpd生成单元154可以从合成器151获取触觉数据，针对触觉数据生成mpd，并且将生成的mpd提供给编码单元152。在这样的情况下，编码单元152可以获取从mpd生成单元154提供的mpd并且对mpd进行编码以生成mpd的编码数据，并且将编码数据提供给容器处理单元153。容器处理单元153可以将从编码单元152提供的mpd的编码数据存储在传送数据中，并且将其传送至例如mpd服务器103。容器处理单元153可以将其中存储有mpd的编码数据的传送数据传送至远程系统102。[0126]此外，通信装置122还可以传送不是触觉数据的数据。例如，通信装置122可以对触觉装置121进行成像并且将捕获图像传送至远程系统102。[0127]例如，成像单元155可以包括图像传感器等，对触觉装置121(或触觉装置121的用户)进行成像，生成捕获图像数据，并且将捕获图像数据提供给视频编码单元156。视频编码单元156可以获取并编码从成像单元155提供的捕获图像数据以生成捕获图像数据的编码数据并且将编码数据提供给容器处理单元153。在这样的情况下，容器处理单元153可以将从视频编码单元156提供的捕获图像数据的编码数据存储在传送数据中，并且将传送数据传送至例如远程系统102。[0128]此外，通信装置122包括容器处理单元161、解码单元162、mpd控制单元163、视频解码单元164和显示单元165。[0129]容器处理单元161执行从传送数据中提取期望数据的处理。例如，容器处理单元161可以接收从远程系统102传送的传送数据，从传送数据中提取触觉数据的编码数据，并且将提取的编码数据提供给解码单元162。[0130]解码单元162可以获取从容器处理单元161提供的触觉数据的编码数据并对其进行解码以生成触觉数据并且将生成的触觉数据提供给触觉装置121(的渲染器132)。[0131]另外，通信装置122可以使用mpd控制触觉数据的再现。[0132]例如，容器处理单元161可以从mpd服务器103获取其中存储有与期望触觉数据对应的mpd的传送数据，从传送数据中提取mpd的编码数据，并且将其提供给解码单元162。解码单元162可以对编码数据进行解码以生成mpd并且将mpd提供给mpd控制单元163。mpd控制单元163可以获取从解码单元162提供的mpd，使用mpd控制容器处理单元161，并且使其中存储有期望的触觉数据的编码数据的传送数据被获取。[0133]此外，通信装置122还可以接收不是触觉数据的数据。例如，通信装置122可以从远程系统102接收触觉装置121的捕获图像。[0134]在这样的情况下，容器处理单元161可以接收从远程系统102传送的传送数据，从传送数据中提取捕获图像数据的编码数据，并且将提取的编码数据提供给视频解码单元164。视频解码单元164可以获取从容器处理单元161提供的编码数据并对编码数据进行解码以生成捕获图像数据并且将生成的捕获图像数据提供给显示单元165。显示单元165包括诸如监视器或投影仪的任意显示装置，并且可以显示与提供的捕获图像数据对应的捕获图像。[0135]远程系统102可以具有与本地系统101相同的配置。即，参照图3给出的描述也可以应用于远程系统102。[0136]《mpd服务器》[0137]图4是示出mpd服务器103的主要配置示例的框图。在图4中示出的mpd服务器103中，中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203经由总线204连接。[0138]输入/输出接口210也连接至总线204。输入单元211、输出单元212、存储单元213、通信单元214和驱动器215连接至输入/输出接口210。[0139]输入单元211可以包括任何输入装置，例如键盘、鼠标、麦克风、触摸板、图像传感器、运动传感器或各种其他传感器。此外，输入单元211可以包括输入端子。输出单元212可以包括任何输出装置，例如显示器、投影仪、扬声器等。此外，输出单元212可以包括输出端子。[0140]存储单元213例如包括诸如硬盘、ram盘或非易失性存储器的任意存储介质，以及将信息写入存储介质或从存储介质读取信息的存储控制单元。通信单元214包括例如网络接口。驱动器215驱动诸如磁盘、光盘、磁光盘或半导体存储器的任意可移除记录介质221，并且将信息写入可移除记录介质221或从可移除记录介质221读取信息。[0141]在如上所述的那样配置的mpd服务器103中，cpu201例如通过经由输入/输出接口210和总线204将存储在存储单元213中的程序加载到ram203中并执行程序，来实现由稍后将描述的功能块指示的各种功能。ram203还适当地存储cpu201执行各种类型的程序处理所需的数据等。[0142]例如，由计算机执行的程序可以记录在作为封装介质等的可移除记录介质221上并应用于其。在这样的情况下，可以通过将可移除记录介质221安装在驱动器215中来经由输入/输出接口210将程序安装在存储单元213中。[0143]该程序也可以经由诸如局域网、专用线路网络或wan、因特网、卫星通信等的有线或无线传送介质来提供。在这样的情况下，程序可以由通信单元214接收并被安装在存储单元213中。[0144]另外，可以将该程序预先安装在rom202或存储单元213中。[0145]《多个关节信息的力表示/传送》[0146]例如，远程控制系统100表示当力施加至诸如安装在触觉接口134上的触笔或手柄的对象时施加至触觉接口134的装置位置(关节等)的力，如图5所示。[0147]另外，远程控制系统100传送关于多个装置位置(多个关节等)的触觉数据(动觉数据和触感数据)。[0148]在下文中，假设触觉数据包括以下中的至少之一：在装置位置处检测到的动觉数据，在装置位置处检测到的触感数据，以及表示施加至装置位置的力的力数据。[0149]当仅再现端部的运动时，即使一条位置信息也能够被表示，但是从视点到端部的关节点的运动不能被如实地再现，限制了使用。如果关节点被配置在多个级中，并且需要再现每个关节点的位置和关于动作的点的信息、例如每个关节点的位置处的力或扭矩，则可以通过描述传感器输出的偏航(yaw)/俯仰(pitch)/横滚(roll)的旋转信息和关于每个关节点的力/扭矩的信息来执行更准确的控制。[0150]另外，通过描述多级传感器输出中的每一个并将连接信息作为元数据传送至接收侧，可以在接收侧的再现装置中执行更准确的追踪。远程控制系统100可以通过描述由动觉传感器构成的每个关节部的连接信息，并且在传送时将连接信息作为元数据传送至接收侧，来实现高动觉再现性。[0151]《用例1》[0152]将描述远程控制系统100的应用示例。例如，如图6所示的三维刺激装置301可以作为触觉接口134来应用，并且远程控制系统100可以应用于在远程位置处再现三维刺激装置301的运动的系统。[0153]在三维刺激装置301中，杆状对象302附接至具有多个关节的臂的末端，并且对象302的位置和姿势由臂支承。换言之，当用户等移动对象302或改变其姿势时，例如，三维刺激装置301可以通过臂检测对象302的位置或姿势的改变。[0154]对象302例如用作笔、指针等。例如，当用户移动对象302写字或者画线或图片时，三维刺激装置301可以通过臂检测对象302的位置或姿势的改变，并且获得能够表示改变的触觉数据。例如，可以通过使用触觉数据控制具有与三维刺激装置301的驱动机构类似的驱动机构的装置的运动来再现以上提及的对象302的运动。[0155]如图6所示，臂具有多个关节(可移动部)。传感器单元131使用三维刺激装置301(触觉接口134)的多个关节和附接有对象302的臂的末端作为观察点，并且检测关于每个观察点的触觉数据。[0156]例如，将臂的三个关节点以从根侧(图中的左侧)开始顺序地设置为观察点art_1、观察点art_2和观察点art_3。另外，将臂的末端(附接有对象302的位置)设置为观察点art_4。观察点的连接位置关系从运动的原点开始顺序为art_1-》art_2-》art_3-》art_4，并且art_1为运动的原点并且成为后续连接关系的支点。也可以将原点设置在另一位置处，并且将art_1设置为相对于原点具有偏移的位置。[0157]传感器单元131检测关于观察点的关于位置的信息、关于运动的信息、以及关于施加力的信息作为触觉数据。关于位置的信息包括指示观察点的位置的信息。关于运动的信息包括指示附接至观察点的对象302的运动(姿势改变量)的信息。在图6的示例的情况下，仅针对附接有对象302的观察点art_4获得该信息。关于施加力的信息包括指示在观察点处在竖直方向上施加的力的大小和方向(推、拉等)的信息。在图6的示例的情况下，该力表示通过对象302施加的力。因此，仅针对附接有对象的观察点art_4获得该信息。[0158]传感器单元131输出如图7的表中所示的信息作为触觉数据。图7的示例对应于图6的示例。在图7的表中，p_id是观察点的标识信息(id)。在图7的示例的情况下，检测关于四个观察点a1(图6中的art_1)至a4(图6中的art_4)的触觉数据。upsp指示在支点方向上位于上游的相邻观察点(关节点)。例如，观察点a2(art_2)的upsp为观察点a1(art_1)，观察点a3(art_3)的upsp为观察点a2(art_2)，并且观察点a4的upsp(art_4)为观察点a4(art_4)。由于观察点a1(art_1)为最高观察点(在臂的第一根侧)，因此观察点a1本身被分配给其upsp。[0159]支点关节点位置是指示观察点的位置的信息。表示观察点的位置的方法是任意的。例如，观察点的位置可以由以观察点的支点为原点的坐标(例如，xyz坐标)表示(x1/y1/z1，x2/y2/z2，x3/y3/z3，x4/y4/z4)。通过取与相邻关节点的向量的绝对值来唯一地获得回转半径r。此外，通过将这些坐标与以上提及的观察点之间的连接位置关系组合，可以由单个坐标系来表示每个观察点的位置。[0160]刺激操作是关于观察点的运动的信息。如上所述，仅针对附接有对象的观察点art_4获得该信息。表示该运动的方法是任意的。例如，如图8所示，其可以由以x、y和z坐标轴为旋转轴(pt4/yw4/rl4)的旋转方向(俯仰、偏航和横滚)上的运动(速度)表示。[0161]力是关于施加至观察点的力的信息。如上所述，仅针对附接有对象的观察点art_4获得该信息。表示该力的方法是任意的。例如，其可以由力的大小、例如牛顿(n)来表示(n4)。另外，可以由值的符号指示力的方向。例如，正值可以指示将对象302推向观察点art_4的方向上的力，而负值可以指示使对象302离开观察点art_4移动的方向(拉的方向)上的力。此外，臂等的质量(m)可以用作已知信息，并且加速度(a)可以用来表示该力(f＝ma)。[0162]同时，可以对具有被链接的运动(具有相关的运动)的观察点进行分组。另外，可以由组中的观察点之间具有较强关系的观察点形成子组(sub_gp)。例如，由于观察点a1至a4是一个三维刺激装置301的观察点，因此观察点a1至a4具有相关操作并且因此可以被分组。另外，由于观察点a1至a4也是一个臂的观察点，因此观察点a1至a4在其操作之间具有更强的关系并且因此可以形成子组。在图7的示例的情况下，形成由观察点a1构成的子组和由观察点a2至a4构成的子组。以这种方式，用作支点的最根侧的观察点可以形成单独的子组。[0163]图7的表是示例，并且由传感器单元131输出的触觉数据不限于图7的示例。由传感器单元131输出的触觉数据可以包括以下中的至少之一：包括关于在观察点处检测到的动觉的信息的动觉数据，包括关于在观察点处检测到的触感的信息的触感数据，以及包括关于施加至观察点的力的大小的信息的力数据。[0164]在图7的示例中，支点关节点位置是关于观察点的位置的信息和关于动觉的信息。此外，刺激操作是关于观察点的速度的信息和关于动觉的信息。即，支点关节点位置和刺激操作的数据被包括在动觉数据中。另外，力是关于施加至观察点的力的大小的信息。即，力的数据被包括在力数据中。[0165]即，例如，由传感器单元131输出的触觉数据可以包括触感数据，或者可以省略图7中示出的信息的一部分。[0166]例如，远程控制系统100可以通过传送如图7的示例中的关于多个观察点的触觉数据来表示对象302的运动，该对象302的运动不能仅使用观察点art_4的位置信息来表示。另外，还可以表示施加力。因此，可以以更高准确度执行远程控制。[0167]《用例2》[0168]另外，例如，如图9所示的手套型装置311可以作为触觉接口134来应用，并且远程控制系统100可以应用于在远程位置处再现手套型装置311的运动的系统。[0169]手套型装置311是手套类型的装置，并且例如当用户等将手套型装置像手套一样穿戴在他/她的手上并移动它时，可以检测到运动。如图9所示，传感器单元131使用手套型装置311的腕、关节、指尖等作为观察点。观察点a1是手套型装置311的腕。观察点a2和a3是拇指的关节，并且观察点b1是拇指的末端。观察点a4至a6是食指的关节，并且观察点b2是食指的末端。观察点a7至a9是中指的关节，并且观察点b3是中指的末端。观察点a10至a12是无名指的关节，并且观察点b4是无名指的末端。观察点a13至a15是小指的关节，并且观察点b5是小指的末端。[0170]如用例1的情况中那样，传感器单元131检测关于这些观察点的触觉数据。例如，当用户穿戴手套型装置311并抓握对象312(例如，智能电话)时，如图10所示，传感器单元131检测手指的运动、即各个观察点的运动，并且输出触觉数据。图11的表示出了触觉数据的示例。[0171]类似于图7的示例，图11的表示出了关于每个观察点的p_id、upsp和支点关节位置。另外，示出了关于与对象312接触的观察点(例如，观察点a2、a3、a6、a9、a12和a15)中的每一个的刺激操作。此外，示出了施加至手指的末端处的观察点(例如，观察点b1至b5)中的每一个的力。表示这样的信息的方法如用例1的情况中那样是任意的。[0172]另外，在这种情况下，如图11的表中的虚线框所示，观察点针对每个手指分为子组。例如，作为支点的观察点a1，拇指的观察点a2、a3和b1，食指的观察点a4、a5、a6和b2，中指的观察点a7、a8、a9和b3，无名指的观察点a10、a11、a12和b4，以及小指的观察点a13、a14、a15和b5分别分为子组。[0173]图11的表是示例，并且由传感器单元131输出的触觉数据不限于图11的示例。由传感器单元131输出的触觉数据可以包括以下中的至少之一：包括关于在观察点处检测到的动觉的信息的动觉数据，包括关于在观察点处检测到的触感的信息的触感数据，以及包括关于施加至观察点的力的大小的信息的力数据。[0174]在图11的示例中，支点关节点位置是关于观察点的位置的信息和关于动觉的信息。此外，刺激操作是关于观察点的速度的信息和关于动觉的信息。即，支点关节点位置和刺激操作的数据被包括在动觉数据中。另外，力是关于施加至观察点的力的大小的信息。即，力的数据被包括在力数据中。[0175]即，例如，由传感器单元131输出的触觉数据可以包括触感数据，或者可以省略图11中示出的信息的一部分。[0176]例如，远程控制系统100可以通过传送如图11的示例中的关于多个观察点的触觉数据来表示对象302的运动，该对象302的运动不能仅使用指尖处的观察点b1至b5的位置信息来表示。另外，还可以表示施加力。因此，可以以更高准确度执行远程控制。[0177]《kt映射》[0178]可以使用例如图12中示出的动觉和触感(kt)映射331来针对每个观察点整合(可以针对每个观察点分类)如上所述的关于多个观察点的触觉数据的每条信息。图12中示出的kt映射是这样的表，其中针对每个观察点整合(针对每个观察点分类)关于每个观察点的触觉数据。[0179]如图12所示，在该kt映射331中，观察点被分组，并且示出了每个组的标识信息(组id)。在这样的组中，指示了每个观察点的标识信息(p_id)，并且对于每个p_id，诸如upsp、支点关节点位置、刺激操作、力(n)、硬度(g)、摩擦系数(μ)和温度(℃)的信息相关联。[0180]p_id、upsp、支点关节点位置、刺激操作和力(n)是与图7和图11中的信息相同的信息。力的类型可以是压力。压力由施加至单位面积的力表示，并且例如n/m2或帕斯卡p为单位。硬度(g)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的硬度的信息。这里，表示硬度的单位被假定为刚性。刚性是一种弹性模量，其是确定变形的难度的物理属性值，并且可以以gpa表示。gpa值越大表示硬度越大。摩擦系数(μ)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的摩擦系数的信息。可以从通过将摩擦力除以作用在接触表面上的法向力而获得的无量纲量(μ＝f/n)获得摩擦系数。温度(℃)是指示在观察点处检测到的、与触觉接口134接触的对象的表面的温度的信息。即，硬度(g)、摩擦系数(μ)和温度(℃)都是关于与触觉接口134接触的对象的表面的信息，即关于触感的信息。即，该数据被包括在触感数据中。[0181]通过以这种方式形成整合了每个观察点的触觉数据的kt映射331，可以更容易地选择和交换期望观察点的触觉数据。此外，通过以如图12的示例中所示的表的形式将触觉数据配置为kt映射331，可以更容易地选择和交换期望观察点的期望信息。因此，可以控制和调整与触觉数据的传送有关的通信和处理的负荷。[0182]同时，kt映射331可以包括每个观察点的触觉数据，并且其细节不限于图12中示出的示例。例如，图12中未示出的信息可以被包括在kt映射331中，或者可以省略图12中示出的信息的一部分。此外，观察点可以如图7和图11的示例的情况中那样分为子组。[0183]《用例3》[0184]远程控制系统100可以双向地传送这样的触觉数据。例如，如图13所示，当本地操作者操作手套型装置311时，在手套型装置311的多个观察点(黑色圆圈)处检测到的触觉数据(每个观察点的位置、速度和加速度的数据等、施加力数据等)被传送(转发)至远程位置处的远程装置351。远程装置351是与手套型装置311对应的手形装置(所谓的机器人手)，并且是远程系统102的触觉接口134。[0185]远程装置351基于传送的多条观察点触觉数据来控制诸如其关节的多个控制点(白色圆圈)，以抓握作为抓握目标的预定对象352(例如，球等)。[0186]当通过抓握对象352在远程装置351的多个观察点(白色圆圈)处检测到诸如动觉数据、触感数据和力数据的触觉数据时，触觉数据(每个观察点的位置、速度和加速度的数据等、施加力数据等)被传送(反馈)至本地操作者的手套型装置311。即，在这种情况下，在装置的力点(抓握对象的部分)处存在动觉传感器，并且对施加力进行检测、量化并将其传送至另一方。力点的位置独立于关节点的位置，并且可以是任何位置。[0187]通过以这种方式执行反馈传送，手套型装置311可以再现由远程装置351检测到的、在抓握对象352时的反作用力。即，本地操作者可以感觉到反作用力。因此，当远程装置351反馈与接收的信号具有相同大小的力作为相反方向上的反作用力时，本地操作者通过用手指抓握而感觉到位置是稳定的。通过调整施加至手套型装置311的力使得本地操作者可以获得这样的感觉，可以执行远程控制使得远程装置351可以稳定地抓握对象352。即，可以以更高准确度执行远程控制。[0188]同时，该反馈传送可以仅在通过抓握对象352而更新了前向传送的动觉数据的情况下执行。[0189]《用例4》[0190]同时，可以通过无线通信传送触觉数据。例如，如图14所示，远程控制系统100可以应用于设置在例如所谓的无人机的飞行对象361上的机器人手362的远程控制。在这种情况下，本地操作者操作手套型装置311以输入对机器人手362的操作。本地系统101将位置数据和力数据作为在手套型装置311中检测到的动觉数据通过无线通信传送至飞行对象361。飞行对象361将信息提供给机器人手362，并且机器人手362根据其控制被驱动以执行诸如抓握对象的操作。当机器人手362抓握对象等时，其位置数据和力数据如用例3的情况中那样被反馈至手套型装置311。本地操作者可以体验基于反馈的位置数据和力数据由手套型装置311再现的动觉、触感等，同时远程控制机器人手362。[0191]这样的远程控制可以应用于例如救援飞行对象361飞行至事故现场并且通过机器人手362抓握在事故现场发现的人的身体以对人进行救援的操作等。例如，机器人手362可以与本地操作者的手结合地移动并且绕人的周围抱持他/她。此外，此时，可以通过反馈传送来确认本地操作者是否正在抱持人。同时，反馈数据可以包括视频和音频数据。[0192]《用例5》[0193]另外，远程控制系统100可以应用于通过远程装置检测材料的表面状态的系统。例如，如图15所示，当本地操作者穿戴手套型装置311并且在图中从上到下扫描时，在手套型装置311中检测到的触觉数据被前向传送至远程位置处的远程装置371，并且在远程装置371中再现手套型装置311的运动。即，远程装置371在图中从上到下扫描对象表面372。[0194]根据该扫描，远程装置371检测对象表面372的不平坦的状态等。该触觉数据被反馈至本地操作者侧的手套型装置311。手套型装置311基于触觉数据通过触觉致动器再现由远程装置371检测到的对象表面372的不平坦性。因此，本地操作者可以确定没有直接接触的不平坦性。[0195]例如，关于触感的检测，本地操作者可以通过用两个手指以预定力操作来同时检测具有宽度的范围。当位置信息在某个时间改变时，当以由位置信息计算的速度v(mm/sec)追踪具有λmm的表面不平坦间隔的材料时，在皮肤表面上生成具有f＝v/λhz的频率的振动。当追踪该振动时，例如，变成如图16所示。因此，从两个手指(触点)的位置信息，可以确定，作为并排的两个手指的并行扫描的结果的触感数据的反馈模式在具有微小时间差的情况下在其间具有相似关系。因此，可以确定表面以由两个手指扫描的距离对角地具有不平坦性。[0196]通过在本地侧以这种方式比较两个手指的位置和该位置处获得的触感反馈信息，可以更准确和高效地确定多个位置的表面的形状、不平坦性、粗糙度和光滑度，并且确定纹理和结构作为表面。可以使用从本地侧传送的力信息来控制要在远程侧施加的力的程度。以这种方式，即使在传送仅触感而不分发视频的情况下，也可以通过同时扫描多个点来确定对象表面的纹理。[0197]《用例6》[0198]此外，扩展现实(xr)可以应用于系统。例如，如图17所示，可以通过显示虚拟手部的视频来提高感觉的真实性。在图17的示例的情况下，本地操作者穿戴手套型装置311-1并且执行与远程位置处的远程操作者的虚拟握手操作。远程操作者也穿戴手套型装置311-2并且类似地执行与本地操作者的虚拟握手操作。[0199]根据前向传送和反馈传送，交换在每个手套型装置311中检测到的触觉数据，并且由另一侧的手套型装置311的动觉/触感致动器再现运动。[0200]另外，本地操作者穿戴头戴式显示器(hmd)381-1。类似地，远程操作者穿戴头戴式显示器(hmd)381-2。当不需要在描述中将头戴式显示器381-1和头戴式显示器381-2彼此区分时，将头戴式显示器381-1和头戴式显示器381-2称为头戴式显示器381。头戴式显示器381配备有用于识别周围环境的图像传感器。[0201]头戴式显示器381-1显示包括与由本地操作者操作的手套型装置311-1对应的真实手部的图像和与由远程操作者操作的手套型装置311-2对应的虚拟手部的图像的虚拟空间的视频。与手套型装置311-1对应的虚拟手部的图像是基于在手套型装置311-1中检测到的触觉数据生成的。即，真实手部的图像再现由本地操作者操作的手套型装置311-1的运动的状态。类似地，与手套型装置311-2对应的虚拟手部的图像是基于从手套型装置311-2传送的触觉数据生成的。即，该虚拟手部的图像再现由远程操作者操作的手套型装置311-2的运动的状态。[0202]本地操作者例如可以通过在观看显示在头戴式显示器381-1上的视频的同时操作手套型装置311-1，在显示在头戴式显示器381-1上的虚拟空间中执行虚拟手部握手。此外，由于手套型装置311-1可以使用通过动觉/触感致动器从手套型装置311-2反馈的触觉数据来再现动觉和触感，因此本地操作者可以在握手时感觉到另一人的手部的运动和力的大小，以及诸如温度的感觉。此外，在该系统的情况下，本地操作者可以观看握手的视频，并且因此可以提高握手感觉的真实性。[0203]这同样适用于远程操作者侧。头戴式显示器381-2显示包括与由本地操作者操作的手套型装置311-1对应的虚拟手部的图像和与由远程操作者操作的手套型装置311-2对应的虚拟手部的图像的虚拟空间的视频。与手套型装置311-1对应的虚拟手部的图像是基于从手套型装置311-1传送的触觉数据生成的。即，该虚拟手部的图像再现由本地操作者操作的手套型装置311-1的运动的状态。类似地，与手套型装置311-2对应的虚拟手部的图像是基于在手套型装置311-2中检测到的触觉数据生成的。即，该虚拟手部的图像再现由远程操作者操作的手套型装置311-2的运动的状态。[0204]远程操作者例如可以通过在观看显示在头戴式显示器381-2上的视频的同时操作手套型装置311-2，在显示在头戴式显示器381-2上的虚拟空间中执行虚拟手部的握手。此外，由于手套型装置311-2可以使用通过动觉/触感致动器从手套型装置311-1反馈的触觉数据来再现动觉和触感，因此远程操作者可以在握手时感觉到另一人的手部的感觉。此外，在该系统的情况下，远程操作者可以观看握手的状态的视频，并且因此可以提高握手感觉的真实性。[0205]例如，本地系统101使用诸如以下内容的信息来表示手套型装置311-1的位置：参考位置rp1(referenceposition1，参考位置1)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp1(例如，组1(group1)(＝组织1(organ1))的支点)，以及从参考位置rp1的偏移。[0206]类似地，远程系统102使用诸如以下内容的信息来表示手套型装置311-2的位置：参考位置rp2(referenceposition2，参考位置2)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp2(例如，组2(group2)(＝组织2(organ2))的支点)，以及从参考位置rp2的偏移。[0207]通过交换该信息，可以得出手套型装置311-1和手套型装置311-2的相对位置，并且可以在虚拟空间中执行握手。[0208]《用例7》[0209]此外，在像图17的系统的实现远程位置处的操作者之间的虚拟握手的系统中，本地操作者和远程操作者可以执行与实际机器人手的握手。[0210]在这种情况下，不需要头戴式显示器381。而是，在本地操作者附近设置机器人手391-1。本地操作者操作手套型装置311-1以实际与机器人手391-1握手。机器人手391-1基于从手套型装置311-2传送的触觉数据被驱动，并且再现由远程操作者操作的手套型装置311-2的运动。即，本地操作者和远程操作者可以获得仿佛他们真的在互相握手的感觉(动觉或触感)。此外，由于实际的机器人手391-1被驱动，因此本地操作者可以提高握手感觉的真实性。[0211]这同样适用于远程操作者侧。即，在远程操作者附近设置机器人手391-2。远程操作者操作手套型装置311-2以实际与机器人手391-2握手。机器人手391-2基于从手套型装置311-1传送的触觉数据被驱动，并且再现由本地操作者操作的手套型装置311-1的运动。即，本地操作者和远程操作者可以获得仿佛他们真的在互相握手的感觉(动觉或触感)。此外，由于实际的机器人手391-2被驱动，因此远程操作者可以提高握手感觉的真实性。[0212]例如，本地系统101使用诸如以下内容的信息来表示手套型装置311-1的位置：参考位置rp1(参考位置1)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp1(例如，group1(＝organ1)的支点)，以及从参考位置rp1的偏移。[0213]类似地，远程系统102使用诸如以下内容的信息来表示手套型装置311-2的位置：参考位置rp2(参考位置2)的绝对坐标位置，绝对坐标轴的方向(水平平面和竖直方向)，绝对坐标中的坐标值(x,y,z)，参考观察点bp2(例如，group2(＝organ2)的支点)，以及从参考位置rp2的偏移。[0214]通过交换该信息，可以得出手套型装置311-1和手套型装置311-2的相对位置，并且可以执行虚拟握手(与实际的机器人手391握手)。[0215]《渲染器》[0216]接下来，将描述渲染器132。渲染器132可以合成例如通过本地操作生成的力数据和关于力数据远程接收的力数据。图19示出了这样的情况下的渲染器132的主要配置示例。如图19所示，这种情况下的渲染器132包括合成单元401。合成单元401获取从传感器单元131提供的通过本地操作生成的力数据(force1(力，方向))。此外，合成单元401获取从解码单元162提供的远程接收的力数据(force2(力，方向))。合成单元401合成力数据以生成致动器133的控制信息(synth_force(力，方向))。合成单元401将控制信息提供给致动器133。[0217]另外，渲染器132可以校正在绝对位置处的触觉系统的姿势。此外，渲染器132可以将远程位置信息校正并映射在本地位置关系中。图20示出了这样的情况下的渲染器132的主要配置示例。在这种情况下，渲染器132包括位置关系确定单元411和位置校正单元412。[0218]位置关系确定单元411从本地绝对坐标1确定参考位置rp1与参考关节点bp1之间的位置关系。类似地，位置关系确定单元411确定rp1与本地从属关节点cp1之间的位置关系。[0219]位置校正单元412从远程绝对坐标2获得远程参考位置rp2与远程参考观察点bp2之间的位置关系以及远程从属关节点cp2的位置关系。这些位置关系按如上所述的那样获得的本地位置关系被缩放和校正。然后，将经校正的位置数据发送至致动器。[0220]同时，也可以在远程侧的渲染器中执行相同的处理。[0221]《通过位置检测传感器的延迟补偿》[0222]可以在本地侧和远程侧中的每一者处的检测运动的传感器中设置预测器，并且可以使用紧接在前的历史来预测紧接在对应位置之后的位置。通过该预测功能，可以传送在本地侧的当前位置之前的值(抢先位置数据)作为实际传送的位置信息。[0223]在远程侧，传送抢先数据位置处的反馈信息。当本地侧的实际运动已经进行时，可以通过从远程侧接收反馈信息并调谐反馈信息使得其由致动器再现来获得本地侧的渲染器输出。这同样可以适用于从远程侧传送的传感器信息，并且可以通过返回本地侧对来自远程侧的抢先位置信息的反馈，在远程侧的渲染器输出中没有感觉到延迟的情况下获得动觉触感信息。[0224]《绝对位置的识别》[0225]可以使用全球定位系统(gps)信息和3轴方向传感器检测相对于北方的倾斜，以识别触觉装置的支点位置和设置方向。在gps信息中，例如，将诸如二维坐标(纬度、经度)、海拔和时间的信息定义为空间坐标。图21示出了以xml格式描述gps信息的示例。[0226]《竖直方向上的偏差》[0227]另外，如图22所示，例如，可以使用加速度传感器421来获得其中设置有加速度传感器的装置420的倾斜角。例如，当加速度传感器421与重力作用的方向一致时，加速度传感器421检测到9.8m/sec2的加速度。另一方面，当加速度传感器421被设置在与重力作用的方向垂直的方向上时，重力的影响消失并且加速度传感器421的输出变为0。当获得任意角度θ的倾斜的加速度a作为加速度传感器421的输出时，倾斜角度θ可以通过下面的公式(1)得出。[0228]θ＝sin-1(a/g)...(1)[0229]以这种方式，可以计算触觉装置在竖直方向上的偏差。[0230]《触觉数据(kt映射)的其他示例》[0231]触觉数据(kt映射)的配置是任意的并且不限于上面的示例。图7的示例中的触觉数据可以如图23所示配置。图11的示例中的触觉数据可以如图24所示配置。即，可以将每个观察点的位置、速度和加速度指示为支点关节点位置。[0232]《触觉数据的编码》[0233]例如，如图25的图形所示，观察点的触觉数据(动觉数据、触感数据、力数据)的值沿时间轴动态地改变。因此，当对这样的触觉数据进行编码时，例如，如图26所示，可以以预定时间间隔形成帧(触觉帧(haptic_frame))。[0234]在图26中，矩形表示按时间序列布置的触觉数据，并且触觉数据以预定时间间隔分开以形成触觉帧(haptic_frame)451-1和触觉帧451-2、触觉帧451-3、……。当不需要在描述中区分每个触觉帧时，将其称为触觉帧451。[0235]另外，可以在触觉帧451中的触觉数据的样本之间执行预测，并且在执行预测时，信息量的增加被抑制。[0236]作为一维数据编码方法，例如，存在死区。在死区方法的情况下，例如，在如图27的a所示的一维数据中，仅对紧接在前的值显著变化的一些数据(由黑色圆圈指示的数据)进行编码，并且省略变化小的灰色部分中的数据的编码。在解码时，对于没有被编码的部分，复制编码/解码数据。因此，解码数据如图27的b所示。即，在死区方法的情况下，存在难以再现微小改变的可能性。相反，当想要再现具有高清晰度的运动时，感知阈值的范围变得非常窄并且要传送的数据的频率增加，并且因此可能降低编码效率。[0237]因此，在对触觉数据进行编码时，在按时间序列的相邻点之间获得差，并且对差值进行可变长度编码。例如，如图28的a所示，在一维触觉数据的触觉帧451中的按时间序列的相邻点之间得出差。对于触觉帧的开始处的数据，不得出差，并且完整地使用其值。[0238]以这种方式，各个触觉帧的触觉数据(差值)变成例如曲线461至曲线464。然后，这些差值被量化并且被附加地可变长度编码。以这种方式，与原始数据被完整编码的情况相比，可以减少信息量并且可以抑制编码效率的降低。此外，当对这样的编码数据进行解码时，可以如图28的b所示的曲线465所示如实地重建原始数据。因此，可以抑制由于诸如死区方法的编码/解码而引起的再现准确度的降低。即，可以在接收侧再现具有高清晰度的运动，并且还可以实现始终恒定的数据压缩效果。这在三维空间中的运动的情况下是相同的。[0239]同时，当执行这样的预测处理时，由于传送时的错误等而引起的无效解码值可能传播至后续样本，但是通过如上所述的那样以预定时间间隔配置触觉帧、在触觉帧的开始处刷新预测、以及在不得出差值的情况下执行编码，即使解码失败，也可以抑制传播。因此，例如可以提高对传送错误等的抵抗力。[0240]《编码单元》[0241]在图29的a中示出了这种情况下的编码单元152(图3)的主要配置示例。在这种情况下，编码单元152包括延迟单元501、算术运算单元502、量化单元503和可变长度编码单元504。[0242]延迟单元501延迟输入的触觉数据(输入数据(t))以生成延迟的触觉数据(dd(t))。算术运算单元502得出输入的触觉数据(输入数据(t))与经延迟单元501延迟的触觉数据(dd(t))之间的差值(也被称为预测残差值)(预测数据(t))。即，在样本之间执行预测并得出预测残差。量化单元503对预测残差值(预测数据(t))进行量化，以生成量化系数(量化数据(t))。可变长度编码单元504对量化系数(量化数据(t))进行可变长度编码以生成编码数据(可变长度码(t))并且输出编码数据。[0243]《解码单元》[0244]另外，在图29的b中示出了这种情况下的解码单元162的主要配置示例。在这种情况下，解码单元162包括可变长度解码单元511、去量化单元512、算术运算单元513和延迟单元514。[0245]可变长度解码单元511对输入的编码数据(可变长度码(t))进行可变长度解码，以生成量化系数(量化数据(t))。去量化单元512对量化系数(量化数据(t))进行去量化，以得出去量化系数(去量化数据(t))。该去量化系数(去量化数据(t))是重建的预测残差值(预测数据'(t))。由于执行量化并且取决于量化步长宽度而不可逆，因此该重建的预测残差值(预测数据'(t))可能与编码单元152的预测残差值(预测数据(t))不同。[0246]算术运算单元513将通过由延迟单元514延迟触觉数据(重建数据(t))而获得的数据(dd'(t))加至去量化系数(去量化数据(t))，以得出重建的触觉数据(重建数据(t))。即，算术运算单元513通过将过去样本的解码结果加至预测残差来生成当前样本的触觉数据。[0247]例如，如果输入至编码单元152的触觉数据(输入数据(t))值按时间序列以“2”→“8”→“4”→“6”→“10”的顺序改变，则触觉数据(dd(t))、预测残差值(预测数据(t))、触觉数据(dd'(t))和触觉数据(重建数据(t))变为如图30所示的值。通常，在可变长度编码中，执行映射使得随着输入值接近零而码长度减小，并且因此可以减少信息量，并且可以抑制编码效率的降低。[0248]在触觉帧中，如图31的a至c所示，在样本之间预测诸如支点关节点位置、刺激操作和力的信息，并且该信息由未预测值和预测残差值构成。[0249]《触觉数据传送处理的流程》[0250]接下来，将描述在本地系统101中执行的处理。本地系统101通过执行触觉数据传送处理来传送触觉数据。将参照图32的流程图描述该触觉数据传送处理的流程的示例。[0251]当触觉数据传送处理开始时，在步骤s101中，传感器单元131在触觉接口134的多个观察点处检测动觉数据、触感数据、力数据等。在步骤s102中，传感器单元131使用这样的信息生成多点触觉数据。在步骤s103中，合成器151通过执行每个观察点的多点触觉数据的整合等来生成kt映射。[0252]在步骤s104中，编码单元152使用样本之间的预测对kt映射进行编码以生成编码数据。[0253]在步骤s105中，容器处理单元153将编码数据存储在容器中并生成传送数据。在步骤s106中，容器处理单元153传送传送数据。[0254]当如上所述传送包括触觉数据的传送数据时，触觉数据传送处理结束。[0255]以这种方式，可以传送多个观察点的触觉数据，并且可以以更高准确度执行远程控制。[0256]《触觉数据接收处理的流程》[0257]接下来，将参照图33的流程图描述触觉数据接收处理的流程的示例。[0258]当触觉数据接收处理开始时，在步骤s131中，容器处理单元161接收传送的数据并提取编码数据。在步骤s132中，解码单元162对编码数据进行解码以再现kt映射。在步骤s133中，解码单元162使用kt映射再现多点触觉数据。[0259]在步骤s134中，渲染器132使用多点触觉数据执行渲染以再现用于控制致动器133的控制信息。[0260]在步骤s135中，致动器133基于在步骤s134中生成的控制信息来驱动触觉接口134。[0261]当触觉接口134被驱动时，触觉数据接收处理结束。[0262]以这种方式，可以接收多个观察点的触觉数据，并且可以以更高准确度执行远程控制。[0263]《3.第二实施方式》[0264]《mpd的应用》[0265]如上所述，远程控制系统100还可以将mpd应用于触觉数据的再现。在这样的情况下，本地系统101可以针对由此检测到的触觉数据生成mpd，并且将mpd登记在mpd服务器103中。[0266]《mpd生成处理的流程》[0267]将参照图34的流程图描述用于生成这样的mpd的mpd生成处理的流程的示例。[0268]当mpd生成处理开始时，在步骤s161中，mpd生成单元154从合成器151获取多点触觉数据，并且基于多点触觉数据来生成与多点触觉数据对应的mpd。[0269]在步骤s162中，容器处理单元153将在步骤s161中生成的mpd传送至mpd服务器103。当传送mpd时，mpd传送处理结束。[0270]通过以这种方式针对多点触觉数据生成mpd并将其登记在mpd服务器中，可以执行基于mpd的再现控制。[0271]《mpd控制处理的流程》[0272]将参照图35的流程图描述mpd控制处理的流程的示例，该mpd控制处理是与使用mpd的触觉数据的再现控制有关的处理。[0273]当mpd控制处理开始时，在步骤s191中，mpd控制单元163经由容器处理单元161从mpd服务器103请求并获取mpd。[0274]在步骤s192中，mpd控制单元163基于通过步骤s191的处理获取的mpd来选择要获取的触觉数据。[0275]在步骤s193中，mpd控制单元163经由容器处理单元161从远程系统102请求通过步骤s192的处理选择的触觉数据。[0276]基于以上提及的请求提供的触觉数据可以通过本地系统101执行上述触觉数据接收处理来获取。[0277]《容器的配置示例》[0278]在图36的a中示出了用于存储触觉数据的容器的主要配置示例。触觉数据存储在例如iso基础媒体文件格式(isobmff)的容器(传送数据)中。在该isobmff的情况下，容器具有初始化段(is)和媒体段(ms)，如图36的a所示。轨道标识信息(trackid)、时间戳(timestamp)等存储在ms中。另外，dashmpd与该ms相关联。[0279]图36的a示出了当媒体段未被分段时容器的状态的示例。图36的b示出了当媒体段被分段时容器的状态的示例。媒体段包含moof和mdat作为影像片段。[0280]dashmpd根据组id(group_id)与媒体段的moof相关联。图37的a示出了在从本地侧传送的情况下的示例。图37的b示出了在从远程侧传送的情况下的示例。[0281]此外，当本地存在多个触觉装置时，一个mpd可以与多个moof相关联，如图38所示。即使在这样的情况下，也根据组id执行关联。如在该示例中那样，触觉数据可以存储在各个组的不同轨道中。[0282]《轨道的分配》[0283]关于触觉数据，可以将一个组分配给媒体文件的一个轨道。图39示出了当存储图7的示例的触觉数据时的容器配置的示例。另外，图40示出了当存储图11的示例的触觉数据时的容器配置的示例。此外，图41示出了当存储图16的示例的触觉数据时的容器配置的示例。[0284]《文件格式的数据布置》[0285]例如，如图42所示，一个触觉装置121(触觉接口134)的所有观察点的触觉数据可以设置在容器的一个轨道中。在这种情况下，轨道被分配给一个文件，并且moof被独立地设置在轨道内。hapticsamplegroupentry('hsge')指示同一时间的子部分之间的偏移位置、时间轴上升序的偏移位置、样本之间的偏移位置等以及每个观察点的连接布置。当编码目标是触感数据时这也同样适用。根据指示子部分之间的偏移位置的subpt_grp_offset，可以容易地根据再现侧的观察点的结构近似地拾取仅必要的subptrep组。[0286]图43示出了量化表(q_table)、值的精度(precision_of_positions)和连接链(connection_chain)的示例。connection_chain信息指示当subpartrep_ordering_type为“交错”时编码样本元素的放置顺序。也可以传送和接收速度和加速度信息而不是位置。另外，还可以传送和接收旋转位置和旋转速度信息而不是旋转加速度。[0287]《错误容限的考虑》[0288]当解码单元162对编码目标数据进行可变长度解码时，可以通过检测具有与正常数据的含义不同的含义的预定代码串(唯一字)，使由于传送过程中的错误而引起的劣化的影响最小化，可以检测下一时间数据或下一触觉帧的开始，并且可以从其重新开始解码处理。在图44中示出了示例。在图44中，斜线阴影矩形指示用于根据可变长度编码的唯一字来识别触觉帧的帧顶部的标识信息。此外，灰色的矩形指示用于根据可变长度编码的唯一字来识别时间数据的顶部(time_datatop)的标识信息。[0289]例如，“1111111111”可以是用于识别触觉帧的帧顶部的唯一字，而“1111111110”可以是用于识别时间数据的顶部(timedatatop)的唯一字。即，n个“1”可以在触觉帧的帧顶部处继续，(n-1)个“1”可以在时间数据的顶部(timedatatop)处继续，并且最大(n-2)个“1”可以在其他编码数据中继续。[0290]即使在发生包丢失的情况下(可以利用上层的校验和等进行检查)，也可以通过检查连续的“1”的数目来检测唯一字，并且可以在接收器中执行从预定定时的恢复。[0291]《接收侧的再现选择系统的确保》[0292]存在传送侧和接收侧的装置具有不同规模的关节点(即，传送侧的观察点的数目不同于接收侧的控制点的数目)的情况。当在传送侧操作的关节点的数目(m)不同于在接收侧可再现的关节点的数目(p)时，特别地，当m＞p时，可以仅解码与能够由接收侧再现的关节点对应的子点组。例如，如图45所示，可以仅选择要再现的子组(sbgsp)，并且可以跳过其他解码或再现。在图45的示例的情况下，跳过以灰色表示的子组(例如，sbgsp4和sbgsp6)的解码或再现。[0293]此时，作为接收侧的决定，针对mpd中的每个子表示中包括的每个子组集合检查关节点的位置信息的初始值。具有许多接近的并且可以在接收器中再现的关节点和位置信息的子组集合被用作再现目标。例如，当采用子组集合＝1、2、3和5时，跳过图45中以灰色表示的子组(子组集)。在跳过时，使用mpd中的subpt_grp_offset信息。[0294]从远程侧仅以采用的量传送当以这样的方式再现时到本地侧的反馈信息。根据该功能，可以将更广泛类型的再现装置用作触觉动觉再现装置。[0295]图46示出了与kt映射对应的isobmff文件格式的moof语法的示例。在图46中，/hsge和/connection_chain是被提供以对应于kt映射的元素。[0296]《接收侧通过mpd对分发目标的控制》[0297]接收侧可以访问mpd服务器103，获取并分析mpd文件，考虑接收侧的网络中的可能带宽，并且选择适当的比特率。此外，取决于接收侧的装置配置，可以执行用于选择要递送的观察点的规模的控制，使得规模在可再现范围内。[0298]为了实现上述功能，使用mpd中的补充描述符定义新模式。[0299]例如，当传送侧经由mpd服务器103接收比特率请求时，传送侧以实现请求的量化步长执行编码量化控制。这样的情况下的mpd的示例在图47中示出。图47是与图11的触觉数据对应的mpd的示例。图48至图50的子表示的描述被插入到图47中由交替的长短划线指示的帧701和帧702的部分中。图48至图50的子表示下方的位置数据、旋转加速度数据(rotaccdate)和力数据指示动态改变的初始值。在该示例中，编码比特率的总量可以从4mbps或2mbps中选择。[0300]另外，当传送侧经由mpd服务器103接收用于减小关节点的规模的请求时，传送侧减小子组(sub_group)的数目并且执行编码以实现该请求。这样的情况下的mpd的示例在图51中示出。图51是与图11的触觉数据对应的mpd的示例。图52和图53的子表示的描述被插入到图51中由交替的长短划线指示的帧711和帧712的部分中。图52和图53的子表示下方的位置数据、旋转加速度数据和力数据指示动态改变的初始值。在该示例中，子组的数目可以从6和4中选择。[0301]尽管图47至图53的示例描述了当从单个动觉装置传送触觉数据时的mpd，但是可以从多个动觉装置传送触觉数据。这样的情况下的mpd的示例在图54中示出。在图54的示例的情况下，提供两个适配集。向适配集分配不同的组id，并且适配集对应于不同的动觉装置。[0302]另外，图55示出了当双向传送触觉数据时与从本地系统101到远程系统102的触觉数据的传送对应的mpd的示例。在这种情况下，对远程系统102执行请求，使得远程系统102在与来自本地系统101的传送对应的mpd中返回诸如硬度、摩擦系数和温度信息的触感数据。例如，图55的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrhardness”value＝“ptb1queryhardness”/》是请求远程系统102将“硬度”作为触感(触感数据)返回的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrfriction”value＝“ptb1queryfriction”/》是请求远程系统102将“摩擦系数”作为触感(触感数据)返回的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrtemp”value＝“ptb1querytemperature”/》是请求远程系统102将“温度信息”作为触感(触感数据)返回的描述。类似地，图55的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrhardness”value＝“ptb2queryhardness”/》是请求远程系统102将“硬度”作为触感(触感数据)返回的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrfriction”value＝“ptb2queryfriction”/》是请求远程系统102将“摩擦系数”作为触感(触感数据)返回的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrtemp”value＝“ptb2querytemperature”/》是请求远程系统102将“温度信息”作为触感(触感数据)返回的描述。[0303]另外，图56示出了与图55的mpd对应的、与从远程系统102到本地系统101的触觉数据的传送(反馈传送)对应的mpd的示例。在该反馈传送中，基于图55的mpd中的请求来返回诸如硬度、摩擦系数和温度信息的触感数据。例如，图56的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pthardness”value＝“ptb1hardness”/》是示出响应于来自本地系统101的请求而将“硬度”作为触感数据反馈并且其初始值反映在ptb1hardness中的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:ptfriction”value＝“ptb1friction”/》是示出响应于来自本地系统101的请求而将“摩擦系数”作为触感数据反馈并且其初始值反映在ptb1friction中的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pttemp”value＝“ptb1temperature”/》是示出响应于来自本地系统101的请求而将“温度信息”作为触感数据反馈并且其初始值反映在ptb1temperature中的描述。类似地，图56的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pthardness”value＝“ptb2hardness”/》是示出响应于来自本地系统101的请求而将“硬度”作为触感数据反馈并且其初始值反映在ptb2hardness中的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:ptfriction”value＝“ptb2friction”/》是示出响应于来自本地系统101的请求而将“摩擦系数”作为触感数据反馈并且其初始值反映在ptb2friction中的描述。此外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:pttemp”value＝“ptb2temperature”/》是示出响应于来自本地系统101的请求而将“温度信息”作为触感数据反馈并且其初始值反映在ptb2temperature中的描述。[0304]图57是示出当双向传送触感数据时与从本地系统101到远程系统102的触感数据的传送对应的mpd的另一示例的图。在这种情况下，对远程系统102执行请求，使得远程系统102在与来自本地系统101的传送对应的mpd中返回作为频率和幅度值的振动信息。例如，图57的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibfreqency”value＝“ptb1queryvibfrequency”/》是请求远程系统102返回作为频率的振动信息的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibamplitude”value＝“ptb1queryvibamplitude”/》是请求远程系统102将返回作为幅度值的振动信息的描述。类似地，图57的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibfreqency”value＝“ptb2queryvibfrequency”/》是请求远程系统102将返回作为频率的振动信息的描述。另外，《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:qrvibamplitude”value＝“ptb2queryvibamplitude”/》是请求远程系统102将返回作为幅度值的振动信息的描述。[0305]另外，图58示出了与图57的mpd对应的、与从远程系统102到本地系统101的触感数据的传送(反馈传送)对应的mpd的示例。在该反馈传送中，基于图57的mpd中描述的请求将振动信息作为频率和幅度值返回。例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibfreqency”value＝“ptb1vibfrequency”/》是示出响应于来自本地系统101的请求而将振动信息作为频率反馈并且其初始值反映在ptb1vibfrequency中的描述。此外，例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibamplitude”value＝“ptb1vibamplitude”/》是示出响应于来自本地系统101的请求而将振动信息作为幅度值反馈并且其初始值反映在ptb1vibamplitude中的描述。类似地，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibfreqency”value＝“ptb2vibfrequency”/》是示出响应于来自本地系统101的请求而将振动信息作为频率反馈并且其初始值反映在ptb2vibfrequency中的描述。此外，例如，图58的mpd中的《supplementarydesctiptorschemeiduri＝“urn:bicom:haptic3d:vibamplitude”value＝“ptb2vibamplitude”/》是示出响应于来自本地系统101的请求而将振动信息作为幅度值反馈并且其初始值反映在ptb2vibamplitude中的描述。[0306]在图59和图60中示出了mpd语义的示例。[0307]《4.第三实施方式》[0308]《数字接口》[0309]在本地系统101和远程系统102中之一或这两者中，如图3所示，触觉装置121与通信装置122之间的触觉数据的传送可以经由数字接口123或数字接口124执行。如上所述，任何标准的数字装置的接口均可以应用于这些数字接口。例如，图61示出了当应用hdmi时数字接口123的主要配置示例。当应用hdmi时数字接口124的主要配置示例与图61的示例相同。在这种情况下，触觉装置121与通信装置122之间的触觉数据的传送使用hdmi的最小化传送差分信令(tmds)通道来执行。同时，即使通过光传送线路或无线电波来传送通过tmds通道传送的数据，也可以将其视为相同的前提。[0310]触感数据的传送与视频数据同步执行或者使用消隐时段(blankingperiod)来执行。在图62和图63中示出了该数据岛时隙中的元数据的插入的状态的示例。另外，在图64中示出了语义的示例。此外，在图65中示出了tmds通道中的触觉数据的传送格式的示例。[0311]《5.补充》[0312]《计算机》[0313]可以通过硬件或软件执行上述一系列处理。当通过软件执行一系列处理时，将包括软件的程序安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。[0314]图66是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。[0315]在图66中示出的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903经由总线904相互连接。[0316]输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。[0317]输入单元911可以包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、ram盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质921。[0318]在如上配置的计算机中，例如，cpu901通过经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到ram903并且执行程序来执行上述一系列处理。cpu901执行各种类型的处理所需的数据等也被适当地存储在ram903中。[0319]例如，由计算机执行的程序可以记录在作为封装介质等的可移除记录介质921上并应用于其。在这样的情况下，可以通过将可移除记录介质921安装在驱动器915中来经由输入/输出接口910将程序安装在存储单元913中。[0320]该程序也可以经由诸如局域网、租用线路网络或wan、因特网、卫星通信等的有线或无线传送介质来提供。在这种情况下，程序可以由通信单元914接收并且安装在存储单元913中。[0321]另外，程序也可以预先安装在rom902或存储单元913中。[0322]《本技术的应用目标》[0323]尽管上面已经将远程控制系统100的每个装置作为应用本技术的示例进行了描述，但是本技术可以应用于任何配置。[0324]例如，本技术可以应用于各种电子设备，例如卫星广播、有线广播如有线电视、因特网上的传送、局域网、使用专用线路的网络或wan、通过蜂窝通信到终端的传送中的传送器或接收器(例如，电视接收器或移动电话)等，或者将图像记录在诸如光盘、磁盘和闪存的介质上或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。[0325]例如，本技术可以被实现为诸如系统大规模集成(lsi)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者具有添加至单元的其他功能的组(例如，视频组)的装置的一部分的配置。[0326]例如，本技术还可以应用于由多个装置配置的网络系统。例如，本技术可以被实现为经由网络与多个装置协作共享或处理的云计算。例如，本技术可以被实现在向诸如计算机、视听(av)装置、便携式信息处理终端或物联网(iot)装置的任何终端提供与图像(运动图像)有关的服务的云服务中。[0327]在本说明书中，系统意指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件可以不在同一壳体中。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及在单个壳体中容纳多个模块的单个装置都是系统。[0328]可以通过硬件或软件执行上述一系列处理。当通过软件执行一系列处理时，将包括软件的程序安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。[0329]《其他》[0330]本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的本质精神的情况下进行各种修改。[0331]例如，可以将描述为一个装置(或处理单元)的配置划分并配置为多个装置(或处理单元)。另一方面，上面描述为多个装置(或处理单元)的配置可以被集合并配置为一个装置(或处理单元)。除了上述配置之外的配置可以被添加至每个装置(或每个处理单元)的配置。此外，当整个系统中的配置或操作基本相同时，某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。[0332]例如，上述程序可以在任何装置中执行。在这种情况下，装置可以具有必要的功能(功能块等)并且可以能够获得必要的信息。[0333]例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，当多种处理被包括在一个步骤中时，上述多种处理可以由一个装置执行，或者可以由多个装置共享并执行。换言之，也可以将一个步骤中包括的多种处理作为多个步骤的处理来执行。相比之下，被描述为多个步骤的处理可以作为一个步骤共同执行。[0334]例如，对于由计算机执行的程序，描述程序的步骤的处理可以按照本说明书中描述的顺序按时间顺序执行，或者可以在诸如调用时的必要定时处单独执行或并行执行。即，只要不发生不一致，就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与另一程序的处理并行执行或者可以与另一程序的处理组合执行。[0335]例如，只要不发生不一致，与本技术有关的多种技术就可以独立地单独实现。当然，可以组合使用本技术的任何数目的模式。例如，在任何实施方式中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部组合实现。此外，上述本技术的部分或全部可以与上面未描述的其他技术组合实现。[0336]本技术还可以配置如下。[0337](1)一种信息处理装置，包括传送单元，所述传送单元传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息。[0338](2)根据(1)所述的信息处理装置，其中，所述动觉数据包括关于所述观察点的位置的信息或关于所述观察点的速度的信息。[0339](3)根据(1)或(2)所述的信息处理装置，其中，所述触感数据包括以下中的至少之一：关于与所述观察点接触的另外的对象的硬度的信息，关于所述对象的摩擦系数的信息，以及关于所述对象的温度的信息。[0340](4)根据(1)至(3)中任一项所述的信息处理装置，其中，所述触觉数据包括按每个观察点分类的所述动觉数据、所述触感数据和所述力数据中的至少之一。[0341](5)根据(4)所述的信息处理装置，其中，所述触觉数据还包括指示所述观察点之间的关系的信息。[0342](6)根据(4)或(5)所述的信息处理装置，其中，所述传送单元将每个观察点的所述触觉数据存储在针对根据所述装置的控制结构的所述观察点的各个组的不同轨道中，并且传送所述触觉数据。[0343](7)根据(1)至(6)中任一项所述的信息处理装置，还包括编码单元，所述编码单元对所述触觉数据进行编码以生成编码数据，[0344]其中，所述传送单元传送由所述编码单元生成的所述编码数据。[0345](8)根据(7)所述的信息处理装置，其中，所述编码单元针对所述触觉数据，执行样本之间的预测以得出预测残差，并且对所述预测残差进行编码以生成所述编码数据。[0346](9)根据(1)至(8)中任一项所述的信息处理装置，还包括生成单元，所述生成单元生成用于控制所述触觉数据的再现的控制信息，[0347]其中，所述传送单元传送由所述生成单元生成的所述控制信息。[0348](10)一种信息处理方法，包括传送关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息。[0349](11)一种信息处理装置，包括：接收单元，所述接收单元接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息，以及[0350]驱动单元，所述驱动单元基于由所述接收单元接收的所述触觉数据来驱动用作接口的装置的多个被驱动点。[0351](12)根据(11)所述的信息处理装置，还包括控制单元，所述控制单元基于用于控制所述触觉数据的再现的控制信息来控制所述接收单元，[0352]其中，所述接收单元接收由所述控制单元指定的所述触觉数据。[0353](13)根据(12)所述的信息处理装置，其中，所述接收单元接收由所述控制单元指定的比特率的所述触觉数据。[0354](14)根据(12)或(13)所述的信息处理装置，其中，所述接收单元接收由所述控制单元指定的所述观察点的组的所述触觉数据。[0355](15)根据(11)至(14)中任一项所述的信息处理装置，其中，所述接收单元接收所述触觉数据的编码数据，并且[0356]所述信息处理装置还包括解码单元，所述解码单元对由所述接收单元接收的所述编码数据进行解码以生成所述触觉数据。[0357](16)根据(15)所述的信息处理装置，其中，所述编码数据是通过执行样本之间的预测而得出的所述触觉数据的预测残差的编码数据，并且[0358]所述解码单元对所述编码数据进行解码以生成所述预测残差，并且将过去样本的解码结果加至所述预测残差以生成当前样本的所述触觉数据。[0359](17)根据(16)所述的信息处理装置，其中，所述解码单元检测所述编码数据中包括的预定代码串，并且识别所述样本之间的预测的开始位置。[0360](18)根据(11)至(17)中任一项所述的信息处理装置，还包括渲染处理单元，所述渲染处理单元执行基于在具有所述被驱动点的所述装置的观察点处检测到的触觉数据以及由所述接收单元接收到的所述触觉数据来生成用于控制所述驱动单元的控制信息的渲染处理，[0361]其中，所述驱动单元基于由所述渲染处理单元生成的所述控制信息来驱动所述装置的多个所述被驱动点。[0362](19)根据(18)所述的信息处理装置，其中，所述渲染处理单元使用绝对坐标来校正所述控制信息。[0363](20)一种信息处理方法，包括：接收关于用作接口的装置的多个观察点的包括动觉数据、触感数据和力数据中的至少之一的触觉数据，所述动觉数据包括关于在所述观察点处检测到的动觉的信息，所述触感数据包括关于在所述观察点处检测到的触感的信息，所述力数据包括关于施加至所述观察点的力的大小的信息，以及[0364]基于所接收的所述触觉数据来驱动用作接口的装置的多个被驱动点。[0365]附图标记列表[0366]100远程控制系统，101本地系统，102远程系统，103mpd服务器，121触觉装置，122通信装置，131传感器单元，132渲染器，133致动器，134触觉接口，141图像传感器，142空间坐标转换单元，151合成器，152编码单元，153容器处理单元，154mpd生成单元，155成像单元，156视频编码单元，161容器处理单元，162解码单元，163mpd控制单元，164视频解码单元，165显示单元，301三维刺激装置，302对象，311手套型装置，312对象，331kt映射，351远程装置，352对象，353虚拟对象，361飞行对象，362机器人手，371远程装置，372对象表面，381头戴式显示器，391机器人手，401合成单元，411位置关系确定单元，412位置校正单元，420装置，421加速度传感器，451触觉帧，501延迟单元，502算术运算单元，503量化单元，504可变长度编码单元，511可变长度解码单元，512去量化单元，513算术运算单元，514延迟单元。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
