脑计算机接口的制作方法

脑计算机接口
1.相关申请的交叉引用
2.本技术要求于2019年11月20日提交的题为“brain-computer interface”的序列号为62/938,112的美国临时专利申请的优先权的权益，其全部内容通过引用并入本文。
3.发明的技术领域
4.本发明涉及通过涉及视觉感测的脑计算机接口对真实世界的对象的控制。


背景技术：

5.在视觉脑计算机接口(bci)中，通常在呈现给用户的多个生成的视觉刺激中，对目标刺激的神经响应被用来推断(或“解码”)在任何给定时间哪个刺激实质上是关注对象。然后，可以将关注对象与用户可选择或用户可控制的动作相关联。
6.可以使用多种已知技术获得神经响应。一种方便的方法依赖于表面脑电图(eeg)，其是非侵入性的、具有细粒度的时间分辨率、并且基于公知的经验基础。表面eeg使得可以实时测量受试者颅骨的表面(即头皮)上的扩散电位的变化。这些电位的变化通常被称为脑电图信号或eeg信号。
7.在典型的bci中，视觉刺激呈现在由显示装置生成的显示中。合适的显示装置(其中一些在图3中示出)的示例包括电视屏幕和计算机监视器302、投影仪310、虚拟现实头戴式耳机306、交互式白板、以及平板电脑304、智能电话、智能眼镜308等的显示屏幕。视觉刺激311、311’、312、312’、314、314’、316可以形成生成的图形用户接口(gui)的一部分，或者它们可以呈现为覆盖基本图像的增强现实(ar)或混合现实图形对象316：该基本图像可以简单地是用户的实际视场(如在投影到一组智能眼镜的原本透明的显示器上的混合现实显示功能的情况下)或者是对应于用户的视场但由光学捕获装置实时捕获的数字图像(光学捕获装置又可以在其他可能的视图中捕获对应于用户的视场的图像)。
8.推断在任何给定时间多个视觉刺激(如果有)中的哪个视觉刺激是关注对象充满困难。例如，当用户面对多个刺激(例如，显示在屏幕键盘上的数字)时，已经证明几乎不可能从脑活动直接推断出在给定时间哪个刺激在受关注。用户感知到在受关注的数字(假设数字5)，因此脑必须包含将该数字与其他数字区分开的信息，但是当前的方法不能够提取该信息。即，当前的方法可以推断出已经感知到刺激，但是这些方法无法仅使用脑活动来确定哪个特定刺激在受关注。
9.为了克服该问题并且为了在刺激与背景之间(以及刺激之间)提供足够的对比度，已知将由视觉bci使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色，反之亦然)，使得每个刺激具有随时间变化的可区分特征分布。闪烁的刺激引起可测量的电响应。特定技术监视不同的电响应，例如稳态视觉诱发电位(ssvep)和p-300事件相关电位。在典型的实现方式中，刺激以超过6hz的速率闪烁。结果，这样的视觉bci依赖于以下方法：该方法包括在显示装置中离散地而不是持续地、并且通常在不同的时间点显示各种刺激。与关注给定刺激的注意力相关联的脑活动被发现与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)对应(即相
关)。
10.因此，神经信号的解码依赖于以下事实：当刺激被开启时，刺激将触发脑中的神经响应的特征模式，该特征模式可以从电信号即ssvep或p-300电位确定，该ssvep或p-300电位由eeg装置的电极(例如eeg头盔的电极)拾取。这种神经数据模式对于不同的数字可能非常相似甚至相同，但是其被时间锁定至数字被感知：在任一时间仅一个数字可以脉冲，使得可以将数字脉冲的时间与脉冲神经响应的相关性确定为该数字是关注对象的指示。通过在不同的时间点显示每个数字、以不同的速率开启和关闭该数字、应用不同的占空比、以及/或者简单地在不同的时间点应用刺激，bci算法可以建立哪个刺激在被开启时最有可能触发给定的神经响应，从而使得系统能够确定在受关注的目标。
11.近年来，视觉bci已经显著地改进，使得对用户的关注的实时和准确解码变得越来越实际。然而，刺激的持续闪烁——有时在存在很多刺激时会在整个屏幕上闪烁——是大规模使用该技术的固有限制。事实上，这会引起不适和精神疲劳，并且如果持续下去，还会引起例如头痛的生理响应。另外，闪烁效果会妨碍用户关注特定目标的能力，以及系统快速准确地确定关注对象的能力。例如，当用户试图关注数字5时，其他(即外围)数字充当干扰物——其暂时地吸引用户的注意力，并且对用户的视觉系统产生干扰。这种干扰又会妨碍bci的性能。因此，需要用于区分屏幕目标和其显示刺激以确定用户正在关注哪一个的改进的方法。
12.对呈现视觉刺激的某种显示装置的要求限制了前述技术的应用。特别地，合适的显示器可能不可用或不期望。在某些应用中，通过屏幕与对象交互可能不方便或不切实际。此外，eeg装置(及其电极)的用户可接受性带来了审美约束、以及舒适性和易用性方面的约束。在许多情况下，这些约束是采用eeg技术的有效重大障碍。长期使用舒适性和需要技术帮助阻碍采用的应用的示例包括诸如视频游戏、训练(例如，用于健康和安全或飞行模拟)、睡眠辅助等应用。
13.因此，期望提供解决上面的挑战的脑计算机接口。


技术实现要素：

14.本公开内容涉及脑计算机接口，其中视觉刺激与真实世界对象直接相关联地呈现，使得用户的意图可以扩展到真实世界中的对象，而无需介入屏幕或其他显示装置，从而提供改进的和直观的用户体验。
15.本公开内容涉及用于将视觉刺激应用于其他常规的真实世界对象的技术，该真实世界对象在处于用户的视场内时呈现为潜在感兴趣的对象。
16.在某些实施例中，所应用的视觉刺激可以包括将具有时间调制的覆盖图像投影到一个或更多个真实世界对象上。调制使得对象闪烁或以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个感兴趣的对象是用户的注意力焦点。
17.在其他实施方式中，对象本身可以包括能够发射具有时间调制的光的一个或更多个光源。这里同样地，调制使得对象闪烁或以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个感兴趣的对象是用户的注意力焦点。
18.在其他实施方式中，可以设置与真实世界可控制对象分开但逻辑上与它们中的至少之一相关联的电子徽章。电子徽章包括能够发射具有时间调制的光的一个或更多个光源。与传统的屏幕和显示装置不同，电子徽章典型地尺寸小并且可以专用于输出视觉刺激。所发射的光中的调制使得电子徽章的显示部分闪烁或者以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个电子徽章是用户的注意力焦点，并且由于徽章逻辑上与真实世界对象相关联，因此从而确定真实世界对象是感兴趣的对象。
19.在上面的实施方式中的每一个中，调制可以优先地或排他地应用于投影的覆盖图像的高空间频率分量。
20.根据第一方面，本公开内容涉及一种脑计算机接口系统，包括：至少一个发光单元，其输出由刺激生成器生成的相应视觉刺激，该视觉刺激具有特征调制；至少一个可控制对象，其被配置成接收用户指令，每个可控制对象与至少一个视觉刺激相关联；神经信号捕获装置，其被配置成捕获与用户相关联的神经信号；接口装置，其操作地耦接至神经信号捕获装置和可控制对象，该接口装置包括：存储器；以及处理器，其操作地耦接至存储器并且被配置成：从神经信号捕获装置接收神经信号；基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激是用户的关注对象，该关注对象是根据具有与视觉刺激的特征调制相关联的性质的分量在神经信号中的存在推断；以及将命令发送至被确定为与关注对象相关联的可控制对象，其中，所述可控制对象基于所述命令来实现动作。
21.在某些实施方式中，实现动作包括控制可控制对象从待机状态改变状态。
22.在某些实施方式中，至少一个可控制对象包括刺激生成器和用于输出由刺激生成器生成的视觉刺激的发光单元。
23.在某些实施方式中，发光单元和刺激生成器被设置在电子徽章中，该电子徽章与一个或更多个可控制对象分开，并且逻辑上与所述可控制对象中的至少之一相关联。同样，发光单元输出由刺激生成器生成的视觉刺激。
24.在某些实施方式中，发光单元是投影仪或激光显示装置，投影仪或激光显示装置操作地耦接至刺激生成器并且将相应视觉刺激投影到可控制对象上；并且其中，可控制对象反射所投影的刺激。
25.在某些实施方式中，发光单元或每个发光单元包括以下中的至少之一：发光二极管(led)；led阵列；液晶显示(lcd)装置；有机发光二极管(oled)显示器；有源矩阵有机发光二极管(amoled)显示器；或电弧。
26.在某些实施方式中，系统还包括处理装置，该处理装置包括刺激生成器，其中，处理装置与接口装置通信地耦接，处理装置被配置成将指示所生成的视觉刺激的信息传送至接口装置。
27.在某些实施方式中，调制被选择性地应用于显示数据的高空间频率(hsf)分量。
28.根据第二方面，本公开内容涉及一种操作脑计算机接口系统的方法，脑计算机接口系统包括神经信号捕获装置和用于输出由刺激生成器生成的视觉刺激的至少一个发光单元，该视觉刺激具有特征调制，其中，方法包括，在操作地耦接至神经信号捕获装置和可控制真实世界对象的硬件接口装置中：形成可控制真实世界对象与至少一个视觉刺激之间的关联；接收由神经信号捕获装置捕获的与用户相关联的神经信号；基于神经信号来确定
至少一个视觉刺激中的哪个视觉刺激是用户的关注对象，该关注对象是根据具有与视觉刺激的特征调制相关联的性质的分量在神经信号中的存在推断；以及将命令发送至被确定为与关注对象相关联的可控制对象，从而控制所述可控制对象基于所述命令来实现动作。
29.在某些实施方式中，方法还包括实现动作，实现动作包括控制可控制对象从待机状态改变状态。
30.在某些实施方式中，至少一个可控制对象包括刺激生成器和发光单元，并且形成可控制真实世界对象与至少一个视觉刺激之间的关联包括控制发光单元输出由刺激生成器生成的视觉刺激。
31.在某些实施方式中，发光单元和刺激生成器被设置在电子徽章中，该电子徽章与一个或更多个可控制对象分开，并且形成可控制真实世界对象与至少一个视觉刺激之间的关联包括逻辑上将电子徽章与至少一个可控制对象相关联，以及控制电子徽章的发光单元输出由刺激生成器生成的视觉刺激。
32.在某些实施方式中，发光单元是投影仪，该投影仪操作地耦接至刺激生成器，并且形成可控制真实世界对象与至少一个视觉刺激之间的关联包括控制投影仪将相应视觉刺激投影到可控制对象上，使得可控制对象反射所投影的刺激。
33.在某些实施方式中，脑计算机接口系统还包括处理装置，该处理装置包括刺激生成器；处理装置与硬件接口装置通信地耦接，并且形成可控制真实世界对象与至少一个视觉刺激之间的关联还包括使处理装置将指示所生成的视觉刺激的信息传送至接口装置。
34.在该方法的某些实施方式中，调制被选择性地应用于显示数据的高空间频率(hsf)分量。
35.根据第三方面，本公开内容涉及一种计算机可读存储介质，该计算机可读存储介质包括指令，该指令在由机器执行时使机器执行上面的方法。
附图说明
36.为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。
37.图1示出了根据本公开内容的用于接收和处理eeg信号的电子架构；
38.图2示出了根据本公开内容的结合有脑计算机接口(bci)的系统；
39.图3示出了适用于与本公开内容的bci系统一起使用的显示装置的各种示例；
40.图4示出了本公开内容的bci系统的第一示例性实施方式；
41.图5示出了本公开内容的bci系统的第二示例性实施方式；
42.图6a和图6b示出了本公开内容的bci系统的又一示例性实施方式；
43.图7示出了根据本公开内容的bci的操作方法中的主要功能块。
44.图8是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图；以及
45.图9是根据一些示例实施方式的呈计算机系统形式的机器的图解表示，在该计算机系统中可以执行一组指令以使机器执行本文中讨论的方法中任何一种或更多种。
具体实施方式
46.下面的描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对发明主题的各种实施方式的理解。然而，对于本领域技术人员而言明显的是，可以在没有这些具体细节的情况下实践发明主题的实施方式。一般地，公知的指令实例、协议、结构和技术不需要被详细示出。
47.图1示出了用于借助于根据本公开内容的eeg装置100接收和处理eeg信号的电子架构的示例。
48.为了测量受试者110的颅骨的表面上的扩散电位，eeg装置100包括便携式装置102(即，帽或头戴件)、模数转换(adc)电路系统104和微控制器106。图1的便携式装置102包括一个或更多个电极108，通常在1个与128个电极之间，有利地在2个与64个电极之间，有利地在4个与16个电极之间。
49.每个电极108可以包括用于检测由受试者的神经元活动生成的电信号的传感器以及用于在模数转换之前预处理(例如，滤波和/或放大)检测到的信号的电子电路：这样的电极被称为“有源的”。图1中示出了使用中的有源电极108，其中传感器与受试者的头皮物理接近。电极可能适合于与导电凝胶或其他导电液体(被称为“湿”电极)一起使用或不使用这样的液体(即“干”电极)。
50.每个adc电路104被配置成转换给定数目(例如在1个与128个之间)的有源电极108的信号。
51.adc电路104由微控制器106控制并且例如通过协议spi(“串行外围接口”)与微控制器106通信。微控制器106将接收到的数据打包，以用于例如通过蓝牙、wi-fi(“无线保真”)或li-fi(“光保真”)发送至外部处理单元(未示出)，该外部处理单元例如是计算机、移动电话、虚拟现实头戴式耳机、汽车或例如汽车计算机或计算机系统、飞机的航空计算机系统。
52.在某些实施方式中，每个有源电极108由电池(图1中未示出)供电。电池方便地设置在便携式装置102的壳体中。
53.在某些实施方式中，每个有源电极108测量相应电位值，从该电位值减去由参考电极测量的电位(ei＝vi-vref)，并且该差值借助于adc电路104被数字化并且然后由微控制器106发送。
54.在某些实施方式中，本公开内容的方法引入用于在显示装置的图形用户接口中显示的目标对象。目标对象包括控制项，而控制项又与用户可选择的动作相关联。
55.图2示出了根据本公开内容的结合有脑计算机接口(bci)的系统。系统结合了例如图1中示出的eeg装置100的神经响应装置206。在系统中，图像被显示在显示装置202的显示器上。受试者204观看显示器上的图像，关注目标对象210。
56.在实施方式中，显示装置202将至少目标对象210显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特征不同的变化的时间特征。变化的时间特征可以是例如以大于6hz的速率改变目标对象的外观的持续的或时间锁定的闪烁效果。在多于一个图形对象是潜在目标对象的情况下(即，在向正在观看的受试者提供对要集中注意力的目标对象的选择的情况下)，每个对象与离散空间和/或时间代码相关联。
57.神经响应装置206检测与集中在目标对象上的注意力相关联的神经响应(即，指示视觉皮层中的脑活动的微小电位)；因此，对目标对象的变化的时间特征的视觉感知充当受试者的脑中的刺激，生成与关注的目标对象所关联的代码一致的特定脑响应。然后，检测到的神经响应(例如电位)被转换成数字信号并传送至处理装置208进行解码。神经响应的示例包括视觉诱发电位(vep)，其常用于神经科学研究。术语vep包含：如上面提及的传统ssvep，其中刺激以特定频率振荡；以及例如编码调制vep的其他方法，刺激经受可变或伪随机时间编码。
58.处理装置208执行解释接收到的神经信号的指令，以实时确定指示具有当前(视觉)注意力焦点的目标对象的反馈。对神经响应信号中的信息进行解码依赖于该信息与目标对象(即刺激)的时间分布的一个或更多个方面之间的对应关系。在某些实施方式中，处理装置208和神经响应装置206可以被设置在单个装置中，使得直接对检测到的神经响应执行解码算法。因此，可以使用利用视觉关联神经信号的bci来确定用户正在关注屏幕上的哪些对象。
59.在某些实施方式中，处理装置可以方便地生成在显示装置202上呈现的包括随时间变化的目标对象的图像数据。
60.反馈可以方便地视觉呈现在显示屏上。例如，显示装置可以极接近于目标对象显示图标、光标、十字准线或其他图形对象或者效果，突出看起来是当前视觉注意力的焦点的对象。显然，这样的反馈的视觉显示器对目标对象的感知具有反射性认知效果，放大了脑响应。这种正反馈(其中貌似的目标对象由于延长的放大的注意力而被确认为预期目标对象)在本文中被称为“神经同步”。
61.对人类视觉感测操作的方式的研究已经表明，当凝视具有多个对象的屏幕并且关注这些对象中之一时，人类视觉系统将善于接受高空间频率(hsf)和低空间频率(lsf)两者。证据表明人类视觉系统主要对受关注的特定显示区域(例如，用户正在注视的对象)的hsf分量敏感。相反，对于外围对象，人类视觉系统主要对其lsf分量敏感。换言之，拾取的神经信号将实质上受来自在受关注的目标的hsf分量以及来自外围目标的lsf分量两者影响。然而，由于所有对象均引起一定比例的hsf和lsf两者，因此处理神经信号以确定关注对象可能被外围对象贡献的lsf噪声妨碍。这趋于使识别关注对象不太准确和及时。
62.当人类视觉系统被调谐为并行处理视场的不同位置处的多个刺激(通常无意识地)时，外围对象刺激将继续触发用户的脑中的神经响应，即使其出现在视场的外围也是如此。结果，这引起多个刺激之间的竞争，并且使关注对象(目标)的特定神经解码更加困难。
63.于2020年11月6日提交的共同未决的国际专利申请第pct/ep2020/081348号(案卷号5380.002wo1)(其整个说明书通过引用并入本文)描述了对于以下挑战的方法：以一定速度和准确度从目标外围的对象(干扰物)确定关注对象(目标)。该国际专利申请中描述的方法依赖于上面讨论的人类视觉系统的特征。多个对象被显示，使得每个对象被分成仅由对象的lsf分量构成的版本和仅由hsf分量构成的版本。在一个示例中，用于引发可解码的神经响应(例如ssvep)的闪烁视觉刺激仅通过对象的hsf版本传送。该闪烁hsf版本叠加在lsf版本(其不闪烁)上。
64.医学或相关研究领域中的已知系统一般包括头戴式装置，其具有用于接纳各个传感器/电极的附接位置。电子电路然后连接至电极和获取链(即，用于获取eeg信号的连接部
件的组件)的壳体。因此，eeg装置通常由操作者/展示者在每次使用时必须组装的三个不同的元件形成。同样，eeg装置的性质使得技术帮助即使不是必需的也是期望的。
65.上述bci可以与真实世界对象结合使用，使对象可控制或以其他方式进行交互。在某些实施方式中，刺激的生成由与可控制对象相关联地(或在可控制对象的表面上)提供的一个或更多个光源(例如，发光二极管、led或小型显示单元)处理。
66.在某些实施方式中，刺激的生成由投影仪或扫描激光装置处理，使得视觉刺激被投影到可控制对象上，并且可控制对象通过反射投影的刺激来输出视觉刺激。
67.如使用用户通过其与屏幕上对象交互的显示屏幕的bci中的情况，可以使本公开内容中的可控制对象本身展示具有特征调制的视觉刺激(例如，闪烁刺激)，使得对这些刺激的存在的神经响应变得明显并且能够从由神经信号捕获装置(例如eeg装置)捕获的神经信号解码。
68.在某些实施方式中，在可控制装置的视觉显示器上确定注意力焦点用于向该可控制对象发送命令。然后，该可控制对象可以基于所述命令来实现动作：例如，可控制对象可以发出可听声音、解锁门、接通或关断、改变操作状态等。动作还可以向用户提供与可控制对象相关联的视觉或其他反馈：这可以用在上面讨论的正反馈回路中，但是也可以提供指示对象被识别为注意力焦点的确定性程度的实时反馈，以向用户给出关于他的专注程度。
69.图4示出了第一示例性实施方式，其中远程控制rc汽车404的至少一个表面结合有能够生成视觉显示的led阵列410。在一个实施方式中，rc汽车包括：接收电路，其通过无线单向通信手段(例如，射频rf；红外；或近场通信nfc)拾取从刺激生成器(这可以方便地是解码计算机104，如所示出的)发送的命令；处理单元(即微控制器)，其作用是解释接收到的命令并相应地控制rc汽车和/或视觉显示器的操作；以及显示器驱动电路，其将光调制应用于用于生成视觉显示的类型的显示装置(这里为led面板410)。rc汽车404还可以被配置成通过无线电通信链路412从传统无线电控制器414接收命令。因此，可以通过源自解码计算机104的命令(作为用户402中解码的脑活动的结果)和无线电控制器414的命令来控制rc汽车的操作。在某些实施方式中，刺激生成器连同视觉显示器一起嵌入rc汽车404中。来自解码计算机104的命令可以包括用于将由刺激生成器生成的调制与解码计算机同步或配置的信号。如果假设使用ssvep以预定的设置频率监视脑活动，则可以省略解码计算机与对象之间的这种链路。微控制器可以被编程为以异步方式调制相同频率的光，使得调制不需要被发送或甚至不需要与解码计算机104同步。
70.视觉显示器(即led阵列410)发射视觉刺激，该视觉刺激包括给定rc汽车404所独有的时间调制(即闪烁效果)。通过视觉关注该汽车(以及因此由该汽车输出的刺激)，用户产生神经响应，该神经响应又可以由bci(例如上面描述的bci)捕获。从用户的脑中捕获的神经信号对时间调制进行编码。然后，bci对神经信号进行解码，以确定哪个汽车(如果有)是用户的注意(或关注)对象。在某些实施方式中，bci包括通信单元，可以通过该通信单元向远程控制汽车发送命令。该命令例如可以是进入活动状态的指令，随之可以将由传统远程控制器装置发送的控制信号发送至汽车。命令可以方便地是“保持启动”命令，由此持续的注意力导致命令的重复传输，但是转移的注意力导致汽车停用。在存在多于一个这样的远程控制汽车(每个远程控制汽车生成不同的刺激)的情况下，用户可以改变关注(不受注意的汽车恢复待机或非活动状态)并且将远程控制器应用于形成新的注意力焦点的汽车。
71.图5示出了第二示例性实施方式，其中使用投影仪510将包括时间调制(即闪烁效果)的刺激投射到与可控制对象514相关联的真实世界对象504的至少一个表面上，所述刺激由刺激生成器512生成。当配备bci的用户502观看从对象504反射的光时，该反射光在用户的脑中产生可解码的神经响应(其可以由bci捕获)。图5示出了多个真实世界对象504、506等——投影仪510将相应刺激投影在每个对象上。然后，bci对神经信号进行解码，以确定对象(如果有)中的哪个对象是用户的注意对象。每个真实世界对象504、506等与相应的命令或所关联的可控制对象514的交互相关联。在某些实施方式中，bci包括通信单元，可以通过该通信单元将命令发送至被识别为注意对象的可控制对象。该命令可以例如是进入活动状态的指令。在一个实施方式中，如所示出的，可控制对象包括扬声器514，并且命令可以是控制扬声器再现例如警报或乐音的音频信号的命令。在某些实施方式中，其上投影有刺激的真实世界对象或每个真实世界对象本身可以是可控制对象。
72.图6a示出了又一示例性实施方式，其中三个视觉显示器610、610’、610”远离于可控制对象604来提供。视觉显示器610、610’、610”中的每一个(例如各个led阵列)生成对应的不同的包括时间调制(即闪烁效果)的视觉刺激。这里使用的视觉刺激利用例如多个微小的画线的hsf元素的高可解码性(通过在led阵列上使用不透明的物理掩模，该掩模可以被认为是一种印刷加博滤波器)。在某些实施方式中，掩模本身是可控制的：可控制马达可以在开闭状态之间切换快门装置，替选地，可以使用透明液晶装置来可控制地掩蔽或透射来自一个或更多个光源的入射光，提供具有可控制时间和/或空间可变掩模的背光lcd显示器。
73.在示出的示例中，各个视觉显示器610、610’、610”结合了指示可选择的选项的标志或图标(这里，颜色：红色r；绿色g；蓝色b)。可以通过在以其他方式不透明的物理掩模中设置雕刻图案或者通过控制由快门装置或lcd透射的光的图案来形成标志或图标。通过将注意力集中在视觉显示器610、610’、610”中之一上，配备bci的用户602产生与该视觉显示器610所独有的视觉刺激对应的神经响应。然后，这被解释为选择对应的选项(假设红色r)的意图。然后，由bci的处理器104使用预期的选项来生成被发送至可控制对象604的命令。在示出的示例中，可控制对象是颜色可调谐灯604，并且命令可以是控制灯发射红光的指令。正如图4中的rc汽车示例，在图6a示例中的视觉显示器610、610’、610”中的每一个处使用的电路系统包括：接收电路，其拾取从刺激生成器612发送的命令；处理单元；以及显示器驱动电路。虽然bci的处理器104(即解码计算机)与对象604之间的通信链路在图6a中被示出为无线链路，但是其也可以是有线的。
74.在某些实施方式中，各个视觉显示器610、610’、610”可以显示与要发送至对应的不同的可控制对象的各个命令相关联的视觉刺激。因此，可能存在多个不同的灯，每个灯服从与显示的视觉刺激中的相应一个相关联的命令。不是简单地控制由一个可调谐灯发射的光的颜色，而是注意一个视觉刺激可以激活灯中的一个或更多个；注意另一视觉刺激(显示在另一显示器上)可以例如使灯中的一个或更多个变暗；以及注意第三视觉刺激(显示在又一显示器上)可以使多个不同的灯进入经济模式，在该经济模式下，灯仅在没有足够自然光的情况下点亮。
75.在图6b中示出的另一示例性实施方式中，被称为“电子徽章”的视觉显示器采用物理的、可移动的对象的形式，与真实世界可控制对象分开，但是在逻辑上与它们中的至少之
一相关联。在本公开内容中，这些电子徽章提供小的、可移动的、可编程的屏幕(例如，3cm
×
3cm)，其显示与其他(可控制)对象或这样的对象的特定功能相关联的一个或更多个视觉刺激。屏幕可以例如是背光lcd、oled或amoled显示器。屏幕可以是可编程为发射具有类似于上述光源的时间调制的光，从而生成一个或更多个视觉刺激。不同于图6a的视觉显示器，图6b的电子徽章620、620’、620”除了处理单元614、显示器驱动电路616和用于输出视觉刺激的屏幕618之外，各自还包括它们自己的刺激生成器612’(参见徽章620”的插入“分解”视图)。
76.电子徽章可以嵌入物理对象(其可以是与由电子徽章生成的刺激或每个刺激相关联的可控制对象)内：徽章620嵌入可控制灯604’中。替选地，可以将徽章放置在或固定(临时或永久地)至物理对象的表面，或者实际上放置在或固定(临时或永久地)至从其可以方便地与可控制物理对象交互或控制可控制物理对象的任何表面，例如附近的壁、控制面板或家具物品。在图6b中，还能够通过与控制面板606中的电子徽章620’的交互来控制可控制灯604’。在其他实施方式中，电子徽章620”可以是便携式的，甚至是可穿戴的。在某些实施方式中，电子徽章包括电池和无线通信模块。电子徽章可以以任何常规方式附接至表面，该常规方式例如是夹、粘合剂、磁体、螺钉、螺栓或任何其他这样的固定手段。
77.在某些情况下，如图6b中那样，可以使用多于一个电子徽章来控制与单个物理对象的不同类型的交互：每个电子徽章显示不同的视觉刺激并且不同的动作与每个刺激相关联。可控制灯604’可以通过徽章620接通并通过徽章620’变暗。在进一步的图示中，考虑这样的情况：其中代替图6a的三个掩模视觉显示器，三个电子徽章可以被布置(假设在附近的桌面上)成显示在它们各自的调制方面不同的视觉刺激，每个徽章具有用于颜色可调谐灯604的不同的相关联的命令。也可以控制相应徽章以使其视觉外观不同，例如以表示颜色可调谐灯所需的效果的颜色发光。
78.在某些情况下，显示在电子徽章的屏幕上的视觉刺激可以根据徽章的编程应用于整个屏幕或应用于屏幕的相应的部分。如前所述，生成视觉刺激以在注意该刺激的bci的用户的脑中引起可解码的神经响应。视觉刺激可以表现为应用调制的多个微小的画线或“豆”(当给定刺激是bci用户的注意力焦点时，减少闪烁效果而不损害用于唤起神经响应的能力)。神经响应又可以被测量和解码以确定哪个电子徽章是用户的注意力的焦点，并且由于徽章在逻辑上与真实世界对象和/或与真实世界对象的控制动作相关联，因此从而确定真实世界对象是感兴趣和/或控制的对象。
79.在某些情况下，每个徽章或徽章的多个部分中的每一个可以显示与相关联的动作/命令(例如，开启/关闭、播放/暂停、前进等)对应的相应符号，所述相关联的动作/命令控制一个或更多个可控制真实世界对象的操作。然后可以将不同的视觉刺激应用于相应符号。在某些实施方式中，可以根据徽章的编程改变显示的符号。例如，例如，当受控音频系统604”处于回放状态时，示出“播放”符号的徽章620”可以用“暂停”符号来替换播放符号。类似地，在固定至可控制门上的徽章中，注意显示在徽章上的刺激可以根据门的当前状态被解释为“打开”命令或“关闭”命令。
80.被发光单元应用视觉刺激的可控制真实世界的对象不限于在上面的示例中提及的对象。除了可控制门、灯、远程控制的玩具、音频系统/扬声器之外，更一般地，可以在开关和阀的操作上准许相同的非接触式控制。不能用手操纵可控制装置的用户仍然可以控制他
们的操作：从操作水龙头以在水槽中提供水到选择要由机器人从仓库中的搁架取回的物品。本公开内容的各方面可以应用在许多不同的场合中，包括家庭、医疗保健、商业(零售、批发和物流)、农业和海事。
81.图7示出了根据本公开内容的bci系统(例如，图2中示出的bci系统)的操作的方法中的主要功能块。在块702中，接口装置208形成可控制真实世界对象与至少一个视觉刺激之间的关联。在块704中，接口装置208接收由神经信号捕获装置206捕获的与用户相关联的神经信号。在块706中，接口装置208基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激是用户的关注对象，该关注对象是从具有与视觉刺激的特征调制相关联的性质的分量在神经信号中的存在推断的。在块708中，接口装置208将命令发送至被确定为与关注对象相关联的可控制对象，由此控制可控制对象基于命令来实现动作。
82.可以采用关于图2中的bci描述的正神经同步反馈回路来确认用户的意图，用户的意图例如是发起诸如信息请求、真实世界的对象的控制状态的切换、混合现实设置中的对象(例如，用于控制)的激活/选择的动作。
83.图8是示出示例软件架构806的框图，示例软件架构806可以与本文中描述的各种硬件架构(例如图2的处理装置208)结合使用。图8是软件架构的非限制性示例，并且将认识到，可以实现许多其他架构以促进本文中描述的功能。软件架构806可以在诸如图2的处理装置208或图9的机器900的硬件上执行，机器900包括处理器904、存储器906和输入/输出(i/o)部件918等。示出了代表性硬件层852并且该代表性硬件层852可以表示例如图9的机器900。代表性硬件层852包括具有相关联的可执行指令804的处理单元854。可执行指令804表示软件架构806的可执行指令，包括本文中描述的方法、模块等的实现方式。硬件层852还包括示出为存储器/存储装置856的存储器和/或存储模块，其也具有可执行指令804。硬件层852还可以包括其他硬件858，例如用于与eeg电极接口和/或用于与显示装置接口的专用硬件。
84.在图8的示例架构中，软件架构806可以被概念化为层的堆栈，在该层的堆栈中，每个层提供特定功能。例如，软件架构806可以包括诸如操作系统802、库820、框架或中间件818、应用816和表示层814的层。操作上，应用816和/或层内的其他部件可以通过软件堆栈调用应用编程接口(api)调用808并接收作为消息810的响应。示出的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动操作系统或专用操作系统可能不提供框架/中间件818，而其他操作系统可能提供这样的层。其他软件架构可以包括附加层或不同的层。
85.操作系统802可以管理硬件资源并且提供公共服务。操作系统802可以包括例如内核822、服务824和驱动器826。内核822可以充当硬件与其他软件层之间的抽象层。例如，内核822可以负责存储器管理、处理器管理(例如，调度)、部件管理、联网、安全设置等。服务824可以为其他软件层提供其他公共服务。驱动器826可以负责控制底层硬件或与底层硬件接口。例如，取决于硬件配置，驱动器826可以包括显示器驱动器、eeg装置驱动器、摄像装置驱动器、驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(usb)驱动器)、驱动器、音频驱动器、电源管理驱动器等。
86.库820可以提供可以由应用816和/或其他部件和/或层使用的公共基础设施。与通过与底层操作系统802功能(例如，内核822、服务824或驱动器826)直接接口相比，库820通
常提供使得其他软件模块能够以更容易的方式执行任务的功能。库820可以包括系统库844(例如，c标准库)，该系统库844可以提供诸如存储器分配功能、串操纵功能、数学函数等的功能。另外，库820可以包括api库846，例如媒体库(例如，支持诸如mpeg4、h.264、mp3、aac、amr、jpg和png的各种媒体格式的呈现和操纵的库)、图形库(例如，可以用于在显示器上渲染2d和3d图形内容的opengl框架)、数据库库(例如，可以提供各种关系数据库功能的sqlite)、web库(例如，可以提供web浏览功能的webkit)等。库820还可以包括各种各样的其他库848，以向应用816和其他软件部件/模块提供许多其他api。
87.框架818(有时也被称为中间件)提供可以由应用816和/或其他软件部件/模块使用的更高级别的公共基础设施。例如，框架/中间件818可以提供各种图形用户接口(gui)功能、高级资源管理、高级位置服务等。框架/中间件818可以提供可以由应用816和/或其他软件部件/模块使用的广泛的其他ap，其中一些可以特定于特定操作系统或平台。
88.应用816包括内置应用838和/或第三方应用840。
89.应用816可以使用内置操作系统功能(例如，内核822、服务824和/或驱动器826)、库820或框架/中间件818来创建用户接口以与系统的用户交互。替选地或另外地，在一些系统中，与用户的交互可以通过例如表示层814的表示层来发生。在这些系统中，应用/模块“逻辑”可以同与用户交互的应用/模块的各方面分开。
90.图9是示出根据一些示例实施方式的机器900的部件(例如图2的处理装置208)的框图，该机器900能够从机器可读介质(例如，机器可读存储介质)读取指令，并且执行本文中讨论的方法中的任何一种或更多种。具体地，图9以计算机系统的示例形式示出了机器900的图形表示，在该机器900中可以执行用于使机器900执行本文中讨论的方法中的任何一种或更多种的指令911(例如，软件、程序、应用、小程序、app或其他可执行代码)。同样地，指令911可以被用来实现本文中描述的模块或部件。指令911将通用的未编程的机器900变换成特定机器，该特定机器被编程为以所描述的方式执行所描述和示出的功能。在替选实施方式中，机器900作为独立装置操作或者可以耦接(例如，联网)至其他机器。在联网部署中，机器900可以在服务器客户端网络环境中以服务器机器或客户端机器的身份操作，或者在对等(或分布式)网络环境中作为对等机器操作。机器900可以包括但不限于服务器计算机、客户端计算机、个人计算机(pc)、平板计算机、膝上型计算机、上网本、机顶盒(stb)、个人数字助理(pda)、娱乐媒体系统、蜂窝电话、智能电话、移动装置、可穿戴装置(例如，智能手表或头戴式显示器)、智能家庭装置(例如，智能电器)、其他智能装置、网络服务工具、网络路由器、网络交换机、网络桥接器或者能够顺序地或以其他方式执行指定要由机器900采取的动作的指令911的任何机器。此外，虽然仅示出了单个机器900，但是术语“机器”还应当被视为包括单独或联合执行指令911以执行本文中讨论的方法中的任何一种或更多种的机器的集合。
91.机器900可以包括可以被配置成例如经由总线902彼此通信的处理器904、存储器906和输入/输出(i/o)部件918。在示例实施方式中，处理器904(例如，中央处理单元(cpu)、精简指令集计算(risc)处理器、复杂指令集计算(cisc)处理器、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、射频集成电路(rfic)、其他处理器或其任何合适的组合)可以包括例如可以执行指令911的处理器908和处理器912。术语“处理器”旨在包括可以包含可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)的多核处理器。
尽管图9示出了多个处理器，但是机器900可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或其任何组合。
92.存储器906可以包括诸如主存储器、静态存储器或其他存储器存储装置的存储器914以及存储单元916，两者均能够由处理器904例如经由总线902访问。存储单元916和存储器914存储体现本文中描述的方法或功能中的任何一个或更多个的指令911。指令911还可以在其被机器900执行期间完全地或部分地驻留在存储器914内、存储单元916内、处理器904中的至少一个内(例如，处理器的高速缓冲存储器内)或其任何合适的组合内。因此，存储器914、存储单元916以及处理器904的存储器是机器可读介质的示例。
93.如本文中使用的，“机器可读介质”是指能够临时地或永久地存储指令和数据的装置，并且可以包括但不限于：随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪速存储器、光学介质、磁性介质、高速缓冲存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(eeprom))和/或其任何合适的组合。术语“机器可读介质”应当被视为包括能够存储指令911的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓冲和服务器)。术语“机器可读介质”还应当被视为包括能够存储用于由机器(例如，机器900)执行的指令(例如，指令911)的任何介质或多个介质的组合，使得指令在由机器900的一个或更多个处理器(例如，处理器904)执行时使机器900执行本文中描述的方法中的任何一种或更多种。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。术语“机器可读介质”不包括信号本身。
94.输入/输出(i/o)部件918可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种部件。包括在特定机器中的特定输入/输出(i/o)部件918将取决于机器的类型。例如，诸如移动电话的便携式机器或用户接口机器将可能包括触摸输入装置或其他这样的输入机构，而无头服务器机器将可能不包括这样的触摸输入装置。将认识到，输入/输出(i/o)部件918可以包括图9中未示出的许多其他部件。
95.仅出于简化以下讨论的目的来根据功能对输入/输出(i/o)部件918进行分组，并且该分组决不是限制性的。在各种示例实施方式中，输入/输出(i/o)部件918可以包括输出部件926和输入部件928。输出部件926可以包括视觉部件(例如，诸如等离子显示面板(pdp)、发光二极管(led)显示器、液晶显示器(lcd)、投影仪或阴极射线管(crt)的显示器)、听觉部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号生成器等。输入部件928可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他指向仪器)、触感输入部件(例如，物理按钮、提供触摸姿势或触摸的位置和/或力的触摸屏、或其他触感输入部件)、音频输入部件(例如，麦克风)等。
96.在又一示例实施方式中，输入/输出(i/o)部件918可以包括生物计量部件930、运动部件934、环境部件936或定位部件938等各种其他部件。例如，生物计量部件930可以包括用于检测表达(例如，手表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或例如来自eeg装置的输出的脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件934可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环
境部件936可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。定位部件938可以包括位置传感器部件(例如，全球定位系统(gps)接收器部件)、海拔传感器部件(例如，检测可以根据其得到海拔的气压的高度计或气压计)、取向传感器部件(例如，磁力计)等。
97.可以使用各种技术来实现通信。输入/输出(i/o)部件918可以包括通信部件940，该通信部件940能够操作以分别经由耦接924和耦接922将机器900耦接至网络932或装置920。例如，通信部件940可以包括网络接口部件或其他合适的装置以与网络932接口。在又一示例中，通信部件940可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(nfc)部件、部件(例如，低功耗)、部件和经由其他模态提供通信的其他通信部件。装置920可以是另一机器或各种外围装置中的任何外围装置(例如，经由通用串行总线(usb)耦接的外围装置)。在eeg装置或显示装置不与机器900集成的情况下，装置920可以是eeg装置(例如神经响应装置206)和/或显示装置(例如图2和图3的显示装置)。
98.尽管通过多个详细的示例性实施方式进行了描述，但是根据本公开内容的用于获取脑电图信号的便携式装置包括对本领域技术人员明显的各种变型、修改和改进，应当理解，这些各种变型、修改和改进落入由所附权利要求限定的本公开内容的主题的范围内。
99.尽管已经参照具体示例实施方式描述了发明主题的概述，但是在不脱离本公开内容的实施方式的较宽范围的情况下，可以对这些实施方式进行各种修改和改变。本发明主题的这样的实施方式可以在本文中通过术语“发明”来单独地或共同地指代，这仅仅是出于方便，并且并不旨在事实上公开了多于一个公开内容或发明构思的情况下将本技术的范围自主地限制于任何单个公开内容或发明构思。
100.对本文中示出的实施方式进行了足够详细地描述，以使得本领域技术人员能够实践所公开的教导。其他实施方式可以被使用并且从中得到，使得可以在不脱离本公开内容的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应当被认为具有限制意义，并且各种实施方式的范围仅由所附权利要求以及这样的权利要求被赋予的等同物的全部范围来限定。
101.如本文中使用的，术语“或”可以被解释为包括性或排他性意义。此外，可以针对在本文中被描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且特定操作在特定说明性配置的上下文中示出。可以设想功能的其他分配，并且功能的其他分配可以落入本公开内容的各种实施方式的范围内。通常，在示例配置中作为单独的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其他变型、修改、添加和改进落入如由所附权利要求表示的本公开内容的实施方式的范围内。因此，说明书和附图被认为是说明性意义而不是限制性意义。
102.因此，本公开内容描述了用于提高bci的准确度、速度性能和视觉舒适度的系统和
方法。
103.示例
104.为了更好地示出本文中公开的系统和方法，这里提供示例的非限制性列表：
105.1.一种脑计算机接口系统，包括：
106.至少一个发光单元，所述至少一个发光单元输出由刺激生成器生成的相应视觉刺激，所述视觉刺激具有特征调制；
107.至少一个可控制对象，所述至少一个可控制对象被配置成接收用户指令，每个可控制对象与至少一个视觉刺激相关联；
108.神经信号捕获装置，所述神经信号捕获装置被配置成捕获与所述用户相关联的神经信号；
109.接口装置，所述接口装置操作地耦接至所述神经信号捕获装置和所述可控制对象，所述接口装置包括：
110.存储器；以及
111.处理器，所述处理器操作地耦接至所述存储器并且被配置成：
112.从所述神经信号捕获装置接收所述神经信号；
113.基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激是所述用户的关注对象，所述关注对象是根据具有与所述视觉刺激的特征调制相关联的性质的分量在所述神经信号中的存在推断的；以及
114.将命令发送至被确定为与所述关注对象相关联的所述可控制对象，
115.其中，所述可控制对象基于所述命令来实现动作。
116.2.根据示例1所述的脑计算机接口系统，其中，实现所述动作包括控制所述可控制对象从待机状态改变状态。
117.3.根据示例1或2所述的脑计算机接口系统，其中，所述至少一个可控制对象包括所述刺激生成器和用于输出由所述刺激生成器生成的所述视觉刺激的所述发光单元。
118.4.根据示例1或示例2所述的脑计算机接口系统，其中，所述刺激生成器和所述发光单元被设置在电子徽章中，所述电子徽章与所述至少一个可控制对象分开，但逻辑上与所述至少一个可控制对象相关联。
119.5.根据示例1或示例2所述的脑计算机接口系统，其中，所述发光单元是投影仪，所述投影仪操作地耦接至所述刺激生成器并且将所述相应视觉刺激投影到所述可控制对象上；并且
120.其中，所述可控制对象反射所投影的刺激。
121.6.根据示例1至5中任一项所述的脑计算机接口系统，其中，所述发光单元或每个发光单元包括以下中的至少之一：单个发光二极管(led)；led阵列；液晶显示(lcd)装置；有机发光二极管(oled)显示器；或电弧。
122.7.根据示例1至6中任一项所述的脑计算机接口系统，还包括处理装置，所述处理装置包括所述刺激生成器，其中，所述处理装置与所述接口装置通信地耦接，所述处理装置被配置成将指示所生成的视觉刺激的信息传送至所述接口装置。
123.8.根据示例1至7中任一项所述的脑计算机接口系统，其中，所述调制被选择性地应用于所述显示数据的高空间频率(hsf)分量。
124.9.一种操作脑计算机接口系统的方法，所述脑计算机接口系统包括神经信号捕获装置和用于输出由刺激生成器生成的视觉刺激的至少一个发光单元，所述视觉刺激具有特征调制，
125.其中，所述方法包括，在操作地耦接至所述神经信号捕获装置和可控制真实世界对象的硬件接口装置中：
126.形成所述可控制真实世界对象与所述至少一个视觉刺激之间的关联；
127.接收由所述神经信号捕获装置捕获的与用户相关联的神经信号；
128.基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激是所述用户的关注对象，所述关注对象是根据具有与所述视觉刺激的特征调制相关联的性质的分量在所述神经信号中的存在推断的；以及
129.将命令发送至被确定为与所述关注对象相关联的所述可控制对象，从而控制所述可控制对象基于所述命令来实现动作。
130.10.根据示例9所述的方法，其中，实现所述动作包括控制所述可控制对象从待机状态改变状态。
131.11.根据示例9或示例10所述的方法，其中，所述至少一个可控制对象包括所述刺激生成器和所述发光单元，并且其中，形成所述可控制真实世界对象与所述至少一个视觉刺激之间的关联包括控制所述发光单元输出由所述刺激生成器生成的所述视觉刺激。
132.12.根据示例9或示例10所述的方法，其中，所述刺激生成器和所述发光单元被设置在电子徽章中，所述电子徽章与所述至少一个可控制对象分开，并且其中，形成所述可控制真实世界对象与所述至少一个视觉刺激之间的关联包括逻辑上将所述电子徽章与所述至少一个可控制对象相关联，以及控制所述电子徽章的发光单元输出由所述刺激生成器生成的所述视觉刺激。
133.13.根据示例9或示例10所述的方法，其中，所述发光单元是投影仪，所述投影仪操作地耦接至所述刺激生成器，并且其中，形成所述可控制真实世界对象与所述至少一个视觉刺激之间的关联包括控制所述投影仪将所述相应视觉刺激投影到所述可控制对象上，使得所述可控制对象反射所投影的刺激。
134.14.根据示例9至13中任一项所述的方法，其中，所述脑计算机接口系统还包括处理装置，所述处理装置包括所述刺激生成器；其中，所述处理装置与所述硬件接口装置通信地耦接，并且其中，形成所述可控制真实世界对象与所述至少一个视觉刺激之间的关联还包括使所述处理装置将指示所生成的视觉刺激的信息传送至所述接口装置。
135.15.根据示例9至14中任一项所述的方法，其中，所述调制被选择性地应用于所述显示数据的高空间频率(hsf)分量。
136.16.一种计算机可读存储介质，所述计算机可读存储介质承载指令，所述指令在由机器执行时使所述机器执行根据示例9至15中任一项所述的方法。
137.17.一种用于与根据示例1至8中任一项所述的脑计算机接口系统协作的电子徽章，所述电子徽章包括所述发光单元中的至少之一和刺激生成器。