人工智能神经义肢手

发明领域本发明一般涉及神经调节系统和方法，更具体地说，涉及一种神经假手，其通过使用深度学习人工智能来精确控制手部按照佩戴者的意图进行运动，从而提高其性能。

背景技术：

1、一般背景。

2、多年来，电刺激一直被用于探测神经回路和识别神经元网络。

3、尽管电刺激被广泛应用，但其对神经系统的作用机制仍然不太清楚，而且由于在实验研究和开发之前结果的不确定性，无法预测将新方法应用于此类治疗刺激的结果。

4、需要一种集成的硬件和软件平台系统，该系统能够准确、精确地感知、分析和调节直接从人脑接收并从大脑传输到手臂或腿部的周围神经的神经信号，以便控制神经假体的手腕、手和手指的运动，或神经假体腿的脚踝、脚和脚趾的运动，其潜在时间滞后近似于神经信号从大脑传输到肢体所需的时间。

5、目前可用或已知的电刺激装置不能充分感知神经信号，在接近天然系统的时间范围内处理它们，并且仍然包含允许佩戴者体验可接受的自然、正常的运动范围和摆脱笨重设计的组件。

6、综合发展战略。

7、开发高级神经调节装置的综合方法将包括四项策略：开发用于感测神经信号的超级技术，最优选的(但不是唯一地)不需要电极穿透神经；开发硬件技术，用于选择性放大感兴趣的信号以及去除刺激信号残留电荷和噪声伪影，以支持同时记录和刺激神经；开发基于深度学习人工智能神经网络的算法来分析和解码信号；开发预测模型根据刺激参数和神经信号得出的治疗结果。本发明的装置在其最优选的实施例中，将解决神经假体手开发的这四种策略，并在该四部分集成方法的总体架构内进行操作。我们需要这样的策略来应对该领域固有的多重挑战。

8、这些挑战包括：(1)无法驾驭目前可用的灵巧假肢系统的全部运动范围，例如现有技术的deka arm、apl arm和dlr hand arm系统，下面将分别描述和引用它们；(2)深度学习的有效性是以计算复杂性为代价的；(3)大多数低功耗平台上的传统中央处理单元(cpu)效率低下；(3)现有技术的深度学习模型必须使用图形处理单元(gpu)进行训练和部署，图形处理单元具有数百到数千个专门用于并行浮点矩阵乘法的多线程计算单元；以及(4)当前软件支持的状态，即现有技术的边缘计算设备(位于用户处或附近的设备)紧凑(作为硬件)，适用于深度学习用途，但当前软件仅限于高度定制的神经网络，这阻碍了例如本发明所要求保护的优选实施例的全部潜力，即基于递归神经网络(rnn)的神经解码器实现。

9、神经中的神经信号的信噪比(snr)较差。现有技术的神经假体无法令人满意地克服神经信号小于大脑中测量的信号的事实，这意味着现有的记录技术不足以从噪声源中解析神经信号。在信号处理的背景下，噪声被定义为信号在捕获、存储、传输、处理或转换过程中可能遭受的不必要的(通常是未知的)修改的通用术语。当使用穿透性或神经内电极来解决该问题时，神经信号质量在早期时间点得到改善，但由于异物宿主反应过程(炎症反应)以及系留电极相对于其嵌入的周围软组织的位置微运动，信号会随着时间的推移而衰减。此外，还存在一个固有问题，即当施加电刺激时，会产生大量持续的噪声伪影。

10、现有技术尝试通过消除噪声而不是减去噪声信号来解决这个问题，从而失去了可以更精确地局部测量的神经反应。神经外膜电极(例如袖带)为记录全神经神经活动提供了强大而稳定的接口，但神经外膜/神经束膜的电隔离会降低信号幅度，从而导致信噪比降低。特别是，如果记录器的精度不够高，神经外膜电极中的生物噪声会严重扭曲记录，甚至掩盖神经信号。消除生物噪声的后信号处理通常会产生新的可能与神经信号混淆的噪声伪影。由于化学化合物、细胞组织环境和组织对植入物的反应不同，电极-组织界面噪声可能与台式测试设备测量的结果有很大不同。多种模型和最新的测量数据表明，很大一部分电极噪声是非欧姆噪声(约翰逊-奈奎斯特噪声或热噪声)，这是由平衡状态下电导体内部电荷载流子(通常是电子)的热扰动产生的电子噪声，无论施加何种电压都会发生这种噪声；对于这种噪声，传感电子设备可以发挥作用，降低电极噪声。

11、由于滤波器噪声升高，神经记录中的电子噪声量可能非常大。例如，当记录腹部神经时，内脏的持续运动会引起大的振幅运动伪影。为了避免电子设备饱和，需要添加一个转折频率至少比伪影频率高十倍的模拟滤波器。这十倍的要求会使神经信号带中的模拟滤波器噪声增加到几十pv甚至更高。改善神经记录信号的未满足需求需要一种超越单个噪声成分优化的新颖解决方案。

12、无法提取单个束的信号，也无法发展慢性稳定性。非侵入性神经接口方法从有限数量的电极提供小信号。当前的技术已经证明，记录复合神经动作电位(cnap)(主要来自暴露的神经)远远大于背景噪声活动，但cnap构成了如此多的同步动作电位，以至于不可能将它们反卷积为单个纤维活动，而这是执行神经解码所必需的。来自神经的自发或不太同步的神经活动比cnap小得多，并且对于袖带电极来说尤其如此，可以看出，这种信号由于神经鞘的物理存在而进一步衰减。例如，现有技术中已经证实，使用神经肌肉阻滞剂后，体表犬迷走神经信号对于脱鞘神经在数微伏至数十微伏范围内，但当神经外膜完整时在体表记录时信号甚至更小(估计小于i0μv)。

13、神经是一束封闭的、类似缆线的束，由许多髓鞘神经纤维组成，其结构为鞘。神经内膜是围绕每根纤维髓鞘的一层结缔组织。神经内膜及其包裹的神经纤维被捆扎成神经束，每个神经束都有自己的保护鞘，称为神经束膜。多个神经束捆绑在另一个鞘内，即神经外膜。这些保护鞘将纤维隔离开来，使得从神经外部记录和调节单个纤维上的信号变得极其困难。侵入式神经内电极可能在早期时间点产生可检测的信号，但由于组织反应而导致的信号随时间的衰减仍然是一个问题。电极的初次插入会引起宿主免疫系统的早期异物反应，从而导致组织封装，由于束缚电极相对于软组织的微运动而造成广泛的组织损伤。由于缺乏长期稳定性，神经内电极的长期使用面临着巨大的挑战。

14、因此，仍然需要寻求显著降低噪音的非穿透性神经接口，以便能够准确记录小的神经信号。

15、无法记录微伏级的神经活动，同时将刺激脉冲施加到同一神经。在施加刺激脉冲期间，电极产生的刺激伪影通常会使差模信号和共模信号发生偏移，这两者都需要被适当地抑制。减去刺激伪影需要补偿传递函数的频率相关幅度和相位。这个减法过程不能作为常规操作，因为该过程需要非常高精度的放大器缓冲器来存储叠加伪影的集合和收集到的神经信号。如上所述，在脑记录实验中，神经信号(尖峰和场电位)的幅度约为几百pv，但刺激伪影的幅度可高达几伏。为了处理小于10pv的信号幅度，需要能够进行线性放大的更高精度的电子设备。

16、这种类型的精度每增加一位，就需要将供电功率增加4倍，这与商用模拟电子产品中的热斜率一致。由于这种现象，要对当今的大脑技术进行相应的升级，以支持同时记录和刺激周围神经，就需要将功率提高数千倍。

17、不匹配错误。本领域的普通技术人员认为，用于电刺激神经元的神经刺激器设计开发中的一个核心问题就是失配误差。在信号处理系统中，对信号在不同阶段按顺序执行多种操作或计算。这些操作中的每一个都试图强调感兴趣信号的所需成分或属性，而不会添加过多或太多不需要的额外成分。现在已知这些不需要的额外组件是由于与设计人员指定的电路操作相比，电路实现的非理想性造成的。电路非理想因素可分为两类：随机误差和系统误差。

18、在该领域，随机误差是许多物理过程的随机性的结果。例如，导体中电荷载流子的随机行为会导致各种类型的噪声信号，而集成电路制造过程中发生的物理现象的随机性会导致制造的片上器件的属性发生随机变化，以及相同设计的器件之间的不匹配。

19、系统误差的出现是因为典型的电路实现只能在有限的范围内近似理想的信号处理操作。例如，这些错误是由于器件的非线性工作特性或信号路径或器件结构中的寄生效应(例如，电路元件中不需要的电阻、电容或电感)的影响。

20、这些非理想性的影响可能有不同的种类。噪声信号限制了系统可以处理的最小信号。器件不匹配限制了电路行为的准确性，并再次限制了执行有意义的信号操作功能所需的最小信号或能量。对于线性系统，设备的非线性会产生信号的失真分量或将不需要的“噪声”信号调制到正在使用的信号带中。这通常会限制可以正确处理的最大信号。

21、本领域的普通电路设计人员迄今已尝试通过对偏置信号采用较小的调制指数来减少这种失真非理想性的影响。通过使用大尺寸的设备，可以降低不匹配的影响，并且通过使用低阻抗水平，可以降低热噪声信号。然而，这些措施对系统的功耗和运行速度有非常重要的影响。因此，电路实现的质量是根据获得的精度、噪声水平或相对于所用功率和运行速度的线性度来评估的，所有这些都是为了在给定速度下以最小的功耗实现最佳性能。

22、晶体管不匹配。在晶体管不匹配的特殊情况下，普通技术的电路设计人员可以通过对偏置信号使用较小的调制指数来减少失真非理想性的影响；因此，通过使用大尺寸的设备，可以降低不匹配的影响，并且通过使用低阻抗水平，可以降低热噪声信号。然而，这些措施对系统的功耗和运行速度有非常重要的影响。因此，电路实现的质量是根据相对于所用功率和运行速度的获得的精度、噪声水平或线性度来评估的。设计人员将尝试在给定速度的情况下以最小的功耗实现最佳性能。晶体管不匹配领域的现有技术知识认为，这种不匹配对模拟信号处理系统的最大总体性能产生了根本性的限制。速度-准确度/功率比由表达技术匹配质量的技术常数固定。

23、固有晶体管不匹配。集成电路上任何两个设计相同的设备在行为上都有随机差异，并且在模拟其行为的参数中表现出一定程度的随机不匹配。这种不匹配是由于用于制造此类设备的物理过程的随机性造成的。因此，不匹配是导致相同设计的设备的物理量发生与时间无关的随机变化的过程。例如，两个互补对称金属氧化物硅晶体管(cmos)的不匹配，在制造上完全相同，其特点是它们的阈值电压vto、体因子y和电流因子β的差异的随机变化。对于最小器件尺寸通常大于2μm的技术，这些随机变化的一个被广泛接受且经过实验验证的模型是正态分布，其平均值等于零，方差取决于栅极宽度w和栅极长度l以及器件之间的相互距离d。晶体管不匹配的表征是一个繁琐的过程，需要非常大的测量工作。必须非常小心地进行测量装置的设计、实现和验证、实验数据的采集以及数据的统计处理，以避免错误和系统效应。此外，在向亚微米和深亚微米技术迁移时，必须检查标准失配模型的有效性；如有必要，必须在模型扩展中考虑短通道或窄通道效应的影响。由于元件不匹配的影响，可以推导出信号处理系统最低功耗的一般关系。晶体管不匹配(以及热噪声现象)都是随机过程，对电路中可以处理的最小信号进行了限制；这两种现象都会施加最小功耗以实现一定的驱动、规格和速度。

24、在“晶体管不匹配对模拟电路设计和系统性能的影响”(https://www.ee.columbia.edu/～kinget/papersfiles/chapter3.pdf)中讨论了控制和减少不匹配的示例性现有技术努力和尝试，其全部公开内容通过引用并入本文中，并且其很容易地显示了减少不匹配问题的巨大挑战性和重要性。另一方面，晶体管不匹配的起源与器件结构、器件物理以及集成电路的制造技术有关。器件不匹配源于器件制造所采用的物理过程的随机性，例如离子注入、扩散或蚀刻。该器件结构采用掺杂材料中的通道，并通过调节通道电阻进行操作，导致器件特性和操作随机波动。对于我们今天使用和制造的集成电路技术来说，这些物理限制非常根本，并且设备不匹配是不可避免的。从这个角度来看，设备不匹配造成的限制仅限于使用集成电路实现的信号处理系统。因此，它们对于追求集成电路的最低功耗当然非常重要。现有技术尝试应对上述挑战，包括以下领域。

技术实现思路

1、本发明是一种神经假体装置，包括神经接口、人工智能引擎、由人工智能运行的人工智能神经解码器发动机和电动机械假肢。神经接口本身由频率整形神经记录器和冗余交叉神经刺激器组成。神经接口被配置为与从大脑传入、穿过手臂或腿部的一个或多个选定的残留周围神经建立双向神经记录和神经刺激通信。频率整形神经记录器和冗余交火神经刺激器被配置成在接近同时的时间建立双向记录和刺激通信，并且在本发明的最优选实施例中，在同时的通信活动中建立双向记录和刺激通信。人工智能神经解码器被配置为执行深度学习架构，该架构收集来自截肢者的运动意图或健康肢体的运动意图的输入神经数据，并将这些数据转化为对代替截肢的电动机械假肢的控制，该假肢可以是手臂、手、大腿、小腿、脚或任何解剖学上正确的肢体组合。优选地，人工智能神经解码器集成在假肢臂和手单元中。

2、由于假肢装置受神经直接控制，与依靠截肢末端附近或附近的残存肌肉的动作来控制假肢装置的现有技术装置相比，本发明的装置更正确地被认为是神经假肢或手。用户的动作仍然通过例如机电手和手指来表现出来，但设备的控制是通过来自大脑的神经信号，而不是通过解释肢体其他部位的肌肉运动。本发明的装置能够将来自大脑的信号如此快速地转换成例如手腕和手指的机械运动，并且如此紧密地模仿自然手的运动，使得该装置能够有效地充当替代截肢手的幻影手。这种神经假体幻手通过人工智能引擎处理的脑信号的超快速接收和翻译来实现其性能。人工智能引擎的配置允许通过用户控制的直观运动和类似于自然手腕和自然手指的动作来控制假肢手腕及其假肢手指。该装置最优选地具有假肢手指，假肢手指上还安装了触敏传感器，并且传感器被配置为生成微刺激模式。这些微刺激模式由人工智能解码器进行调制，然后向假肢手腕和手指提供体感反馈。

3、在其最优选的实施例中，该装置被配置为依次从用户的大脑收集训练数据，并使用这些训练数据来训练人工智能神经解码器，进而提供训练有素的运动模型，该模型通过接收的假肢手腕和假肢手指的运动进行额外训练，从而通过假肢手腕和假肢手指的运动将训练好的模型部署到未来的运动中。

4、该神经接口包括一个人工智能引擎和许多束状微电极，其中人工智能引擎是一个完全集成的生物电子单元，这些束状微电极被植入到截肢者周围神经系统的选定神经中的选定神经纤维中，从而将这些选定的神经纤维与人工智能引擎连接起来，并构成输入到引擎的脑数据的来源。该引擎还包括多个微电子微芯片，其配置为同时建立神经记录和神经刺激，而不是等待输入数据的摄入、记录和处理，然后依次释放一批输出数据。引擎中的微电子微芯片包括至少一个频率整形放大器电路，配置为获得超低能量噪声神经信号，并同时抑制不良信号伪影，以将高信噪比输入呈现到引擎的处理单元中。神经接口的人工智能引擎还包括一个高精度模拟数字转换器，用于将转换后的信号传送给放大器电路，然后再传送给处理单元。小型独立计算机是指发动机中的片上系统微型计算机模块，它接收数字化和清理后的信号数据、处理数据并将处理后的数据输出传送给实时电机信号解码器电路。优选的片上系统包括集成中央处理单元、图形处理单元、随机存取存储器、闪存装置，然后配置系统以便以自主应用的方式部署人工智能软件。图形处理单元本身由许多计算机统一设备架构并行进程组成，这些进程的配置是为了运行深度学习库。深度学习库的示例包括但不限于tensorflow、pytorch、caffe、caffe2、chainer、cntk、dsstne、dynet、genism、gluon、keras、mxnet、paddle或bigdl。tensorflow、pytorch和caffe是特别优选的。通过仔细选择图形处理单元并将其与所选的深度学习库进行协调，可以在所选深度学习库的电力消耗和稳健性之间实现工程平衡。为了找到最小的电源(通常包括可充电电池装置)和供电装置，以尽量减少假肢的体积和重量，理想的这种平衡变得非常重要。

5、当假肢是手或手/臂装置时，手将由发动机下游的手控制器电路控制，而手控制器又由必要数量的微控制器组成，以控制手指及其各个指骨和关节的动作。假手还将包括一个手部控制器的电源、若干个直流电机，用于手的每个手指，例如，由从微控制器接收的电信号单独驱动，响应由人工智能引擎计算的深度学习预测产生的解码运动信号。此外，本发明的装置将包括配置为在神经接口操作期间接收和传输数据的输入/输出单元，以及配置为存储假肢装置作为系统的操作需要所必需的数据的适当的内存存储容量。