一种基于多模态信号的人机交互任务负荷的预测方法

本发明涉及人机交互，具体为一种基于多模态信号的人机交互任务负荷的预测方法。

背景技术：

1、在大多数的人机交互任务负荷测评指标研究中，主要有三类基本方法：主要和/或次要任务中任务绩效的度量，主观报告和生理指标。传统的人机交互评估方法，如问卷调查或简单的行为观察，在主观的工作量测量方面仍然存在一些方法问题：在线或实时评分的入侵性会分散实验者的认知资源，任务后的评分又会因为被试者的记忆回溯有所偏差。虽然提供了一定的洞察，但它们往往无法捕捉到操作员在快速、复杂的交互过程中经历的微妙的生理和情感变化。目前，生理学分析可以直接反应操作员的生理机能，对操作员的人认知状态进行实时监测和评估。研究人员使用皮肤电导、脑电图和心电图等心理生理反馈装置来检测用户在执行任务期间的认知状态。但在某些情况下，仅使用脑电或眼动数据。可能无法全面捕捉和解释用户在复杂的交互环境下的认知状态和负荷水平。例如，脑电信号能够反映大脑活动的变化，但可能无法单独提供关于用户注意力分配或视觉疲劳的信息。类似地，眼动数据可以反映视觉注意的焦点和频率，但不一定能全面表达负荷的变化。

技术实现思路

1、本发明的目的在于提供一种基于多模态信号的人机交互任务负荷的预测方法。

2、为实现上述目的，本发明提供如下技术方案：一种基于多模态信号的人机交互任务负荷的预测方法，包括以下步骤：

3、(1)对应任务难度的负荷等级划分，通过实验操作后的量表评分得到对应任务具体的任务负荷等级；

4、(2)实验操作平台搭建；构建一个融合多模态生理测评的实验操作平台，该平台包括被试机和主试机；

5、(3)生理指标的精确提取：根据实验操作平台采集的多模态生理信号数据，提取与任务负荷相关的脑电、眼电和肌电指标；

6、(4)通过回归分析构建预测模型：根据步骤(3)中提取的脑电、眼电和肌电生理信号数据，将任务负荷作为因变量，生理指标作为自变量进行回归分析，构建任务负荷等级的累计概率预测公式和独立概率预测公式；

7、(5)验证预测模型模型的预测准确率。

8、进一步地，步骤(1)具体包括：

9、对应任务难度的负荷等级划分，对多人进行任务难度测试，被试分别进行n个难度任务的执行，每个难度的任务执行后都填写美国航空航天局任务负荷指数量表(nationalaeronautics and space administration-task load index，nasa-tlx)，对所得到的量表评分数据平均处理，根据评分高低划分n个负荷等级，保证每个负荷等级均有任务分入，n≥3。

10、进一步地，步骤(2)具体包括：

11、步骤(2-1)：在被试机中集成与配置硬件，集成脑电图、眼电图、肌电图设备，并确保所述设备能够协同工作，同时能够捕获多模态生理信号数据；

12、步骤(2-2)：在主试机中集成与配置软件，集成能够支持人机交互任务模拟的软件系统，该系统能够允许研究人员更改任务参数和设置，同时实现生理信号数据的同步记录和可视化，并能够处理和分析所述生理信号数据。

13、进一步地，步骤(3)具体包括：

14、步骤(3-1)：实验任务执行，另外对多人在步骤(2)所搭建的实验操作平台进行任务操作，被试分别进行n个难度任务的执行，收集被试者在任务执行过程中的多模态生理信号数据；

15、步骤(3-2)：信号预处理，对采集到的原始多模态生理信号数据进行预处理，包括滤波、去噪声、基线校正，以提高数据质量；

16、步骤(3-3)：特征提取，从预处理后的数据中提取关键生理指标数据，对于脑电数据，提取不同频段的功率谱密度，所述不同频段包括delta、theta、alpha、low beta、highbeta；对于眼电数据，计算眼电反应率(ebr)；对于肌电数据，提取均方根(rms)和整流肌电图(iemg)值；

17、步骤(3-4)：显著性分析，利用spss软件进行显著检验，挑选对不同任务负荷等级之间表现出显著差异性的指标。

18、进一步地，步骤(4)具体包括：

19、步骤(4-1)：将提取的脑电、眼电和肌电生理指标数据导入spss软件，在spss软件中将生理指标定义为自变量，将任务负荷等级定义为因变量；

20、步骤(4-2)：对生理指标值进行描述性统计分析，了解数据分布，去除潜在的异常值从而实现数据筛选；

21、步骤(4-3)：使用多分类logistic回归模型，在spss软件中选择多元logistic分析，spps软件数据分析结果报告中得到模型拟合信息表和参数估算表，若模型拟合信息表中显著性p<0.05，则模型显著成立；

22、步骤(4-4)：概率公式建立，基于步骤(4-3)参数估算表，构建任务负荷等级的累计概率预测公式(2)和独立概率预测公式(3)，其中p为累积概率，x为任务负荷等级，bi、b1、b2…bn为步骤(4-3)参数估算表所得模型参数，x1、x2…xn取对应的生理指标数据，根据独立概率预测公式(3)得到任务执行下对应生理指标数据在n个任务负荷等级下的概率；

23、累积概率预测公式如下：

24、logit(py>i|x))＝-bi+b1x1+b2x2+…+bnxn (1)

25、

26、独立概率预测公式如下：

27、p(y＝i|x)＝p(y≤i|x)-(y≤i-1|x) (3)

28、i＝1,2,…,n；x为自变量x1,x2,x3…xn；y为多分类因变量。

29、进一步地，步骤(5)具体包括：

30、将步骤(3-1)任务执行过程中收集到的生理信号数据代入到步骤(4-4)所得到的具体的独立概率预测公式，得到预测的任务负荷等级，与实际任务负荷等级相比较，得出该模型的预测准确率。

31、进一步地，步骤(1)中n＝3，评分小于40分为任务负荷等级1，评分40分以上且小于55分为任务负荷等级2，评分55分以上为任务负荷等级3。

32、进一步地，步骤(1)和步骤(3-1)中的人数为20人以上。

33、与现有技术相比，本发明的有益效果是：

34、本发明设置不同负荷的任务操作步骤，系统化地采集和处理操作员在不同任务负荷下的多模态生理信息，提取与任务负荷相关的多种生理指标，包括脑电频段功率谱密度(psd)的多个频段(delta、theta、alpha、lowbeta、highbeta、p300、p200)，眼电(ebr)，以及肌电反应的均方根(rms)和积分肌电(iemg)，对数据进行回归分析，构建了任务负荷等级的累计概率预测公式和独立概率公式，明确了生理指标与任务负荷之间的影响关系，超越了依赖单一信号的限制，利用构建的回归模型，可以将实时采集的生理指标输入模型，实现对任务负荷的预测，预测准确率高，从而为人机交互任务中的负荷管理和优化提供科学依据。