一种基于用户认知疲劳水平的虚拟疏散导航系统交互设计方法及系统

本发明属于虚拟疏散导航系统交互设计领域，具体涉及一种基于用户认知疲劳水平的虚拟疏散导航系统交互设计方法及系统。

背景技术：

1、随着信息化和可视化技术的快速发展，虚拟疏散系统中的导航方法不断涌现，以前所未有的方式为用户带来信息丰富的导航疏散模拟体验，但目前虚拟疏散系统对于用户感受的关注比较薄弱，不能及时地对已经发生变化的生理条件做出反馈和调整。

2、虚拟现实技术通过模拟虚拟环境来提供全沉浸式的体验。在空间导航中，虚拟现实技术可以通过创建虚拟环境，帮助用户更好地预先感知复杂的空间结构。用户在虚拟环境中进行疏散实验、预训练，能够降低真实事故发生时疏散无组织性、无纪律性，更有利于现实疏散过程的快速逃生，虚拟现实系统中的实时导航帮助用户更熟悉逃生出口，相比传统的导航，虚拟现实技术能提前对用户疏散进行模拟，起到防患于未然的作用，减少真实情况下用户的迷失感和焦虑感。

3、虚拟现实技术在疏散模拟实验中逐渐开始应用，目前更多的聚焦于虚拟现实技术的使用，虚拟现实技术中缺乏对于用户的体征数据的采集关注，对系统中的界面调整也主要依靠用户手动调节，不够智能化、自动化。虚拟现实技术可以与其他感官信息结合使用，根据用户的个人偏好和需求，为每个用户提供定制化的导航服务，但目前虚拟现实技术提供的导航系统缺乏对于用户实时状态的即时反馈，缺少对于实时体征信息的整合，造成用户的体验感的不佳。

技术实现思路

1、本发明针对既有虚拟导航界面交互设计中缺乏对于用户认知疲劳的考量，通过对于用户生理体征的监测及机器学习形成认知疲劳预测模型，提供一种将用户认知疲劳状态反馈于虚拟导航系统的交互设计中，实现虚拟现实环境中用户体征数据和导航标识界面的联动性，实现了虚拟现实场景的智能化和人性化。

2、本发明的技术方案如下：

3、一种基于用户认知疲劳水平的虚拟疏散导航系统交互设计方法，包含以下步骤：

4、步骤1：搭建虚拟场景，建立导航界面设计库；通过实地调研或者资料搜集获取建筑环境数据，进行三维模型的建立；同时对虚拟环境的导航界面进行设计，形成不同疲劳水平下的导航界面，进一步完成虚拟疏散漫游场景的搭建。

5、步骤2：通过所述虚拟场景进行预实验来形成数据集，然后通过所述数据集训练机器学习得到认知疲劳水平预测模型；

6、步骤3：进行疏散模拟实验，利用训练好的疲劳评估模型预测用户认知疲劳水平评级，将得到的疲劳水平评级与所述导航界面设计数据库实施联动，导航界面针对不同的疲劳水平进行实时的调整适配，以匹配用户不同的认知疲劳水平。

7、进一步地，所述步骤1具体为:

8、步骤1.1：调研建筑对象，根据拍摄照片和红外扫描技术建立建筑模型，根据实地测量数据对建筑模型内部进行调整，进行初步建筑建模；

9、步骤1.2：搭建导航界面设计库，根据信息认知量对导航界面进行设计，并将导航界面设计库数据与认知疲劳水平进行匹配，以实现不同疲劳水平下的导航界面调用，为后续交互设计做准备；

10、步骤1.3：将所述建筑模型和所述导航界面设计库导入unity 3d游戏引擎的平台，进行贴图编辑、添加刚体、添加刚体与物理碰撞编辑，并使用粒子系统创建动态烟雾和紧急疏散的人群，完成虚拟漫游场景的搭建。

11、进一步地，所述信息认知量包括空间信息、环境信息和任务指令。

12、进一步地，所述步骤2具体为：

13、步骤2.1：用户在unity 3d引擎中进行建筑虚拟环境的预实验，实验过程中穿戴相应设备对眼动数据和脑电图数据进行采集；

14、步骤2.2：预实验时长共计一小时，每15min进行一次用户主观nasa-tlx量表的填写，根据主观nasa-tlx量表得分对其认知疲劳水平进行分级；

15、步骤2.3：对眼动、脑电数据进行处理分析，删除收集数据中的异常值，对缺失的数据进行填充，进一步对眼动、脑电数据进行特征提取；

16、步骤2.4：根据量表得分的疲劳水平分级作为眼动和脑电特征标记标签的依据，对眼动、脑电特征进行标记；

17、步骤2.5：将标记好的眼动、脑电特征数据集作为训练集训练机器学习疲劳评估模型。

18、进一步地，所述步骤3具体为：

19、步骤3.1：用户在虚拟现实环境中进行疏散导航实验，实验过程中采集用户的眼动、脑电数据，并计算相应特征；

20、步骤3.2：将计算特征输入到训练好的机器学习疲劳评估模型获取用户认知疲劳水平评级；

21、步骤3.3：将得到的用户认知疲劳评级通过反馈机制作用于虚拟疏散导航界面设计库，根据认知疲劳水平对界面进行实时调用。

22、进一步地，所述步骤2.2中nasa-tlx量表的使用分为三步：

23、首先通过采用两两比较的方法，确定每个指标的权重关系，六个指标的权重之和等于1；其次，根据虚拟环境中的预实验，用户对六个指标进行打分，分值在0—100之间；最后，将各个指标的权重和所对应的值进行加权平均，根据得分的高低将认知疲劳分为轻松状态、一般疲劳状态和严重疲劳状态；

24、进一步地，nasa-tlx量表得分的计算公式如下：

25、

26、其中，f表示量表最终得分，mi表示各个评价指标的刻度分值，pi表示15个两两比较的对子中第i个项目被选中的次数。

27、进一步地，所述进一步对眼动、脑电数据进行特征提取具体为：

28、采用快速傅里叶变换对眼动、脑电数据进行分析以提取功率谱密度特征，进一步将功率谱密度特征在0到1的范围内进行归一化，并将功率谱密度特征分为三类：基于瞳孔的特征、基于凝视的特征和基于脑电数据的特征。

29、本发明提供一种基于用户疲劳水平的虚拟疏散导航系统交互设计方法系统，包括虚拟场景搭建模块、数据采集与储存模块、疲劳状态评估模块；

30、其中，所述虚拟场景模块，用于三维建筑模型的建立、导航标识界面设计库的搭建以及虚拟环境的模拟；

31、所述数据采集与储存模块，用于实时采集用户的主观感受和体征数据，包括量表结果、眼动数据和脑电数据；

32、所述疲劳状态评估模块，用于根据机器学习得到的认知疲劳预测模型，对用户实时采集体征数据进行疲劳分析，识别疲劳水平，并将疲劳水平反馈至虚拟场景模块。

33、与现有技术相比，本发明具有以下优点：

34、本发明在虚拟疏散导航系统中加入对于用户认知疲劳的考虑，根据其认知疲劳水平进行不同导航界面的调用，尽可能的在疏散导航过程中缓解由于界面复杂造成的认知疲劳，因此提出一种基于眼动追踪、脑电图信号的方法来对用户在虚拟现实环境中进行疏散实验的认知疲劳水平进行评级，通过预实验采集数据进行模型训练，利用训练好的机器学习模型对用户疏散实验的生理数据实时采集以达到疲劳水平评级的目的，并将其作用于导航界面的动态适配，使系统对用户疲劳进行自适应反馈。该系统有效弥补了目前虚拟现实中疏散导航界面的不可变性造成认知疲劳的研究不足，提供了一种利用生理数据衡量认知疲劳并及时调整导航界面的有效方法，具有较强的操作性和适用性。