一种低视力视觉辅助仿真模拟系统

本发明涉及视觉仿真，具体来说，涉及一种低视力视觉辅助仿真模拟系统。

背景技术：

1、视觉辅助仿真模拟主要用于对低视力视觉障碍人群佩戴助视器后的视野图像进行模拟。现有的低视力视觉辅助仿真模拟技术，至少存在以下弊端：

2、有限的场景真实性：传统的视觉障碍仿真技术通过构建虚拟场景模仿视野环境，但是搭建虚拟场景与现实三维场景差异巨大，极大地限制了用户体验的真实性。

3、模拟视觉障碍的局限性：现有方法能够模拟的视觉障碍类型有限，且无法实现复合视觉障碍的仿真与模拟。此外，这些方法还缺乏根据用户的具体视野实测数据进行个性化定制的能力，限制了提供更全面和个性化的视觉障碍模拟体验的可能性。

4、缺乏助视器仿真：现有的视觉障碍模拟方法普遍缺乏对助视器使用效果的仿真功能。这一局限性导致了在模拟视觉辅助设备使用时的视觉体验方面的不足。

5、视线追踪的局限性：许多现有系统的视线追踪技术分辨率较低，无法精确记录和分析用户的眼动数据，无法准确计算用户的实时三维视线数据，未能实现对用户头部姿态的实时检测，缺乏摄像头自适应选择机制。

6、动态渲染能力不足：现有方法在进行层叠渲染和遥测式注视跟随方面表现不佳，缺乏将视觉障碍仿真和助视器视觉辅助仿真功能有效融合的能力，也无法根据实时三维视线追踪信息动态调整主摄像机的拍摄角度，无法确保高质量的仿真效果渲染和视野的准确性。

技术实现思路

1、鉴于现有技术的不足，本发明提供一种低视力视觉辅助仿真模拟系统。本发明能够在虚拟环境中为用户提供视觉障碍的仿真模拟与可视化，同时提供低视力助视器的仿真模拟与可视化。

2、本发明采用的技术手段如下：

3、一种低视力视觉辅助仿真模拟系统，包括：

4、虚拟场景仿真模块，所述虚拟场景仿真模块采用3d虚拟现实技术进行场景建模和道路布局，从而生成包括驾驶和行走场景的第一层仿真模拟数据；

5、视觉障碍仿真模块，所述视觉障碍仿真模块利用视觉障碍图像仿真方法，根据预设低视力病因和视野计实测视野范围，生成包括特定患者的视觉掩膜效果的第二层仿真模拟数据；

6、助视器视觉辅助仿真模块，所述助视器视觉辅助仿真模块利用空间移位、缩放、场景轮廓抽取以及边缘暗区仿真方法，生成包括光学助视器或电子助视器效果仿真的第三层仿真模拟数据；

7、视线追踪辅助模块，所述视线追踪辅助模块基于多相机多光源的三维视线跟踪，通过计算眼部不变特征、kappa角以及光轴与视轴的转换矩阵，实时计算三维视线方向以及屏幕注视点坐标，从而提供用户的三维视线追踪数据；

8、仿真效果渲染模块，所述仿真效果渲染模块用于对所述第一层仿真模拟数据、第二层仿真模拟数据以及第三层仿真模拟数据进行叠加渲染，并结合实时视线追踪数据，调整视觉渲染视角，实现遥测式注视跟随渲染。

9、进一步地，所述虚拟场景仿真模块采用3d虚拟现实技术进行场景建模和道路布局，从而生成包括驾驶和行走场景的第一层仿真模拟数据，包括：

10、将所述行走场景设置为包括开放行走环境，所述行走环境中包含的行人元素、商铺元素、娱乐设施元素以及服装展区元素，用户在开放行走环境中自由行走，包括直行、左转或右转；

11、将所述驾驶场景设置为包括乡村高速公路和城市道路，在乡村高速公路场景中，道路由两个车道组成，有对向车流和长曲线，没有直角转弯，道路右侧设有应急车道，城市道路场景包括两车道、四车道和单行道，两车道和四车道时设有对向车流，并在道路两边设置了行人与车辆。

12、进一步地，所述视觉障碍仿真模块利用视觉障碍图像仿真方法，根据预设低视力病因和视野计实测视野范围，生成包括特定患者的视觉掩膜效果的第二层仿真模拟数据，包括：

13、基于预设的病因模仿视觉障碍视野，模仿的视觉障碍类型包括同侧偏盲、中心视野损失、外围视野损失、视野斑点、近视以及远视，并根据视野计实测视野范围进行视野缺损模拟。

14、进一步地，所述视线追踪辅助模块基于多相机多光源的三维视线跟踪，通过计算眼部不变特征、kappa角以及光轴与视轴的转换矩阵，实时计算三维视线方向以及屏幕注视点坐标，从而提供用户的三维视线追踪数据，包括：

15、在视线追踪辅助系统中布置了四台高分辨率摄像头和四个光源；

16、在校准过程中，通过顺序显示校准点并运用现有的基于多相机多光源的三维视线跟踪技术计算眼部不变特征、kappa角以及光轴与视轴的转换矩阵，作为重建光轴和计算视轴的依据；

17、根据光轴以及光轴与视轴的转换矩阵可以求得用户的三维视线方向向量，结合先前标定的屏幕位置信息，精确计算出用户在屏幕上的注视点坐标，从而实现对用户视线的高精度追踪。

18、进一步地，所述视线追踪辅助模块基于多相机多光源的三维视线跟踪，通过计算眼部不变特征、kappa角以及光轴与视轴的转换矩阵，实时计算三维视线方向以及屏幕注视点坐标，从而提供用户的三维视线追踪数据，还包括：

19、采用实时的目标检测算法区分用户的头部姿态，根据用户的头部姿态动态选择两台位置最优的摄像头以获得视线追踪的最佳角度。

20、进一步地，所述仿真效果渲染模块用于对所述第一层仿真模拟数据、第二层仿真模拟数据以及第三层仿真模拟数据进行叠加渲染，并结合实时视线追踪数据，调整视觉渲染视角，实现遥测式注视跟随渲染，包括：

21、采用主摄像机捕捉并渲染全局视野来构建整个屏幕显示界面，所述主摄像机的输出融合了视觉障碍仿真模块和助视器视觉辅助仿真模块的功能，实现了单一和复合视觉障碍效果的仿真渲染；

22、根据视线追踪辅助模块实时采集的三维视线追踪信息，动态调整主摄像机的拍摄角度，从而获取用户在转动头部和眼部时观看到的视野画面。

23、较现有技术相比，本发明具有以下优点：

24、1、本发明提供了一种低视力视觉辅助仿真模拟方法与装置，能够模拟和评估低视力状况以及助视器的辅助效果，为低视力人群和视觉障碍研究提供了一种全面的仿真和评估工具。

25、2、本发明中虚拟场景仿真模块通过3d建模技术构建了逼真的行走和驾驶场景，增加了模拟环境的真实感。虚拟购物中心场景有助于训练和评估用户在高密度公共场所的导航能力，乡村高速公路场景有助于建立用户的基础驾驶技能，而城市道路场景可以帮助用户适应复杂的交通情况。

26、3、本发明中视觉障碍仿真模块采用先进图像处理技术，模拟了一系列视觉障碍效果，为正常视觉的用户还原了患者的真实视觉感知，使他们深入理解不同视觉障碍对视觉感知的影响。

27、4、本发明中助视器视觉辅助仿真模块通过空间移位和图像缩放技术，模拟了佩戴助视器时的视觉效果，有助于优化助视器的设计和配置。该模块可以使用户了解哪种类型的助视器最适合自己的视觉需求，实现个性化定制。用户还可以通过仿真模块深入了解不同助视器的功能和使用场景，从而在日常生活中更有效地使用它们。

28、5、本发明中视线追踪辅助模块提供的高精度眼动追踪数据对于分析视觉障碍人群的注视行为和视觉行为模式至关重要。仿真效果渲染模块将所有仿真数据整合，通过层叠渲染和动态调整拍摄角度，提供了一个高度逼真的视觉体验，提升了用户在虚拟环境中体验的真实性。