远控界面按键映射方法及系统

本发明涉及虚拟现实virtual reality和计算机软件领域，具体涉及远控界面按键映射方法及系统。

背景技术：

1、按键映射技术是一种用于将手柄按键或按键组合映射到pc设备的特定按键或按键组合的技术。当用户需要进行远程控制时，单纯的鼠标点击操作可能无法满足他们对pc远程控制界面的控制需求。这主要是因为鼠标点击只能提供有限的控制方式，而某些操作可能需要更多的功能按键或按键组合来实现。按键映射技术的背景正是为了解决这一问题而发展起来的。它允许用户通过手柄控制器或其他设备输入特定的按键或按键组合，以触发pc设备上的相应功能。按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与pc设备上的特定按键或按键组合进行映射，建立起一种直观且便捷的控制方式。用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现pc设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制pc设备，提供了一种更直观、更灵活的远程控制方式。

2、按键映射技术通常应用于虚拟现实环境中，通过手柄控制器进行操作。其主要结构和原理为：

3、①手柄控制器：用户使用手柄控制器进行操作，在虚拟现实环境下与pc设备连接。

4、②射线与屏幕交互检测：通过判断手柄射线与屏幕是否相交，确定按键映射关系是否生效。

5、③自定义按键映射关系：用户可以自定义按键或按键组合与pc设备对应按键或按键组合的映射关系。

6、其技术手段和方法步骤为：

7、①确定手柄射线与屏幕的交互方式和逻辑。

8、②用户在虚拟现实环境中使用手柄按下特定按键或按键组合。

9、③判断手柄射线是否与屏幕相交。

10、④若手柄射线与屏幕相交，则触发按键映射关系，pc设备执行对应的按键或按键组合功能。

11、目前按键映射技术在交互判断准确性和用户体验方面还存在缺陷。射线与屏幕相交的判断可能存在误差，导致按键映射关系生效的准确性受到影响。

12、中国专利说明书公布号为cn114527903a的现有发明专利申请文献《一种按键映射方法、电子设备及系统》根据本技术提供的方法，电子设备可以通过图像处理算法识别出游戏应用中的按键区域。另外，为了提高按键区域识别的精度，电子设备还可以结合用户对于该游戏画面的触控频率，对该图像处理算法进行校正。在识别出所有的按键区域后，用户可以将游戏应用中所有的虚拟按键与游戏手柄的物理按键一一进行匹配，建立映射关系，然后用户可以通过控制游戏手柄上的物理按键来触发游戏应用中的虚拟按键对应的功能，比如游戏中人物的移动、技能的施放、场景的切换等。但前述技术采用局域网或蓝牙方案实现连接，设备需现场进行配对，使用时控制设备与被控设备需在同一局域网下或在受限距离内才可使用映射功能，本技术所述按键映射技术只需用户在虚拟现实设备及远控pc登录相同账户，并保持联网状态，即可实现远程连接。且前述现有技术涉及的领域为终端技术领域，前述现有技术也并非用于虚拟现实领域的按键映射研究。

13、现有技术中，在应用场景和设备类型方面终端技术领域的按键映射通常是为了增强智能手机、平板电脑、电视遥控器等终端设备的用户体验。而虚拟现实领域的按键映射主要是为了在虚拟现实环境中控制头戴式显示器(如vr头盔)或手柄等特定设备；在操作方式方面，终端技术领域的按键映射通常以触摸屏、方向键、按钮或手势等为基础，将这些输入方式映射到终端设备上的相应功能。而虚拟现实领域的按键映射则更注重将物理手柄上的按键或手势映射到虚拟现实环境中的操作，例如在vr游戏中使用手柄来控制角色移动、进行武器切换等；在多模态控制方面：虚拟现实领域的按键映射可能需要涉及到多种不同类型的输入，如触摸、旋转、重力感应等。这是因为虚拟现实环境中的交互更加复杂，需要提供更多的控制方式和更细粒度的输入反馈。而在终端技术领域，通常只需要处理触摸或按键输入等有限的操作方式。在用户体验优化方面：在虚拟现实领域，按键映射的目标是提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。例如，通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。

14、综上，现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：远控界面按键映射方法包括：

3、s1、建立虚拟现实设备与目标pc的数据连接，以将远控pc的界面渲染至沉浸式虚拟场景的虚拟屏幕，远控pc的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；

4、s2、利用虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，虚拟屏幕的显示画面包括：远控pc桌面、远控pc游戏应用程序用户界面；

5、s3、利用虚拟现实设备，以预置通信方式，将检测状态数据发送至远控pc，以使得远控pc执行设备相应功能；

6、s4、利用远控pc，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入虚拟现实设备的手柄按键输入操作、远控pc的键鼠按键，据以建立并存储映射关系；

7、s5、根据映射关系中的映射按键、按键组合数据及坐标数据，确定交互操作指令，利用远控pc，执行交互操作指令。

8、本发明采用的按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与pc设备上的特定按键或按键组合进行映射，建立起直观且便捷的控制方式。

9、在更具体的技术方案中，步骤s2中，在虚拟现实设备内的虚拟屏幕显示远控pc的界面时，将手柄射线与虚拟屏幕的交点坐标，传输至目标pc；在手柄射线与虚拟屏幕存在碰撞点时，禁用虚拟现实设备的手柄按键原始功能；利用远控pc触发鼠标滚轮输入操作。

10、本发明通过使用射线投射算法和屏幕交互检测算法，虚拟现实按键映射技术可以准确检测用户手柄射线与屏幕的交互情况，从而确定按键映射是否应生效。这提高了交互的准确性，减少了误操作和误映射的可能性，提高交互准确性。

11、在更具体的技术方案中，步骤s2中，实时监测数据包括：手柄射线及碰撞点、手柄射线与虚拟屏幕的交点坐标以及手柄按键状态。

12、本发明通过虚拟现实手柄-屏幕交互检测，利用射线投射算法和屏幕交互检测算法，准确检测用户手柄射线与屏幕的交互情况，以确定按键映射是否应该生效，使用户能够指定手柄上的按键或按键组合与pc设备上的对应按键或按键组合之间的映射关系。

13、在更具体的技术方案中，步骤s3包括：

14、s31、对虚拟现实设备上的不少于2个输入操作，与远控pc上的不少于2个输入响应之间，建立按键映射关系；

15、s32、利用远控pc，通过预置通信方式，接收虚拟现实设备发送的输入操作信号，以执行设备相应功能。

16、本发明通过接口通信与事件触发的技术，虚拟现实按键映射技术确保虚拟现实设备与pc设备之间的通信正常，并且能够实时触发pc设备上相应的按键事件。这使得用户的交互动作能够及时响应，提高了交互的连贯性和流畅性。

17、本发明采用的按键映射提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。本发明采用虚拟现实按键映射技术，将用户设计的按键映射方案进行存储，以备下次连接该设备时进行使用。用户无需每次重新设置按键映射，节省了操作时间和精力，提供了简便易用的操作体验。

18、在更具体的技术方案中，步骤s31中，按键映射方法，依靠分别安装于虚拟现实设备和目标pc的两个应用实现，使得用户在两个虚拟现实应用、以及目标pc应用，登录相同账户，以在目标pc的界面，利用虚拟屏幕在虚拟现实应用，呈现虚拟场景，以完成按键映射。

19、在更具体的技术方案中，步骤s32中，利用预置虚拟现实应用，将手柄射线与虚拟屏幕交点坐标，转换为目标pc可识别位置信息，并产生特定数据格式信号，发送特定数据格式信号至远控pc，利用虚拟现实设备内的虚拟屏幕，显示远控pc的界面。

20、在更具体的技术方案中，步骤s32包括：

21、s321、在远控pc中，通过函数onstreammessage接收输入操作信号的数据包；

22、s322、获取数据包中的射线与屏幕交点坐标，以根据预置数据结构，提取得到光标坐标信息，据以移动鼠标光标至目标处；

23、s323、对照globalvar.buttonmap中的映射方案，触发特定的pc响应，以执行远控pc的设备相应功能。

24、经由本发明的实施，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现pc设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制pc设备，提供了一种更直观、更灵活的远程控制方式。

25、在更具体的技术方案中，步骤s4中，利用交互响应信息，在虚拟现实设备的手柄射线与虚拟场景中的虚拟屏幕相交时，控制远控pc的鼠标光标位置，与手柄射线与虚拟屏幕的交点坐标动态一致。

26、在更具体的技术方案中，步骤s4包括：

27、s41、通过预置应用设置界面，输入虚拟现实设备手柄按键输入操作，与远控pc的键鼠按键的组合，据以建立映射关系；

28、s42、在用户进行远程控制时，按照映射关系，根据输入控制信号，触发远控pc的相应功能；

29、s43、建立手柄按键、按键组合，与远控pc的特定按键、按键组合的按键组合映射，也设置手柄鼠标切换状态。

30、本发明通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。

31、本发明在按键映射过程中，进行快速的响应和准确的映射转换。充分考虑用户在切换按键映射方案时的操作便捷性，以及按键映射对虚拟现实环境中角色动作的实时调整，优化了用户体验优化等技术问题。

32、本发明采用虚拟现实按键映射技术，为用户提供了一个可自定义的按键映射界面，使用户能够根据个人偏好和需求指定手柄上的按键或按键组合与pc设备上的对应按键或按键组合之间的映射关系。用户可以根据自己的习惯和喜好进行按键布局的定制，提高了用户体验的个性化和满意度，提供了个性化定制。

33、在更具体的技术方案中，远控界面按键映射系统包括：

34、界面渲染模块，用以建立虚拟现实设备与目标pc的数据连接，以将远控pc的界面渲染至沉浸式虚拟场景的虚拟屏幕，远控pc的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；

35、状态监测模块，用以利用虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，虚拟屏幕的显示画面包括：远控pc桌面、远控pc游戏应用程序用户界面，状态监测模块与界面渲染模块连接；

36、状态数据传输模块，用以利用虚拟现实设备，以预置通信方式，将检测状态数据发送至远控pc，以使得远控pc执行设备相应功能，状态数据传输模块与状态监测模块连接；

37、映射建立及自定义模块，用以利用远控pc，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入虚拟现实设备的手柄按键输入操作、远控pc的键鼠按键，据以建立并存储映射关系，映射建立及自定义模块与状态数据传输模块连接；

38、交互操作执行模块，用以根据映射关系中的映射按键、按键组合数据及坐标数据，确定交互操作指令，利用远控pc，执行交互操作指令，交互操作执行模块与映射建立及自定义模块连接。

39、本发明相比现有技术具有以下优点：本发明采用的按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与pc设备上的特定按键或按键组合进行映射，建立起直观且便捷的控制方式。

40、本发明通过使用射线投射算法和屏幕交互检测算法，虚拟现实按键映射技术可以准确检测用户手柄射线与屏幕的交互情况，从而确定按键映射是否应生效。这提高了交互的准确性，减少了误操作和误映射的可能性，提高交互准确性。

41、本发明通过虚拟现实手柄-屏幕交互检测，利用射线投射算法和屏幕交互检测算法，准确检测用户手柄射线与屏幕的交互情况，以确定按键映射是否应该生效，使用户能够指定手柄上的按键或按键组合与pc设备上的对应按键或按键组合之间的映射关系。

42、本发明通过接口通信与事件触发的技术，虚拟现实按键映射技术确保虚拟现实设备与pc设备之间的通信正常，并且能够实时触发pc设备上相应的按键事件。这使得用户的交互动作能够及时响应，提高了交互的连贯性和流畅性。

43、本发明采用的按键映射提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。本发明采用虚拟现实按键映射技术，将用户设计的按键映射方案进行存储，以备下次连接该设备时进行使用。用户无需每次重新设置按键映射，节省了操作时间和精力，提供了简便易用的操作体验。

44、经由本发明的实施，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现pc设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制pc设备，提供了一种更直观、更灵活的远程控制方式。

45、本发明通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。

46、本发明在按键映射过程中，进行快速的响应和准确的映射转换。充分考虑用户在切换按键映射方案时的操作便捷性，以及按键映射对虚拟现实环境中角色动作的实时调整，优化了用户体验优化等技术问题。

47、本发明采用虚拟现实按键映射技术，为用户提供了一个可自定义的按键映射界面，使用户能够根据个人偏好和需求指定手柄上的按键或按键组合与pc设备上的对应按键或按键组合之间的映射关系。用户可以根据自己的习惯和喜好进行按键布局的定制，提高了用户体验的个性化和满意度，提供了个性化定制。

48、本发明解决了现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。