一种动作采集装置及显示系统的制作方法

本发明涉及图像处理，尤其涉及一种动作采集装置及显示系统。

背景技术：

1、虚拟现实(virtual reality，vr)是一种计算机科学技术，它能够创造和体验虚拟世界。目前，vr技术已经广泛应用在游戏、旅游、医疗、学习等领域中。以游戏领域为例，vr需要根据用户的手部动作模拟出手部动作姿态，并将该手部动作姿态显示在界面中，以便于为玩家创造出更真实、沉浸式的游戏体验。

2、然而，现有模拟手部动作姿态的方案通常是在vr头盔上安装摄像头，通过摄像头捕捉的手部动作，在vr显示屏幕内模拟出手部动作姿态。然而，vr头盔上的摄像头主要安装在头盔的前方，因此，其只能在手臂向前伸展的场景下捕捉到手部动作，而在手臂下垂或者向后伸展的场景下则无法捕捉到手部动作，这会导致vr显示屏幕中的动作与用户的实际动作存在偏差，不利于提高用户的使用体验。

3、综上，如何提高对手部动作采集的准确性，是虚拟现实领域中亟需解决的技术问题。

技术实现思路

1、本申请提供一种动作采集装置和显示系统，用以提高对手部动作采集的准确性。

2、第一方面，本申请提供一种动作采集装置，包括：手环本体、m个第一摄像单元，m个第一摄像单元沿着手环本体的周向环绕设置，m个第一摄像单元用于拍摄手部区域得到m帧第一图像，第一图像用于确定第一手部模型。其中，m为大于或等于2的整数。

3、通过以上方案，m个第一摄像单元可以从多个角度捕捉手部动作，从而提高对手部动作采集的准确性。

4、在一种可能的设计中，手环本体为表带。如此，可以使穿戴更加舒适方便，并且兼具美观和实用性。

5、在一种可能的设计中，第一摄像单元的数量m为6，并且6个第一摄像单元中的每个第一摄像单元的拍摄范围大于60°。

6、通过以上设计，可以保证手部的360°区域都可以被动作采集装置捕捉到，没有视野盲区。并且，即使在拍摄过程中出现晃动，导致某些第一摄像单元采集出现异常，也可以通过重叠的拍摄区域进行数据推算，从而得到正确的手部姿态模型。

7、在一种可能的设计中，m个第一摄像单元等间距挂在手环本体的外侧面。如此可以使动作采集装置佩戴起来比较美观。

8、第二方面，本申请提供一种显示系统，包括：头部显示器，以及如上所述的动作采集装置，动作采集装置与头部显示器相连；其中，动作采集装置用于将采集到的m帧第一图像发送给头部显示器，头部显示器用于根据m帧第一图像生成第一手部模型，并进行显示。

9、通过以上方案，用户就可以在虚拟环境中看到和控制他们的虚拟手部，从而提高虚拟现实体验的真实感和交互性。

10、在一种可能的设计中，头部显示器中包括第二摄像单元，显示系统还包括校准装置，校准装置连接第二摄像单元和动作采集装置；其中，第二摄像单元用于拍摄手部区域获得第二图像，并将第二图像发送给校准装置；动作采集装置还用于将m帧第一图像发送给校准装置；校准装置用于根据m帧第一图像生成第一手部模型，根据第二图像生成第二手部模型，并在第一手部模型与第二手部模型不匹配时，发出告警信息。

11、通过以上方案，可以对两个摄像单元捕捉到的手部动作进行比对。这种比对不仅可以帮助我们确保第二摄像单元拍摄手部动作的准确性，而且还可以为我们提供更多的信息来生成手部模型。

12、在一种可能的设计中，头部显示器具体用于：将m帧图像输入至第一预设模型；通过第一预设模型提取m帧第一图像中的特征信息，并根据特征信息拼接得到手部的三维姿态图，生成第一手部模型；其中，特征信息包括如下内容中的至少一项：手部轮廓、手背、手心和各个关节的位置和形状。

13、通过以上方案，可以根据第一摄像单元拍摄的m帧图像生成第一手部模型，以此来模拟手部的各种动作和姿态。

14、进一步可能的设计中，第一预设模型是使用训练数据训练预设的深度学习模型得到的，训练数据包括不同视角的手部图像和对应的标注信息，标注信息包括如下内容中的至少一项：手指、手背、手心。

15、通过以上方案，可以区分手部的不同特征信息，可以更准确地训练模型，以便它能够更好地识别和处理手部的图像。

16、在一种可能的设计中，头部显示器在根据m帧第一图像生成所述第一手部模型之前，还用于：对m帧第一图像进行预处理，预处理包括如下内容中的至少一项：图像去噪、对比度增强和边缘检测。

17、通过以上方案，预处理后的图像会更清晰，可以更好的识别第一摄像单元拍摄的第一图像，以便于后续进行识别手部特征信息的操作。

18、在一种可能的设计中，头部显示器在生成第一手部模型之后，还用于：对第一手部模型进行优化，优化包括：对第一手部模型进行细节强化和对动态调整。

19、通过以上方案，可以根据用户的手部动作实时优化手部模型，以便提供更准确和自然的手部模拟。如此，不仅可以改善用户的虚拟现实体验，还可以使用户在虚拟环境中的手部动作更加自然流畅。

20、上述第一方面至第二方面可以达到的技术效果可以参照上述第一方面中有益效果的描述，此处不再一一重复赘述。

21、上述第一方面至第二方面的相关内容，具体将在以下实施例部分进行描述。

技术特征：

1.一种动作采集装置，其特征在于，包括：

2.如权利要求1所述的动作采集装置，其特征在于，所述手环本体为表带。

3.如权利要求1所述的动作采集装置，其特征在于，所述m为6，6个所述第一摄像单元中的每个第一摄像单元的拍摄范围大于60°。

4.如权利要求1至3中任一项所述的动作采集装置，其特征在于，所述m个第一摄像单元等间距挂在手环本体的外侧面。

5.一种显示系统，其特征在于，包括：头部显示器，以及如权利要求1至4中任一项所述的动作采集装置，所述动作采集装置与所述头部显示器相连；

6.如权利要求5所述的显示系统，其特征在于，所述头部显示器中包括第二摄像单元，所述显示系统还包括校准装置，所述校准装置连接所述第二摄像单元和所述动作采集装置；

7.如权利要求5所述的显示系统，其特征在于，所述头部显示器具体用于：

8.如权利要求5所述的显示系统，其特征在于，所述第一预设模型是使用训练数据训练预设的深度学习模型得到的，所述训练数据包括不同视角的手部图像和对应的标注信息，所述标注信息包括如下内容中的至少一项：手指、手背、手心。

9.如权利要求5所述的显示系统，其特征在于，所述头部显示器在根据所述m帧第一图像生成所述第一手部模型之前，还用于：

10.如权利要求5至9中任一项所述的显示系统，其特征在于，所述头部显示器在生成所述第一手部模型之后，还用于：

技术总结本申请公开一种动作采集装置及显示系统，涉及图像处理技术领域，用于解决对手部动作采集不准确的问题。该动作采集装置包括手环本体和M个第一摄像单元，M个第一摄像单元沿着手环本体的周向环绕设置，用于拍摄手部区域得到M帧第一图像。通过以上方案，M个第一摄像单元可以从多个角度捕捉手部动作，从而提高对手部动作采集的准确性。技术研发人员：韩继梁,黄敏,陈亚文受保护的技术使用者：上海勤芸电子科技有限公司技术研发日：技术公布日：2024/8/20