车辆的控制方法及装置与流程

本申请涉及车内交互，特别涉及一种车辆的控制方法及装置。

背景技术：

1、目前，车辆的人机交互功能可以为用户带来更好地使用体验。举例来说，用户通过摆出各种手势，可以控制车辆执行不同的功能。

2、相关技术中，在车辆的控制方法中，通常基于拍摄到的图像的颜色特征对用户的手的位置进行确定。然而，这种确定方法特别是当手部存在变形时，仅通过颜色特征难以进行手势的识别，使得手势识别功能受到影响，降低了车辆人机交互的可靠性。

技术实现思路

1、鉴于此，本申请提供一种车辆的控制方法及装置，能够在手部存在变形时对手势进行有效且准确地识别，提高了车辆人机交互的可靠性。

2、具体而言，包括以下的技术方案：

3、一方面，本申请实施例提供了一种车辆的控制方法，所述方法包括：

4、获取手部视频，其中所述手部视频包括连续多帧图像，每帧图像均具有坐标信息；

5、对所述手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像的手部信息，所述手部信息包括手部的中心位置和手部图像；

6、响应于相邻的帧组图像内手部的中心位置之间的距离小于阈值，确定手部状态为固定状态；

7、响应于所述手部状态为所述固定状态，识别所述相邻的帧组图像内的目标手势，并输出与所述目标手势对应的目标控制指令。

8、在一些实施例中，所述对所述手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像的手部信息包括：

9、将所述手部视频中的第一帧图像输入到骨干网络中，得到初始分层特征；

10、对于除第一帧外的后续每帧图像，基于所述图像，得到过渡手部图像，并将所述过渡手部图像输入所述骨干网络中，得到过渡图像分层特征；

11、对所述初始图像分层特征和所述过渡图像分层特征进行互相关，得到图像分层得分图；

12、基于所述图像分层得分图，确定手部信息。

13、在一些实施例中，所述将所述手部视频中的第一帧图像输入到骨干网络中，得到初始分层特征包括：

14、将所述手部视频中的第一帧图像输入到骨干网络中，得到第一预设卷积层的图像分层特征和第二预设卷积层的图像分层特征；

15、基于所述第一预设卷积层的图像分层特征和所述第二预设卷积层的图像分层特征，得到所述初始图像分层特征。

16、在一些实施例中，所述对于除第一帧外的后续每帧图像，基于所述图像，得到过渡手部图像，并将所述过渡手部图像输入所述骨干网络中，得到过渡图像分层特征包括：

17、对于除所述第一帧图像之外的后续每帧图像，基于前一帧图像的手部的中心位置，确定搜索区域；

18、基于所述搜索区域，得到所述过渡手部图像；

19、将所述过渡手部图像输入所述骨干网络中，得到第三预设卷积层的图像分层特征和第四预设卷积层的图像分层特征；

20、基于所述第三预设卷积层的图像分层特征和所述第四预设卷积层的图像分层特征，得到所述过渡图像分层特征。

21、在一些实施例中，在所述手部信息为手部的中心位置的情况下，所述基于所述图像分层得分图，确定手部信息包括：

22、基于峰值旁瓣比函数，确定所述图像分层得分图的峰值；

23、将所述峰值的最大值对应的位置确定为所述手部的中心位置。

24、在一些实施例中，所述图像分层得分图包括多组，对于每组图像分层得分图，根据以下公式进行表示：

25、

26、其中，pt为第t组图像分层得分图，ptl为第t组图像的浅层特征分层得分图，pth为第t组图像的深层特征分层得分图。

27、在一些实施例中，所述帧组图像包括多个连续帧图像，所述相邻的帧组图像包括第一帧组和第二帧组，所述响应于相邻的帧组图像内手部的中心位置之间的距离小于阈值，确定手部状态为固定状态包括：

28、基于所述第一帧组的第一帧图像和所述第二帧组的第一帧图像的坐标，确定所述第一帧组的第一帧图像和所述第二帧组的第一帧图像的手部的中心位置之间的目标距离；

29、响应于所述目标距离小于所述阈值，确定所述手部状态为所述固定状态。

30、在一些实施例中，所述响应于所述手部状态为所述固定状态，识别所述相邻的帧组图像内的目标手势，并输出与所述目标手势对应的目标控制指令包括：

31、响应于所述手部状态为所述固定状态，对所述相邻的帧组图像内的手势进行识别，确定所述目标手势；

32、根据车辆控制指令与手势之间的对应关系，确定所述目标手势对应目标控制指令；

33、输出所述目标控制指令。

34、在一些实施例中，所述获取手部视频包括：

35、获取车内视频；

36、响应于所述车内视频中存在手部特征，将包含所述手部特征的车内视频确定为所述手部视频。

37、另一方面，本申请实施例还提供了一种车辆的控制装置，所述装置包括：

38、获取模块，用于获取手部视频，其中所述手部视频包括连续多帧图像，每帧图像均具有坐标信息；

39、第一确定模块，用于对所述手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像的手部信息，所述手部信息包括手部的中心位置和手部图像；

40、第二确定模块，用于响应于相邻的帧组图像内手部的中心位置之间的距离小于阈值，确定手部状态为固定状态；

41、识别模块，用于响应于所述手部状态为所述固定状态，识别所述相邻的帧组图像内的目标手势，并输出与所述目标手势对应的车辆控制指令。

42、本申请实施例提供的技术方案的有益效果至少包括：

43、本申请实施例提供的车辆的控制方法，通过对手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像手部信息，以利用深度特征提高跟踪的鲁棒性，同时利用浅层特征弥补深层特征缺乏细节特征导致的跟踪精确度低的缺陷，使得每帧图像手部信息确定准确，进而在相邻的帧组图像内手部的中心位置之间的距离小于阈值时，确定手部状态为固定状态，此时相邻的帧组图像内的目标手势，并输出目标手势对应的车辆控制指令，以实现对车辆的控制。

44、该方法使用深度特征的跟踪方式，可以在手部存在变形时确定手部的中心位置，此时结合浅层特征的跟踪方式，即将中心位置和手部图像结合，实现目标手势的准确识别，因此该方法能够在手部存在变形时对手势进行有效且准确地识别，提高了车辆人机交互的可靠性。

技术特征：

1.一种车辆的控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的车辆的控制方法，其特征在于，所述对所述手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像的手部信息包括：

3.根据权利要求2所述的车辆的控制方法，其特征在于，所述将所述手部视频中的第一帧图像输入到骨干网络中，得到初始分层特征包括：

4.根据权利要求2所述的车辆的控制方法，其特征在于，所述对于除第一帧外的后续每帧图像，基于所述图像，得到过渡手部图像，并将所述过渡手部图像输入所述骨干网络中，得到过渡图像分层特征包括：

5.根据权利要求2所述的车辆的控制方法，其特征在于，在所述手部信息为手部的中心位置的情况下，所述基于所述图像分层得分图，确定手部信息包括：

6.根据权利要求5所述的车辆的控制方法，其特征在于，所述图像分层得分图包括多组，对于每组图像分层得分图，根据以下公式进行表示：

7.根据权利要求1所述的车辆的控制方法，其特征在于，所述帧组图像包括多个连续帧图像，所述相邻的帧组图像包括第一帧组和第二帧组，所述响应于相邻的帧组图像内手部的中心位置之间的距离小于阈值，确定手部状态为固定状态包括：

8.根据权利要求1所述的车辆的控制方法，其特征在于，所述响应于所述手部状态为所述固定状态，识别所述相邻的帧组图像内的目标手势，并输出与所述目标手势对应的目标控制指令包括：

9.根据权利要求1所述的车辆的控制方法，其特征在于，所述获取手部视频包括：

10.一种车辆的控制装置，其特征在于，所述装置包括：

技术总结本申请公开了一种车辆的控制方法及装置，属于车内交互技术领域，所述方法包括：获取手部视频，其中所述手部视频包括连续多帧图像，每帧图像均具有坐标信息；对所述手部视频中的每帧图像进行深度特征和浅层特征的结合跟踪，确定每帧图像的手部信息，所述手部信息包括手部的中心位置和手部图像；响应于相邻的帧组图像内手部的中心位置之间的距离小于阈值，确定手部状态为固定状态；响应于所述手部状态为所述固定状态，识别所述相邻的帧组图像内的目标手势，并输出与所述目标手势对应的目标控制指令。本方法能够在手部存在变形时对手势进行有效且准确地识别，提高了车辆人机交互的可靠性。技术研发人员：程利云,黄玉珍,郭振,刘金平受保护的技术使用者：奇瑞汽车股份有限公司技术研发日：技术公布日：2024/7/29