一种用户日常活动检测方法、装置和电子设备

本申请涉及传感设备数据处理，具体而言，涉及一种用户日常活动检测方法、装置和电子设备。

背景技术：

1、由于近年来可穿戴传感技术快速发展，可穿戴传感设备层出不穷，利用可穿戴设备采集的数据进行用户日常活动(如做饭、跑步、乘坐电梯等)检测已经成为研究的热点，但目前在对用户日常活动进行检测时基本使用单一模态数据，导致对用户日常活动的检测精度不高。

技术实现思路

1、为解决上述问题，本申请实施例的目的在于提供一种用户日常活动检测方法、装置和电子设备。

2、第一方面，本申请实施例提供了一种用户日常活动检测方法，包括：

3、获取预设时段内分别采集到的rgb视频数据和多个惯性测量单元数据序列；所述惯性测量单元数据序列，包括：在所述预设时段所包含的多个时间点分别采集到的惯性测量单元数据；所述惯性测量单元数据，包括：加速度、角速度和角加速度；

4、对多个所述惯性测量单元数据序列进行处理，得到多个所述惯性测量单元数据序列中各所述惯性测量单元数据序列的灰度图像；

5、对所述rgb视频数据进行采样，得到多个采样数据帧；

6、基于各所述惯性测量单元数据序列的灰度图像和多个采样数据帧，对用户的日常活动进行检测。

7、第二方面，本申请实施例还提供了一种用户日常活动检测装置，包括：

8、获取模块，用于获取预设时段内分别采集到的rgb视频数据和多个惯性测量单元数据序列；所述惯性测量单元数据序列，包括：在所述预设时段所包含的多个时间点分别采集到的惯性测量单元数据；所述惯性测量单元数据，包括：加速度、角速度和角加速度；

9、处理模块，用于对多个所述惯性测量单元数据序列进行处理，得到多个所述惯性测量单元数据序列中各所述惯性测量单元数据序列的灰度图像；

10、采样模块，用于对所述rgb视频数据进行采样，得到多个采样数据帧；

11、检测模块，用于基于各所述惯性测量单元数据序列的灰度图像和多个采样数据帧，对用户的日常活动进行检测。

12、第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

13、第四方面，本申请实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。

14、本申请实施例上述第一方面至第四方面提供的方案中，获取预设时段内分别采集到的rgb视频数据和多个惯性测量单元数据序列；对多个惯性测量单元数据序列进行处理，得到多个惯性测量单元数据序列中各惯性测量单元数据序列的灰度图像；对rgb视频数据进行采样，得到多个采样数据帧；基于各惯性测量单元数据序列的灰度图像和多个采样数据帧，对用户的日常活动进行检测；与相关技术中只用单一模态的数据进行用户日常活动进行检测的方式相比，可以结合各惯性测量单元数据序列和rgb视频数据这些多模态(多类型)数据进行用户日常活动的检测，可以大大提高检测精度，提高检测的准确性。

15、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种用户日常活动检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对多个所述惯性测量单元数据序列进行处理，得到多个所述惯性测量单元数据序列中各所述惯性测量单元数据序列的灰度图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述rgb视频数据进行采样，得到多个采样数据帧，包括：

4.根据权利要求3所述的方法，其特征在于，各rgb视频数据片段的采样数据帧，分别携带有一个时间戳；各所述惯性测量单元数据序列的灰度图像，分别携带有多个时间戳；

5.根据权利要求4所述的方法，其特征在于，基于各所述惯性测量单元数据序列中不同灰度子图像的采样图像和所述各rgb视频数据片段的采样数据帧，对用户的日常活动进行检测，包括：

6.一种用户日常活动检测装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，所述采样模块，具体用于：

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-5任一项所述的方法的步骤。

10.一种电子设备，其特征在于，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行权利要求1-5任一项所述的方法的步骤。

技术总结本申请提供了一种用户日常活动检测方法、装置和电子设备，其中，该方法包括：获取预设时段内分别采集到的RGB视频数据和多个惯性测量单元数据序列；对多个惯性测量单元数据序列进行处理，得到多个惯性测量单元数据序列中各惯性测量单元数据序列的灰度图像；对RGB视频数据进行采样，得到多个采样数据帧；基于各惯性测量单元数据序列的灰度图像和多个采样数据帧，对用户的日常活动进行检测。通过本申请实施例提供的用户日常活动检测方法，可以结合各惯性测量单元数据序列和RGB视频数据这些多模态数据进行用户日常活动的检测，可以大大提高检测精度，提高检测的准确性。技术研发人员：王运涛,史元春,兴军亮,高梓淇,陶品,喻纯受保护的技术使用者：清华大学技术研发日：技术公布日：2024/10/10