动作分类方法、装置、电子设备和可读存储介质与流程

本发明涉及视频数据处理，具体而言，涉及一种动作分类方法、装置、电子设备和可读存储介质。

背景技术：

1、动作行为识别是指通过对视频数据或者图像数据进行处理，以识别人类或物体在特定时间段内执行的动作或行为。

2、在现有技术中，在使用动作分类模型对动作序列数据进行动作分类的场景下，存在对动作分类不够准确的技术问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的对动作分类不够准确的技术问题。为此，本发明的第一方面提出了一种动作分类方法。

2、本发明的第二方面提出了一种动作分类装置。

3、本发明的第三方面提出了一种电子设备。

4、本发明的第四方面提出了一种可读存储介质。

5、为实现上述目的，本发明的第一方面提出了一种动作分类方法，包括：接收第一动作序列数据集；识别第一动作序列数据集中包括的目标动作序列数据，其中，目标动作序列数据的数据帧数处于目标数据帧数范围之外；在第一动作序列数据集中包括的目标动作序列数据的数量超过预设阈值的情况下，对第一动作序列数据集中的至少一个目标动作序列数据执行处理，使得经处理后的目标动作序列数据的数据帧数处于目标数据帧数范围之内，并且使得第一动作序列数据集所包括的目标动作序列数据的数量满足预设阈值，得到第二动作序列数据集；将第二动作序列数据集输入至预设的动作分类模型中进行动作分类，得到动作分类结果。

6、根据本发明提供的动作分类方法，首先接收第一动作序列数据集。然后识别第一动作序列数据集中包括的目标动作序列数据。接着在第一动作序列数据集所包括的目标动作序列数据的数量超过预设阈值的情况下，对第一动作序列数据集中的至少一个目标动作序列数据执行处理，使得经处理后的目标动作序列数据的数据帧数处于目标数据帧数范围之内，并且使得第一动作序列数据集所包括的目标动作序列数据的数量满足预设阈值，得到第二动作序列数据集。通过对目标动作序列数据执行处理，使得各个动作序列数据在数据帧数上是对齐的，最后将第二动作序列数据集输入至预设的动作分类模型中进行动作分类，得到动作分类结果。可以理解的是，动作序列数据的数据帧数不一致会导致不同动作序列数据的时间信息不一致。在动作分类任务中，时间信息对于区分不同动作是非常重要的，如果数据帧数不一致，模型可能无法准确捕捉到动作的时间特征，从而影响分类准确性。而且数据帧数不一致会导致数据对齐困难，使得模型难以比较不同动作序列之间的相似性和差异性，进而影响动作分类的准确性。因此，通过该方法，能够使得动作分类模型更加稳定地处理动作序列数据，从而提升动作分类模型执行动作分类时的准确性。

7、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

8、在上述技术方案中，对第一动作序列数据集中的至少一个目标动作序列数据执行处理，使得经处理后的目标动作序列数据的数据帧数处于目标数据帧数范围之内，并且使得第一动作序列数据集所包括的目标动作序列数据的数量满足预设阈值的步骤，包括：检测目标动作序列数据的数据帧数；在目标动作序列数据的数据帧数高于目标数据帧数范围的上限值的情况下，减少目标动作序列数据的至少一个数据帧，使得被减少数据帧后的目标动作序列数据的数据帧数能够处于目标数据帧数范围之内；在目标动作序列数据的数据帧数低于目标数据帧数范围的下限值情况下，增加目标动作序列数据的至少一个数据帧，使得被增加数据帧后的目标动作序列数据的数据帧数能够处于目标数据帧数范围之内。

9、在该技术方案中，首先检测目标动作序列数据的数据帧数，用于判断某个具体的目标动作序列数据的数据帧数是超过了目标数据帧数范围的上限值，还是低于目标数据帧数范围的下限值，针对不同的情况，给出了一个具体的处理方法，这种处理方法使得目标动作序列数据实现数据帧数上的对齐，进而实现第一动作序列数据集的对齐。通过对齐第一动作序列数据集，能够更加稳定地处理动作序列数据，相应的，得到的动作分类结果也更加准确。

10、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

11、在上述技术方案中，减少目标动作序列数据的至少一个数据帧的步骤，包括：针对目标动作序列数据，在时间序列上，减少处于时间序列首部、处于时间序列中部和/或处于时间序列尾部的数据帧，其中，减少处于时间序列首部和/或时间序列尾部的数据帧的数量要多于减少处于时间序列中部的数据帧的数量。

12、在该技术方案中，针对目标动作序列数据，在时间序列上，减少处于时间序列首部和/或时间序列尾部的数据帧的数量要多于减少处于时间序列中部的数据帧的数量。可以理解的是，首先，动作序列数据的核心特征通常集中在动作的执行过程中，即时间序列的中部。这些数据帧包含了动作的关键动作步骤和特征，对于动作分类模型的识别较为重要。其次，动作序列数据的起始和结束部分通常包含了动作的准备和结束动作，这些部分相对于动作的核心部分来说，对于动作分类的影响较小。因此，本实施例的方法，通过尽可能去保留时间序列中部的数据帧，以减少关键特征的丢失，确保动作分类模型可以充分识别动作序列数据的特征，以提高分类准确率。

13、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

14、在上述技术方案中，增加目标动作序列数据的至少一个数据帧的步骤，包括：针对目标动作序列数据，在时间序列上，增加处于时间序列首部、处于时间序列中部和/或处于时间序列尾部的数据帧，其中，增加处于时间序列首部和/或时间序列尾部的数据帧的数量要多于增加处于时间序列中部的数据帧的数量。

15、在该技术方案中，针对目标动作序列数据，在时间序列上，增加处于时间序列首部和/或时间序列尾部的数据帧的数量要多于增加处于时间序列中部的数据帧的数量。可以理解，如上的，动作序列数据的核心特征通常集中在动作的执行过程中，即时间序列的中部。这些数据帧包含了动作的关键动作步骤和特征。因此，在增加数据帧时，尽量避免对处于时间序列中部的数据帧进行干扰，从而提升了分类准确率。

16、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

17、在上述技术方案中，增加处于时间序列首部、处于时间序列中部和/或处于时间序列尾部的数据帧的步骤，包括：采用线性插值的方式，增加处于时间序列中部的数据帧的数量。

18、在该技术方案中，通过采用线性插值的方式，增加处于时间序列中部的数据帧的数量，能够保证处于时间序列中部的数据的连续性，确保插入的数据帧与相邻数据帧之间的过渡平滑，避免出现突变或不连续的情况。通过线性插值计算得到的插入数据帧的位置信息是基于相邻数据帧的关键点位置信息推导而来的，可以保持处于时间序列中部的数据的一致性和合理性。如上的，动作序列数据的核心特征通常集中在动作的执行过程中，即时间序列的中部。因此，通过本实施例可以确保动作分类模型能够充分识别到核心特征，从而提高动作分类模型的分类准确性。

19、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

20、在上述技术方案中，增加处于时间序列首部、处于时间序列中部和/或处于时间序列尾部的数据帧的步骤，包括：采用插入空白数据帧的方式或者线性插值的方式，增加处于时间序列首部和/或时间序列尾部的数据帧。

21、在该技术方案中，通过采用插入空白数据帧的方式或者线性插值的方式，增加处于时间序列首部和/或时间序列尾部的数据帧。动作序列数据的起始和结束部分通常包含了动作的准备和结束动作，这些部分相对于动作的核心部分来说，对于动作分类的影响较小。因此，在该实施例中，通过采用插入空白数据帧的方式或者线性插值的方式，来增加处于时间序列首部和/或时间序列尾部的数据帧，以避免影响动作序列数据的核心特征，从而提高动作分类模型的分类准确性。

22、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

23、在上述技术方案中，第一动作序列数据集中还包括噪声动作序列数据，在识别第一动作序列数据集中包括的目标动作序列数据的步骤之前，该方法还包括：基于预设的判断规则，识别并且删除第一动作序列数据集中的噪声动作序列数据。

24、在该技术方案中，通过基于预设的判断规则，识别并且删除第一动作序列数据集中的噪声动作序列数据。通过识别并删除噪声动作序列数据，可以提高数据集的质量，减少不相关或不完整的数据对动作分类模型的干扰，从而提高模型的准确性和稳定性。其次，识别并且删除第一动作序列数据集中的噪声动作序列数据可以减少计算开销，提高动作分类模型的分类效率。

25、另外，本发明提供的上述技术方案还可以具有如下附加技术特征：

26、在上述技术方案中，在接收第一动作序列数据集的步骤之前，该方法还包括：接收用于表征人体动作行为的视频数据；将视频数据输入至预设的人体姿态识别模型中进行关键点的识别，得到视频数据中至少一个人体在时间序列下的关键点数据，其中，关键点数据用于表征人体的关键点的种类信息和位置信息；按照时间序列，将至少一个人体的关键点数据输入至预设的目标跟踪模型中进行识别，得到第一动作序列数据集。

27、在该技术方案中，首先接收用于表征人体动作行为的视频数据。然后将视频数据输入至预设的人体姿态识别模型中进行关键点的识别，得到视频数据中至少一个人体在时间序列下的关键点数据。最后按照时间序列，将至少一个人体的关键点数据输入至预设的目标跟踪模型中进行识别，得到第一动作序列数据集。该方法可以直接通过视频数据获取对应的第一动作序列数据集，其获取方式简便。并且通过目标跟踪模型来获取动作序列数据，保证了动作的连续性，抓住了动作的主要特征，提升了后续动作分类的准确性。

28、本发明第二方面提供了一种动作分类装置，包括：接收模块，其用于接收第一动作序列数据集；识别模块，其用于识别第一动作序列数据集中包括的目标动作序列数据，其中，目标动作序列数据的数据帧数处于目标数据帧数范围之外；处理模块，其用于在第一动作序列数据集中包括的目标动作序列数据的数量超过预设阈值的情况下，对第一动作序列数据集中的至少一个目标动作序列数据执行处理，使得经处理后的目标动作序列数据的数据帧数处于目标数据帧数范围之内，并且使得第一动作序列数据集所包括的目标动作序列数据的数量满足预设阈值，得到第二动作序列数据集；动作分类模块，其用于将第二动作序列数据集输入至预设的动作分类模型中进行动作分类，得到动作分类结果。

29、本方案通过首先接收第一动作序列数据集。然后识别第一动作序列数据集中包括的目标动作序列数据。接着在第一动作序列数据集所包括的目标动作序列数据的数量超过预设阈值的情况下，对第一动作序列数据集中的至少一个目标动作序列数据执行处理，使得经处理后的目标动作序列数据的数据帧数处于目标数据帧数范围之内，并且使得第一动作序列数据集所包括的目标动作序列数据的数量满足预设阈值，得到第二动作序列数据集。该实施方式，通过对目标动作序列数据执行处理，使得各个动作序列数据在数据帧数上是对齐的，最后将第二动作序列数据集输入至预设的动作分类模型中进行动作分类，得到动作分类结果。可以理解的是，动作序列数据的数据帧数不一致会导致不同动作序列数据的时间信息不一致。在动作分类任务中，时间信息对于区分不同动作是非常重要的，如果数据帧数不一致，模型可能无法准确捕捉到动作的时间特征，从而影响分类准确性。而且数据帧数不一致会导致数据对齐困难，使得模型难以比较不同动作序列之间的相似性和差异性，进而影响动作分类的准确性。因此，通过本实施例，能够使得动作分类模型更加稳定地处理动作序列数据，从而提升动作分类模型执行动作分类时的准确性。

30、本发明第三方面提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述任一技术方案中动作分类方法的步骤。

31、本发明第四方面提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现上述任一技术方案中动作分类方法的步骤。

32、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。