用于RF传感的视觉辅助数据采集的设备、方法和计算机可读介质与流程

本文描述的各种示例实施例通常涉及通信技术，并且更具体地涉及用于基于机器学习(ml)的射频(rf)传感的视觉辅助数据采集的设备、方法和计算机可读介质。

背景技术：

1、随着成像技术的进步和摄像设备的升级，人类活动识别(har)的方法不断涌现。同时，射频(rf)传感是近年来日益活跃的新兴技术。它还可用于估计各种目标的存在、状态和活动，因此成为许多高级应用的赋能技术。与人类活动识别应用中的计算机视觉相比，rf传感由于其非接触式特性而提高了可用性，并具有普及性、低金钱和能源成本以及隐私保护等其他优势。然而，基于模型的rf传感无法处理高级场景理解任务，诸如人类活动识别(har)和姿态估计。对于基于ml的rf传感，首先需要训练ml模型，然后利用训练参数来控制学习算法进行预测。在基于ml的rf传感的训练阶段期间，需要投入大量努力进行rf信号传输或rf数据采集和标记。此外，频繁的rf数据采集使得ml模型训练由于环境而复杂且成本高昂，不利于rf传感应用的推广。

技术实现思路

1、下面提供了示例性实施例的简要概述，以提供对各种实施例的一些方面的基本理解。应当注意的是，本概述并非旨在识别必要要素的关键特征或限定实施例的范围，其唯一目的是以简化形式介绍一些概念，作为下文提供更详细描述的序言。

2、在第一方面，提供了一种通信网络中的装置的示例实施例。所述装置可以包括至少一个处理器和至少一个存储器。所述至少一个存储器包括存储在其上的计算机程序代码。所述至少一个存储器和所述计算机程序代码可以配置为，与至少一个处理器一起，使所述装置执行：从摄像控制器接收与第一信息相关联的视觉数据；从射频传感接收器接收与第二信息相关联的射频数据；以及基于所述视觉数据、所述第一信息和所述第二信息来确定所述射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

3、在一些实施例中，所述第一信息可以包括视觉数据的第一时间戳，所述第二信息可以包括所述射频数据的第二时间戳。确定所述射频数据的至少一个标签可以进一步包括：基于从所述视觉数据获得的至少一个特征以及所述视觉数据的所述第一时间戳和所述射频数据的所述第二时间戳之间的相关性来确定所述射频数据的所述至少一个标签。

4、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述装置执行：向所述摄像控制器发送第一调度信息以触发视觉捕获；以及向射频传感发射器和所述射频传感接收器发送第二调度信息以触发射频传感测量，其中，所述第一调度信息和所述第二调度信息包括用来同步在所述摄像控制器和所述射频传感控制器之间的所述视觉捕获和射频数据采集的一组时间窗口和/或时间段。

5、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述装置执行：在向所述摄像控制器发送所述第一调度信息之前，向所述摄像控制器发送操作参数以辅助射频数据采集，其中，所述操作参数包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

6、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述装置执行：在向所述摄像控制器发送所述操作参数之前，向所述摄像控制器发送对视觉能力信息的请求；以及从所述摄像控制器接收所述视觉能力信息，其中，所述视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

7、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

8、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

9、在一些实施例中，所述原始视觉数据可以包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

10、在一些实施例中，所述至少一个特征可以包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

11、在第二方面，提供了一种通信网络中的装置的示例实施例。所述装置可以包括至少一个处理器和至少一个存储器。至少一个存储器包括存储在其上的计算机程序代码。至少一个存储器和所述计算机程序代码可以配置为，与至少一个处理器一起，使作为摄像控制器的装置执行：将与第一信息相关联的视觉数据发送到射频传感控制器，其中，所述射频传感控制器基于所述视觉数据、与所述射频数据相关联的第一信息和第二信息来确定射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

12、在一些实施例中，所述第一信息可以包括所述视觉数据的第一时间戳，所述第二信息可以包括所述射频数据的第二时间戳。所述射频传感控制器可基于从所述视觉数据获得的至少一个特征以及所述视觉数据的第一时间戳和所述射频数据的第二时间戳之间的相关性来确定所述射频数据的至少一个标签。

13、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以配置为与所述至少一个处理器一起，使所述网络设备进一步执行：从所述射频传感控制器接收调度信息以触发视觉捕获，其中，所述调度信息包括用于同步所述摄像控制器和所述射频传感控制器之间的所述视觉捕获和所述射频数据采集的一组时间段。

14、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与至少一个处理器一起，使所述网络设备执行：在从所述射频传感控制器接收所述调度信息之前，从所述射频传感控制器接收操作参数以辅助射频数据采集；其中，所述操作参数包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

15、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述网络设备执行：在从所述射频传感控制器接收所述操作参数以辅助射频数据采集之前，广播第一视觉能力信息，其中，所述第一视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

16、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述网络设备执行：在从所述射频传感控制器接收所述操作参数以辅助射频数据采集之前，从所述射频传感控制器接收第二视觉能力信息的请求；以及在接收到对所述第二视觉能力信息的请求之后，向所述射频传感控制器发送所述第二视觉能力信息，其中，所述第二视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

17、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以进一步配置为，与所述至少一个处理器一起，使所述网络设备执行：向摄像设备发送所述调度信息和所述视觉捕获配置，其中，所述摄像设备基于所述调度信息和所述视觉捕获配置来捕获视觉信息。

18、在一些实施例中，所述至少一个存储器和所述计算机程序代码可以配置为，与所述至少一个处理器一起，使所述网络设备进一步执行：在将与所述第一信息相关联的所述视觉数据发送到所述射频传感控制器之前，从摄像设备接收视觉信息。

19、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

20、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

21、在一些实施例中，所述原始视觉数据可以包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

22、在一些实施例中，所述至少一个特征可以包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

23、在第三方面，提供了一种在作为通信网络中的射频传感控制器的装置处实施的方法的示例实施例。所述方法可以包括：从摄像控制器接收与第一信息相关联的视觉数据；从射频传感接收器接收与第二信息相关联的射频数据；以及基于所述视觉数据、所述第一信息和所述第二信息来确定所述射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

24、在一些实施例中，所述第一信息包括所述视觉数据的第一时间戳，所述第二信息包括所述射频数据的第二时间戳。确定所述射频数据的至少一个标签进一步包括：基于从所述视觉数据获得的至少一个特征以及所述视觉数据的第一时间戳和所述射频数据的第二时间戳之间的相关性来确定所述射频数据的至少一个标签。

25、在一些实施例中，所述方法可以进一步包括：向所述摄像控制器发送第一调度信息以触发视觉捕获；以及向射频传感发射器和所述射频传感接收器发送第二调度信息以触发射频传感测量。所述第一调度信息和所述第二调度信息可以包括一组时间窗口和/或时间段，用于同步所述摄像控制器和所述射频传感控制器之间的所述视觉捕获和所述射频数据采集。

26、在一些实施例中，所述方法可以进一步包括在向所述摄像控制器发送所述第一调度信息之前，向所述摄像控制器发送操作参数以辅助射频数据采集，其中，所述操作参数包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

27、在一些实施例中，所述方法可以进一步包括在向所述摄像控制器发送所述操作参数之前，向所述摄像控制器发送对视觉能力信息的请求；以及从所述摄像控制器接收所述视觉能力信息，其中，所述视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

28、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

29、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

30、在一些实施例中，所述原始视觉数据包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

31、在一些实施例中，所述至少一个特征包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

32、在第四方面中，提供了一种在作为通信网络中的摄像控制器的装置处实施的方法的示例实施例。所述方法可以包括：将与第一信息相关联的视觉数据发送到射频传感控制器，其中，所述射频传感控制器基于所述视觉数据、与所述射频数据相关联的第一信息和第二信息来确定射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

33、在一些实施例中，所述第一信息包括所述视觉数据的第一时间戳，所述第二信息包括所述射频数据的第二时间戳。所述射频传感控制器基于从所述视觉数据获得的至少一个特征以及所述视觉数据的第一时间戳和所述射频数据的第二时间戳之间的相关性来确定所述射频数据的至少一个标签。

34、在一些实施例中，所述方法进一步包括从所述射频传感控制器接收调度信息以触发视觉捕获，其中，所述调度信息包括用于同步所述摄像控制器和所述射频传感控制器之间的所述视觉捕获和射频数据采集的一组时间段。

35、在一些实施例中，所述方法进一步包括：在从所述射频传感控制器接收所述调度信息之前，从所述射频传感控制器接收操作参数以辅助射频数据采集；其中，所述操作参数包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

36、在一些实施例中，所述方法进一步包括在从所述射频传感控制器接收所述操作参数以辅助射频数据采集之前，广播第一视觉能力信息，其中，所述第一视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

37、在一些实施例中，所述方法进一步包括在从所述射频传感控制器接收所述操作参数以辅助射频数据采集之前，从所述射频传感控制器接收对第二视觉能力信息的请求；以及在接收到对第二视觉能力信息的请求之后，向所述射频传感控制器发送所述第二视觉能力信息，其中，所述第二视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

38、在一些实施例中，所述方法进一步包括将所述调度信息和所述视觉捕获配置发送到摄像设备，其中，所述摄像设备基于所述调度信息和所述视觉捕获配置来捕获视觉信息。

39、在一些实施例中，所述方法进一步包括在将与所述第一信息相关联的所述视觉数据发送到所述射频传感控制器之前，从摄像设备接收视觉信息。

40、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

41、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

42、在一些实施例中，所述原始视觉数据可以包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

43、在一些实施例中，所述至少一个特征包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

44、在第五方面，提供了一种通信网络中的设备的示例实施例。所述设备可以包括：用于从摄像控制器接收与第一信息相关联的视觉数据的装置；用于从射频传感接收器接收与第二信息相关联的射频数据的装置；以及用于基于所述视觉数据、所述第一信息和所述第二信息来确定所述射频数据的至少一个标签的装置，所述至少一个标签用于模型的机器学习训练。

45、在一些实施例中，所述第一信息可以包括所述视觉数据的第一时间戳，所述第二信息可以包括所述射频数据的第二时间戳。用于确定射频数据的至少一个标签的所述装置可以进一步包括：用于基于从所述视觉数据获得的至少一个特征以及所述视觉数据的第一时间戳和所述射频数据的第二时间戳之间的相关性来确定所述射频数据的至少一个标签的装置。

46、在一些实施例中，所述设备可以进一步包括用于向所述摄像控制器发送第一调度信息以触发视觉捕获的装置；以及用于向射频传感发射器和所述射频传感接收器发送第二调度信息以触发射频传感测量的装置，其中，所述第一调度信息和所述第二调度信息包括用于同步所述摄像控制器和所述射频传感控制器之间的视觉捕获和射频数据采集的一组时间窗口和/或时间段。

47、在一些实施例中，所述设备可以进一步包括在向所述摄像控制器发送所述第一调度信息之前，向所述摄像控制器发送操作参数以辅助射频数据采集的装置，其中，所述操作参数包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

48、在一些实施例中，所述装置可以进一步包括：用于在向所述摄像控制器发送所述操作参数之前，向所述摄像控制器发送对视觉能力信息的请求的装置；以及用于从所述摄像控制器接收所述视觉能力信息的装置，其中，所述视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

49、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

50、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

51、在一些实施例中，所述原始视觉数据可以包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

52、在一些实施例中，所述至少一个特征可以包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

53、在第六方面，提供了一种通信网络中的设备的示例实施例。所述设备可以包括用于将与第一信息相关联的视觉数据发送到射频传感控制器的装置，其中，所述射频传感控制器基于所述视觉数据、与所述射频数据相关联的第一信息和第二信息来确定射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

54、在一些实施例中，所述第一信息包括所述视觉数据的第一时间戳，所述第二信息包括所述射频数据的第二时间戳。用于确定所述射频数据的至少一个标签的所述装置可以进一步包括：用于基于从所述视觉数据获得的至少一个特征以及所述视觉数据的第一时间戳和所述射频数据的第二时间戳之间的相关性来确定所述射频数据的至少一个标签的装置。

55、在一些实施例中，所述设备可以进一步包括用于从所述射频传感控制器接收调度信息以触发视觉捕获的装置。所述调度信息包括用于同步所述摄像控制器和所述射频传感控制器之间的视觉捕获和射频数据采集的一组时间段。

56、在一些实施例中，所述设备可以进一步包括用于从所述射频传感控制器接收操作参数以辅助射频数据采集的装置。所述操作参数可以包括以下至少之一：视觉捕获配置、视觉报告配置或同步参考时间。

57、在一些实施例中，所述设备可以进一步包括用于在从所述射频传感控制器接收所述操作参数以辅助射频数据采集之前广播第一视觉能力信息的装置。所述第一视觉能力信息可以包括以下至少之一：视觉捕获能力或视觉处理能力。

58、在一些实施例中，所述设备可以进一步包括：用于从所述射频传感控制器接收对第二视觉能力信息的请求的装置；以及用于向所述射频传感控制器发送所述第二视觉能力信息的装置，其中，所述第二视觉能力信息包括以下至少之一：视觉捕获能力或视觉处理能力。

59、在一些实施例中，所述设备可以进一步包括用于将所述调度信息和所述视觉捕获配置发送到摄像设备的装置，其中，所述摄像设备基于所述调度信息和所述视觉捕获配置来捕获视觉信息。

60、在一些实施例中，所述设备可以进一步包括用于从摄像设备接收视觉信息的装置。

61、在一些实施例中，所述视觉数据可以进一步包括后处理视觉数据，其包括所述至少一个特征。

62、在一些实施例中，所述视觉数据可以进一步包括原始视觉数据，并且从所述原始视觉数据中识别出所述至少一个特征。

63、在一些实施例中，所述原始视觉数据可以包括以下至少之一：图像数据、视频数据、捕获设备标识符或视觉捕获参数。

64、在一些实施例中，所述至少一个特征可以包括以下至少之一：从所述视觉数据获得的目标、活动或姿态。

65、在第七方面，提供了一种计算机程序的示例实施例。所述计算机程序可以包括存储在计算机可读介质上的指令。所述指令当由通信网络中的终端设备的至少一个处理器执行时，可以使所述终端设备执行：从摄像控制器接收与第一信息相关联的视觉数据；从射频传感接收器接收与第二信息相关联的射频数据；以及基于所述视觉数据、所述第一信息和所述第二信息来确定所述射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

66、在第八方面，提供了一种计算机程序的示例实施例。所述计算机程序可以包括存储在计算机可读介质上的指令。所述指令当由作为通信网络中的摄像控制器的装置的至少一个处理器执行时，可以使得所述装置执行：将与第一信息相关联的视觉数据发送到射频传感控制器，其中，所述射频传感控制器基于所述视觉数据、与所述射频数据相关联的所述第一信息和第二信息来确定射频数据的至少一个标签，所述至少一个标签用于模型的机器学习训练。

67、当结合附图阅读时，本技术的示例实施例的其他特征和优点也将从具体实施例的以下描述中显而易见，附图以示例的方式示出了本技术的示例实施例的原理。