一种多摄像头视场切换系统及其方法与流程

本发明涉及多摄像切换，具体涉及一种多摄像头视场切换系统及其方法。

背景技术：

1、进行影视拍摄的过程中，为了剧情需要和更好的展示效果，可能需要从多个角度同时拍摄目标场景或人物，现在通常是人工控制摄像机机位从不同的位置、角度进行拍摄的，不仅拍摄过程耗费人工和过程繁琐，拍摄后还需要花费大量时间挑选画面进行剪辑。

2、公开号为cn117714843a的现有技术，公开了一种多摄像头视场切换方法及其系统。其中所述方法包括：在默认拍摄角度下的多个所述摄像头所拍摄的图像可以拼接成一个全景图像；识别参会人当前头部在当前拍摄角度下的摄像头所拍摄的图像中的位置，获得当前位置，在默认拍摄角度下的多个所述摄像头所拍摄的图像可以拼接成一个全景图像；判断所述当前位置在纵向上是否超出一定范围，若是，则调整所述摄像头的拍摄角度使得所述当前位置落入所述一定范围内。该现有技术的多摄像头视场切换方法及其系统有效确保头部始终在图像中完整显示避免截断，并且能够考虑到不同参会人的身高、姿势变化等因素，同时兼顾多个头部位置高度差异较大的情况，具备一定的适应性，适用于多样化的使用场景。

3、然而上述现有技术是针对多摄像头拍摄画面的拼接问题，对于多摄像头多视场的画面切换，以减少拍摄过程中人工调整机位，和降低拍摄后为贴合剧情需要和达到更好的展示效果的视场、画面的挑选剪辑工作并不适用。

技术实现思路

1、本发明的目的是提供一种多摄像头视场切换系统及其方法，以解决现有技术中的上述不足之处。

2、为了实现上述目的，本发明提供如下技术方案：一种多摄像头视场切换系统，包括摄像模块、视频数据获取模块、相机标定模块、目标识别模块、同步识别模块、画面语义分析模块、画面剧本匹配模块、视场切换控制模块；

3、所述摄像模块有多个，且多个摄像模块根据需要布置在不同的位置，用于从不同的位置、角度拍摄目标区域得到视频数据，其中在布置摄像模块时，可根据拍摄的需要布置摄像模块，使得可通过切换布置的摄像模块的视场，拍摄到剧本需要的最佳画面；

4、所述视频数据获取模块用于获取所述摄像模块的视频数据，并将视频数据与对应的摄像模块关联，可通过sql工具设置关联关系；

5、所述相机标定模块用于建立目标区域的三维坐标系，得到标定坐标系，并基于所述标定坐标系对各摄像模块进行标定，使各摄像模块对拍摄物体定位时均使用标定坐标系；例如，摄像模块一拍摄的视频数据一的画面中，识别目标人物，对目标人物进行定位计算得到目标人物的中心点的坐标为（2,3,7），其他拍摄到该目标人物的摄像模块的视频数据画面中，对目标人物的中心点的定位也为（2,3,7）；

6、所述相机标定模块还用于基于标定后的摄像模块对摄像模块的视频数据画面中的物体进行定位；

7、所述目标识别模块用于基于目标检测模型，识别并分割出所述视频数据画面中的各物体，并对识别出的物体进行标记，得到对应的识别码，同一个物体使用相同的识别码，且每个物体的识别码唯一，使得可通过标记分辨同一物体和不同物体；其中，系统选用预训练好的目标检测模型，可直接利用目标检测模型识别视频数据画面中的各物体，例如可选择yolo、ssd、retinanet、rcnn等；

8、所述同步识别模块用于通过目标识别模块从至少两个摄像模块的视频数据画面中识别出同一物体，得到目标物体，并对目标物体进行定位，确定目标物体边缘在所述标定坐标系中的坐标，即确定拍摄的物体形状、体积和在标准坐标系中的具体位置，得到目标物体定位数据，基于目标物体定位数据，将其他摄像模块的视频数据画面中在所述目标物体定位数据对应位置的物体标记与目标物体相同的识别码，从而避免了每个摄像模块的视频数据画面识别物体均要通过目标检测模型识别，降低了目标检测模型识别处理数据的数量，节省了运算资源，且通过先识别目标物体，再定位目标物体，然后通过定位反向确定其他视频数据画面的目标物体，提高了识别所有摄像模块的视频数据画面中的物体的速度；

9、所述画面语义分析模块用于基于图嵌入算法和图像描述算法，输出各摄像模块的视频数据画面的画面描述语句；

10、所述画面剧本匹配模块用于获取剧本，并基于大语言模型，分析画面描述语句与剧本语句的语义相似度，筛选出语义相似度符合设置的语义相似度阈值的画面描述语句及所述画面描述语句对应的摄像模块；

11、所述视场切换控制模块用于基于画面剧本匹配模块的筛选结果，将视场切换为画面描述语句与对应剧本语句语义相似度最高的摄像模块的视场；或人工通过视场切换控制模块切换视场。

12、进一步的，所述目标区域划分为多个子目标区域，所述摄像头拍摄至少一个子目标区域，可根据剧本的剧情安排将目标区域划分为多个子目标区域，并分别布置摄像头使摄像头的视场为剧本的各剧情发生的一个或多个子目标区域，方便将发生在各子目标区域的剧情拍摄清楚。

13、进一步的，所述摄像模块包括两个摄像头，所述相机标定模块基于摄像模块的两个摄像头的视频数据画面，对摄像模块进行双目标定，以便在三维空间中准确地定位摄像头拍摄的物体或场景。

14、进一步的，所述目标识别模块还用于设置视向标签，将视向标签与从对应视向拍摄物体的摄像模块的视频数据画面关联，并基于视像标签及与视像标签关联的画面，训练机器学习模块，得到视向判断模型，用于根据输入的画面，输出对应的视向标签，从而可判断输入的画面中物体的视向。

15、进一步的，所述视向标签有多个，所述视向标签设置具体包括以下步骤：

16、设置所述目标物体的正视方向；

17、将目标物体的正视方向在目标物体的底面上的投影，绕目标物体的中心在目标物体的底面上旋转一周得到的周角均分为第一设置数量个底面角，均分时以目标物体的正视方向在目标物体的底面上的投影为其中一个底面角的边；

18、将目标物体的正视方向在目标物体的底面上的投影，绕目标物体的中心在垂直于目标物体的底面的平面上，旋转一周得到的周角均分为第二设置数量个垂面角，均分时以目标物体的正视方向在目标物体的底面上的投影为其中一个垂面角的边；

19、设置若干个视向标签，使各视向标签分别与目标物体的正方向，相邻的正方向之间的方向的正视方向、由底面角和垂面角一一配对组成的各三棱体区域关联，所述正方向包括目标物体正视方向和垂直于目标物体正视方向的方向。

20、进一步的，所述同步识别模块确定目标物体边缘在所述标定坐标系中的坐标，具体包括以下步骤：

21、a1、选择摄像模块一的视频数据画面，所述摄像模块一为随机一个摄像模块；

22、a2、将选择的画面输入目标识别模块的目标检测模型，通过目标检测模块识别并分别分割出画面中的目标物体，得到与目标物体一一对应的目标物体图像，其中目标物体可存在多个；

23、a3、通过相机标定模块基于所述目标物体图像，对所述目标物体进行定位，得到目标物体图像显示部分的目标物体的边缘坐标；

24、a4、将目标物体图像输入目标识别模块的视向判断模型，得到目标物体图像的视向标签；

25、a5、获取各摄像模块位置，基于标定坐标系、摄像模块一和得到的视向标签，将各摄像模块与对应的视向标签关联，其中若一个摄像模块的视频数据画面中的多个目标物体的视向标签不相同，则根据不同的视向标签重新确定各摄像模块与各视向标签的关联关系与视向标签不同的目标物体对应；

26、a6、选择一个摄像模块二，获取摄像模块二的视频数据画面，执行一次返回a1，然后进行下一步，所述摄像模块二为随机一个不同于摄像模块一的摄像模块；

27、a7、判断选择的视频数据画面中是否包含所述目标物体的四周和顶面或底面，若否，则返回a6。

28、进一步的，所述a6在选择摄像模块二时，具体包括以下步骤：

29、a6.1判断与摄像模块二关联的视向标签是否与目标物体的正方向和相邻正方向之间的方向关联；

30、a6.2是，则重新选择摄像模块二，返回a6.1；否，则判断目标物体到摄像模块二的线段与目标物体到摄像模块一的线段在目标物体底面投影的夹角是否大于135度；

31、a6.4是，则确定摄像模块二；否，则重新选择摄像模块二，返回a6.1。

32、一种多摄像头视场切换方法，包括以下步骤：

33、根据剧本需要确定目标区域，划分子目标区域，布置摄像模块；

34、设置标定坐标系对摄像模块进行标定，使各摄像模块对物体进行定位时使用同一个坐标系；

35、获取各摄像模块拍摄的视频数据画面，基于目标检测模型识别其中的物体，并对物体进行定位；

36、基于图嵌入算法和图像描述算法，分析视频数据画面，得到对应的画面描述语句；

37、基于大语言模型分析画面描述语句与对应剧本语句的语义相似度；

38、基于画面描述语句与对应剧本语句的语义相似度，切换视场。

39、1、与现有技术相比，本发明提供的一种多摄像头视场切换系统及其方法，通过设置摄像模块、视频数据获取模块、相机标定模块、目标识别模块、同步识别模块，避免了每个摄像模块的视频数据画面识别物体均要通过目标检测模型识别，降低了目标检测模型识别处理数据的数量，节省了运算资源，且通过先识别目标物体，再定位目标物体，然后通过定位反向确定其他视频数据画面的目标物体，提高了识别所有摄像模块的视频数据画面中的物体的速度。

40、2、与现有技术相比，本发明提供的一种多摄像头视场切换系统及其方法，通过设置画面语义分析模块、画面剧本匹配模块、视场切换控制模块，可基于各摄像模块的视频数据画面中的各目标物体及其角度信息，和场景信息与剧本对应语句的语义相似，进行剧本与视频数据画面即视场的匹配，以便快速切换到语义最匹配的摄像模块的视场，从而方便快速找到最佳视场画面，进行剪辑。