新型摄像头系统及其基于智能感知的视频编码方法与流程

本公开涉及智能安防，尤其涉及一种新型摄像头系统及其基于智能感知的视频编码方法。

背景技术：

1、随着人工智能和深度学习技术的突破，智能感知技术得到了广泛应用，为摄像头系统带来了革命性的变化。智能感知技术通过深度学习算法，能够实时分析摄像头捕获的视频数据，提取关键信息，实现目标检测、人脸识别、行为分析等功能，大大提高了系统的智能化水平。

2、然而，在人工智能和深度学习技术在传统的摄像头的应用过程中，为了提高人工智能和深度学习对摄像头采集的视频数据进行分析或检测时的准确度，往往需要更高的视频数据质量，而较高的视频数据质量会带来在视频编码过程中数据量大、传输效率低、存储空间占用多的问题。

技术实现思路

1、本公开提供了一种新型摄像头系统及其基于智能感知的视频编码方法，主要目的在于解决相关技术在视频编码过程中数据量大、传输效率低、存储空间占用多的问题。

2、根据本公开的第一方面，提供了一种新型摄像头系统包括：所述新型摄像头系统部署于云端和边缘端，所述边缘端包括信息采集模块、智能分析处理模块、传输模块；所述云端包括智能存储模块、控制模块；

3、所述信息采集模块用于采集目标环境的视频信号并将所述视频信号发送至所述智能分析处理模块；

4、应用有智能感知视频编码技术的所述智能分析处理模块用于接收所述视频信号，基于第一深度学习算法识别并截取所述视频信号的roi，所述roi为用户预先设定的感兴趣区域，以及基于预设编码器对所述roi进行视频信号动态编码，得到编码roi，所述智能感知视频编码技术包括所述第一深度学习模型算法和所述预设编码器；

5、所述传输模块，用于将所述编码roi传输至所述智能存储模块；

6、所述智能存储模块，用于存储所述编码roi，并基于第二深度学习算法对所述编码roi设置行为标签，以对所述编码roi中涉及的视频内容进行分类标定；

7、所述控制模块，用于协调所述信息采集模块、所述智能分析处理模块、所述传输模块和所述智能存储模块的工作状态。

8、可选的，所述智能分析处理模块包括所述边缘端的智能感知单元和视频编码单元；

9、所述边缘端的智能感知单元，用于基于所述第一深度学习算法对所述视频信号进行智能感知分析，得到所述视频信号的roi，所述第一深度学习算法为yolov8算法和retinaface模型算法；

10、所述视频编码单元，用于基于所述预设编码器对所述roi进行视频信号动态编码，得到编码roi；

11、所述智能存储模块包括所述云端的智能感知单元和云端存储；

12、所述云端的智能感知单元，用于基于所述第二深度学习算法对所述编码roi设置行为标签，所述第二深度学习算法为pp-tsm算法；

13、所述云端存储，用于根据所述行为标签对所述编码roi进行分类存储；

14、所述传输模块，还用于将所述云端的控制信息传输至所述边缘端；

15、所述控制模块，还用于远程控制查看实时视频、回放录像，集成所述行为标签，便于用户快速定位历史记录，所述控制模块支持用户自定义编码策略，用于获取所述控制信息，并将所述控制信息基于所述传输模块传送给所述智能分析处理模块，以使所述智能分析处理模块基于所述控制信息提高用户重点关注的roi的视频编码质量，由用户设置的所述控制信息包括所述视频编码质量的质量等级信息。

16、可选的，所述边缘端的智能感知单元还用于基于所述第一深度学习算法识别所述视频信号中的特定物体或人脸信息，并在确定所述特定物体或人脸信息为所述用户预先设定的感兴趣区域的情况下，将所述特定物体或人脸标定为所述roi。

17、可选的，所述视频编码单元用于基于所述智能感知视频编码技术对所述视频信号的roi采用第一比特率进行编码，得到所述编码roi，所述第一比特率大于第一预设比特率阈值，基于所述智能感知视频编码技术对所述视频信号的非roi采用第二比特率进行编码，得到编码非roi，所述第二比特率小于第二预设比特率阈值，所述第一预设比特率阈值大于或等于所述第二预设比特率阈值。

18、可选的，所述视频编码单元还用于根据所述控制信息中包括的所述质量等级对所述roi的视频编码质量进行调整；所述视频编码单元还用于根据所述控制信息中包括的隐私保护设置对所述roi增加马赛克。

19、可选的，所述视频编码单元根据所述控制信息调整所述roi的量化参数，以提高或降低所述roi的视频编码质量。

20、可选的，包括智能感知调整功能的所述控制模块还用于控制调整所述边缘端的智能感知单元的感知信息，所述智能感知调整功能包括关注点调整功能和模型更新功能，所述关注点调整功能包括关注目标调整、关注人物调整、关注区域调整以及关注时间调整，以使用户根据所述智能感知调整功能定制化选择自己重点关注的物体、人、区域和时间，包括所述模型更新功能的控制模块还用于更新所述第一深度学习算法。

21、可选的，所述关注目标调整允许用户根据识别的物体信息，调整智能感知单元的目标检测结果，选择或取消重点关注的对象，并将调整后的感知信息输送到视频编码单元，所述关注人物调整允许用户根据识别的人脸信息，调整所述智能感知单元的人脸检测结果，选择或者取消重点关注的人物，并将调整后的感知信息输送到所述视频编码单元；所述关注区域调整允许用户根据当前视频画面中的roi区域进行自由选择，所述视频编码单元根据用户选择的roi区域，进行编码参数调整，所述编码参数包括所述量化参数和所述第一比特率、所述第二比特率；所述关注时间调整允许用户选择一天中重点关注的时间段，所述视频编码单元根据用户选择的时间段，进行所述编码参数调整。

22、可选的，包括所述行为标签控制功能的所述控制模块还用于，响应于用户查看当前历史记录中的所述行为标签的指令，通过所述行为标签快速定位到历史记录，所述控制模块还用于对历史数据进行标定，增加或删除所述行为标签，所述第二深度学习算法根据用户增加的行为标签进行模型在线学习和参数微调，通过所述传输模块将训练完的参数发送到所述智能存储模块。

23、根据本公开的第二方面，提供了一种基于智能感知的视频编码方法，所述方法应用于前述第一方面所述的新型摄像头系统包括：

24、获取所述智能分析处理模块接收的所述视频信号；

25、基于所述第一深度学习算法识别并截取所述视频信号的roi，所述roi为用户预先设定的感兴趣区域；

26、基于所述预设编码器对所述roi进行视频信号动态编码，得到所述编码roi；

27、将所述编码 roi传输至所述智能存储模块，以进行存储。

28、本公开提供的一种新型摄像头系统及其基于智能感知的视频编码方法，所述新型摄像头系统部署于云端和边缘端，所述边缘端包括信息采集模块、智能分析处理模块、传输模块；所述云端包括智能存储模块、控制模块；所述信息采集模块用于采集目标环境的视频信号并将所述视频信号发送至所述智能分析处理模块；应用有智能感知视频编码技术的所述智能分析处理模块用于接收所述视频信号，基于第一深度学习算法识别并截取所述视频信号的roi，所述roi为用户预先设定的感兴趣区域，以及基于预设编码器对所述roi进行视频信号动态编码，得到编码roi，所述智能感知视频编码技术包括所述第一深度学习模型算法和所述预设编码器；所述传输模块，用于将所述编码roi传输至所述智能存储模块；所述智能存储模块，用于存储所述编码roi，并基于第二深度学习算法对所述编码roi设置行为标签，以对所述编码roi中涉及的视频内容进行分类标定；所述控制模块，用于协调所述信息采集模块、所述智能分析处理模块、所述传输模块和所述智能存储模块的工作状态。与相关技术相比，通过识别并截取所述视频信号的roi，并对所述roi进行编码，得到所述编码roi，将所述编码roi上传云端，通过仅对视频信号的roi进行编码减少了视频编码数据量，从而提高了视频编码效率以及编码后数据的传输效率，并减少了存储空间的占用。