一种基于边缘计算与人工智能分析的科普视频提取系统的制作方法

本发明涉及电数字数据处理领域，具体涉及一种基于边缘计算与人工智能分析的科普视频提取系统。

背景技术：

1、目前通过网络上的科普视频进行学习是成本较低的一种学习方式，这种学习方式也越来越普及，但随着科普视频数量及内容的增加，如何准确地找到需要的科普视频成了一个需要解决的问题。

2、现在已经开发出了很多视频信息提取系统，经过我们大量的检索与参考，发现现有的信息提取系统有如公开号为cn107465911b所公开的系统，这些系统方法一般包括：获取视频帧图像信息，所述视频帧图像信息包括第一帧图像信息和第二帧图像信息；提取所述第一帧图像中的边缘轮廓信息，并将所述第一帧图像信息与所述第二帧图像信息进行匹配得到稀疏光流；根据所述边缘轮廓信息和所述稀疏光流，计算得到所述第一帧图像信息与所述第二帧图像信息之间的稠密光流；将所述稠密光流转化为初始深度信息，并根据所述初始深度信息和所述视频帧图像信息处理得到最终深度信息。但该系统不适用于提取科普视频中的信息，且未对视频进行预处理，传输量较大。

技术实现思路

1、本发明的目的在于，针对所存在的不足，提出了一种基于边缘计算与人工智能分析的科普视频提取系统。

2、本发明采用如下技术方案：

3、一种基于边缘计算与人工智能分析的科普视频提取系统，包括边缘采集模块、智能分析模块、存储管理模块和交互应用模块；

4、所述边缘采集模块用于采集原始科普视频并对科普视频进行边缘计算处理，智能分析模块用于对边缘计算处理后的视频进行语音、图像和文字上的智能分析，所述存储管理模块根据分析结果对原始科普视频链接地址进行存储管理，所述交互应用模块用于提供交互界面以及应用服务；

5、所述边缘采集模块包括视频识别单元、边缘处理单元和视频传输单元，所述视频识别单元用于识别出科普视频文件，所述边缘处理单元用于对科普视频文件进行压缩处理，所述视频传输单元用于将压缩后的视频文件传输至智能分析模块；

6、所述智能分析模块包括语音分析单元、图像分析单元和文字分析单元，所述语音分析单元用于对视频中的语音信息转换成文本信息，所述图像分析单元用于对视频中的图像信息进行分析处理，所述文字分析单元用于对转换得到的文本信息进行分析处理；

7、所述存储管理模块包括特征索引单元和存储单元，所述特征索引单元基于分析结果处理得到索引特征，所述存储单元根据索引特征对原始科普视频的链接地址进行存储；

8、进一步的，所述边缘处理单元包括帧图像处理器和压缩信息寄存器，所述帧图像处理器用于对帧图像信息进行分析处理并确定需要保留的帧信息，所述压缩信息寄存器用于保存保留的帧信息以及音频流信息；

9、所述帧图像处理器对科普视频中的帧画面信息进行处理的过程包括如下步骤：

10、s1、取一帧图像作为保留帧，发送至压缩信息寄存器；

11、s2、按照顺序再取一帧图像，作为目标帧，若无新的帧图像，则结束该过程；

12、s3、将保留帧和目标帧进行灰度化，若保留帧已经灰度化，则只需对目标帧灰度化；

13、s4、将保留帧与目标帧对应像素点的灰度值相减得到差异帧，差异帧中每个像素点的值为灰度值差值的绝对值；

14、s5、将差异帧切分成方块，每个方块包含n*n的像素点，根据像素点的值将像素点分为低差异像素点、中差异像素点和高差异像素点；

15、s6、根据下式计算出每个方块的差异指数p：

16、；

17、其中，n1为低差异像素点的数量，n2为中差异像素点的数量，n3为高差异像素点的数量；

18、s7、根据下式计算出整个差异帧的变化指数q：

19、；

20、其中，表示第x行，第y列方块的差异指数；

21、当变化指数q大于阈值时，将目标帧作为新的保留帧发送至压缩信息寄存器；

22、s8、回到步骤s2；

23、进一步的，所述图像分析单元包括科普内容图像转换处理器和科普内容分析处理器，所述科普内容图像转换处理器用于从每帧图像中截取科普内容部分并将科普部分的图像内容转换成第一文本信息，所述科普内容分析处理器对第一文本信息进行识别分析处理得到科普内容数据包；

24、进一步的，所述文字分析单元从所述语音分析单元获取的文本信息称为第二文本信息，所述文字分析单元包括时间匹配处理器和知识点确认处理器，所述时间匹配处理器用于将第二文本信息切分成与所述科普内容数据包数量一致的部分，每部分文本信息形成一个注释包，每个注释包与一个科普内容数据包配对，所述知识点确认处理器基于注释包中的文本信息以及知识点编号分析得到具体的详细知识点；

25、进一步的，所述知识点确认处理器根据下式计算出每个详细知识点的匹配指数r：

26、；

27、其中，表示注释包文本信息中出现第i个关键词的次数，m为一个详细知识点的关键词数量；

28、所述匹配指数最大的详细知识点作为最终确认的详细知识点。

29、本发明所取得的有益效果是：

30、本系统通过边缘计算对原始视频的图像帧进行筛选，在保留关键信息的同时能够大量减少传输量，降低传输负担，同时对传输的视频进行图像分析和文本分析，图形分析缩小科普内容的范围，文本分析确定详细的科普内容，最终提取能够表示科普视频的特征信息，为使用者能够快速找到需要的视频提供帮助。

31、为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

技术特征：

1.一种基于边缘计算与人工智能分析的科普视频提取系统，其特征在于，包括边缘采集模块、智能分析模块、存储管理模块和交互应用模块；

2.如权利要求1所述的一种基于边缘计算与人工智能分析的科普视频提取系统，其特征在于，所述边缘处理单元包括帧图像处理器和压缩信息寄存器，所述帧图像处理器用于对帧图像信息进行分析处理并确定需要保留的帧信息，所述压缩信息寄存器用于保存保留的帧信息以及音频流信息；

3.如权利要求2所述的一种基于边缘计算与人工智能分析的科普视频提取系统，其特征在于，所述图像分析单元包括科普内容图像转换处理器和科普内容分析处理器，所述科普内容图像转换处理器用于从每帧图像中截取科普内容部分并将科普部分的图像内容转换成第一文本信息，所述科普内容分析处理器对第一文本信息进行识别分析处理得到科普内容数据包。

4.如权利要求3所述的一种基于边缘计算与人工智能分析的科普视频提取系统，其特征在于，所述文字分析单元从所述语音分析单元获取的文本信息称为第二文本信息，所述文字分析单元包括时间匹配处理器和知识点确认处理器，所述时间匹配处理器用于将第二文本信息切分成与所述科普内容数据包数量一致的部分，每部分文本信息形成一个注释包，每个注释包与一个科普内容数据包配对，所述知识点确认处理器基于注释包中的文本信息以及知识点编号分析得到具体的详细知识点。

5.如权利要求4所述的一种基于边缘计算与人工智能分析的科普视频提取系统，其特征在于，所述知识点确认处理器根据下式计算出每个详细知识点的匹配指数r：

技术总结本发明提供了一种基于边缘计算与人工智能分析的科普视频提取系统，包括边缘采集模块、智能分析模块、存储管理模块和交互应用模块，所述边缘采集模块用于采集原始科普视频并对科普视频进行边缘计算处理，智能分析模块用于对边缘计算处理后的视频进行语音、图像和文字上的智能分析，所述存储管理模块根据分析结果对原始科普视频链接地址进行存储管理，所述交互应用模块用于提供交互界面以及应用服务；本系统通过边缘计算对视频进行预处理，降低视频的传输量，然后基于智能分析对科普视频进行信息提取，能够帮助使用者更加便捷的找到需要的科普视频。技术研发人员：萧文斌,吴晶平,江敏,罗静婷,罗婉艺,杨帆,黄寅,周智恒,余炽文,李早花,张彩莹受保护的技术使用者：广东科学中心技术研发日：技术公布日：2024/7/23