基于视频理解网络的内窥镜检查评估系统、方法与流程

本发明涉及人工智能领域，特别涉及基于视频理解网络的内窥镜检查评估系统、方法。

背景技术：

1、结直肠癌（colorectal carcinoma，crc）是常见的恶性肿瘤之一。多项研究报道，早期crc经治疗后生存率较高，因此早期筛查对于crc的诊断及治疗有着至关重要的作用。

2、结直肠镜检作为诊断结直肠息肉（colorectal polyp，cp）的金标准，是整个筛查流程的核心环节。然而，有研究表明，在镜检过程中，结直肠腺瘤（colorectal adenoma,cra），其漏诊原因一般与患者肠道准备情况、镜检退镜时间、医师个人经验、及是否应用或应用何种辅助观察成像法等诸多因素相关，其中退镜时间是衡量结肠镜检质量的重要指标之一。但临床上，在结直肠镜检退镜过程中，医师有冲洗肠道、手术治疗等非观察性操作，这一缺点使得单纯的退镜时间，无法真实反映出用于观察肠道寻找病变的时间。因此，现有技术亟待改进。

技术实现思路

1、本发明实施例中提供基于视频理解网络的内窥镜检查评估系统、方法，用以至少部分解决上述问题。

2、第一方面，本发明提供一种基于视频理解网络的内窥镜检查评估系统，所述基于视频理解网络的内窥镜检查评估系统包括视频获取模块、行为动作识别模块、清洁事件识别模块和内窥镜检查记录模块；

3、所述行为动作识别模块，用于根据预先训练得到的基于双级联时空注意力的视频理解网络模型，对所述视频获取模块采集的内窥镜检查视频帧图像进行场景动作识别，得到场景动作识别数据；

4、所述清洁事件识别模块，用于将所述场景动作识别数据中的待清洁场景和清洁动作进行关联映射，得到清洁事件识别数据集合；

5、所述内窥镜检查记录模块，用于根据所述清洁事件识别数据集合，确定内窥镜检查过程的评估参数。

6、可选地，所述行为动作识别模块，还用于根据预先获取的内窥镜检查视频样本对预先构建的双级联时空注意力模型进行训练，得到所述基于双级联时空注意力的视频理解网络模型；所述双级联时空注意力模型由标准化模块和多组双级联单元块和预测头模块串联得到。

7、可选地，所述标准化模块，用于根据预设的多个维度，利用下采样将所述视频获取模块采集的内窥镜检查视频帧图像转为两路多维度输入数据。

8、可选地，预设的多个维度包括视频帧数量、视频帧原始宽度、视频帧原始高度和视频帧单帧通道数。

9、可选地，所述多组双级联单元块串联连接，对于任一组双级联单元块，用于利用两组空间可分离卷积块对所述两路多维度输入数据进行卷积运算，分别得到第一特征图和第二特征图；并用于利用侧向融合模块对所述第一特征图进行下采样，使所述第一特征图的维度与所述第二特征图对齐并拼接，得到第三特征图；以及用于将所述第一特征图和第三特征图作为连接模块的输入；所述连接模块为串联连接的下一组双级联单元块或预测头模块。

10、可选地，所述预测头模块，用于对多组双级联单元块输入的第一特征图和第三特征图分别进行softmax运算，将得到的分数进行平均，输出场景动作识别概率，得到场景动作识别数据。

11、可选地，所述基于视频理解网络的内窥镜检查评估系统还包括辅助提示模块和客户端模块；

12、所述辅助提示模块，用于根据所述场景动作识别数据，进行与所述场景动作识别数据对应的操作提示；

13、所述客户端模块，用于显示所述评估参数和所述操作提示。

14、第二方面，本发明提供一种基于视频理解网络的内窥镜检查评估方法，所述基于视频理解网络的内窥镜检查评估方法包括：

15、根据预先训练得到的基于双级联时空注意力的视频理解网络模型，对采集的内窥镜检查视频帧图像进行场景动作识别，获得场景动作识别数据；

16、将所述场景动作识别数据中的待清洁场景和清洁动作进行关联映射，得到清洁事件识别数据集合；

17、根据所述清洁事件识别数据集合，确定内窥镜检查过程的评估参数。

18、第三方面，本发明提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

19、所述计算机程序被所述处理器执行时，实现如上任一项所述的基于视频理解网络的内窥镜检查评估方法的步骤。

20、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于视频理解网络的内窥镜检查评估程序，所述基于视频理解网络的内窥镜检查评估程序被控制器执行时，实现如上任一项所述的基于视频理解网络的内窥镜检查评估方法的步骤。

21、本发明各个实施例通过评估参数可以真实反映出用于观察肠道寻找病变的时间，本发明能对内镜检查操作步骤及对应的图像影像场景进行语义动作分类检测，并将各语义动作数据与内镜检查规定动作数据形成可比数据，进行辅助提示与指标量化，从而起到促进内镜检查标准化，提高病变检出率的作用。本发明可以有效评估内窥镜检查过程，提高检查质量。

技术特征：

1.一种基于视频理解网络的内窥镜检查评估系统，其特征在于，所述基于视频理解网络的内窥镜检查评估系统包括：视频获取模块、行为动作识别模块、清洁事件识别模块和内窥镜检查记录模块；

2.根据权利要求1所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，所述行为动作识别模块，还用于根据预先获取的内窥镜检查视频样本对预先构建的双级联时空注意力模型进行训练，得到所述基于双级联时空注意力的视频理解网络模型；所述双级联时空注意力模型由标准化模块和多组双级联单元块和预测头模块串联得到。

3.根据权利要求2所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，所述标准化模块，用于根据预设的多个维度，利用下采样将所述视频获取模块采集的内窥镜检查视频帧图像转为两路多维度输入数据。

4.根据权利要求3所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，预设的多个维度包括视频帧数量、视频帧原始宽度、视频帧原始高度和视频帧单帧通道数。

5.根据权利要求3所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，所述多组双级联单元块串联连接，对于任一组双级联单元块，用于利用两组空间可分离卷积块对所述两路多维度输入数据进行卷积运算，分别得到第一特征图和第二特征图；并用于利用侧向融合模块对所述第一特征图进行下采样，使所述第一特征图的维度与所述第二特征图对齐并拼接，得到第三特征图；以及用于将所述第一特征图和第三特征图作为连接模块的输入；所述连接模块为串联连接的下一组双级联单元块或预测头模块。

6.根据权利要求5所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，所述预测头模块，用于对多组双级联单元块输入的第一特征图和第三特征图分别进行softmax运算，将得到的分数进行平均，输出场景动作识别概率，得到场景动作识别数据。

7.根据权利要求1-6中任意一项所述的基于视频理解网络的内窥镜检查评估系统，其特征在于，所述基于视频理解网络的内窥镜检查评估系统还包括辅助提示模块和客户端模块；

8.一种基于视频理解网络的内窥镜检查评估方法，其特征在于，所述基于视频理解网络的内窥镜检查评估方法包括：

9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于视频理解网络的内窥镜检查评估程序，所述基于视频理解网络的内窥镜检查评估程序被控制器执行时，实现如权利要求8中所述的基于视频理解网络的内窥镜检查评估方法的步骤。

技术总结本发明涉及基于视频理解网络的内窥镜检查评估系统、方法，所述系统包括：行为动作识别模块用于根据预先训练得到的基于双级联时空注意力的视频理解网络模型，对视频获取模块采集的内窥镜检查视频帧图像进行场景动作识别，得到场景动作识别数据；清洁事件识别模块用于将所述场景动作识别数据中的待清洁场景和清洁动作进行关联映射，得到清洁事件识别数据集合；内窥镜检查记录模块用于根据所述清洁事件识别数据集合，确定内窥镜检查过程的评估参数。本发明对内镜检查操作及对应的视频图像进行语义动作分类检测，并将各语义动作数据与内镜检查规定动作数据形成可比数据，进行辅助提示与指标量化，从而起到促进内镜检查标准化。技术研发人员：冯月,穆金宝受保护的技术使用者：天津御锦人工智能医疗科技有限公司技术研发日：技术公布日：2024/9/29