一种基于CNN和Transformer的纤维鼻咽镜视频最佳帧选择方法及装置与流程

本申请涉及医疗图像识别，具体而言，涉及一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法及装置。

背景技术：

1、腺样体又称咽扁桃体，是丰富的淋巴组织，位于鼻咽顶部与后壁交界处、两侧咽隐窝之间；其可引起局部或全身的免疫应答，对消化道和呼吸道具有重要的防御、保护功能，但同时也容易遭受病菌侵袭，常引起炎症。

2、计算机辅助/自主评估是当前医学的预定发展方向，但是腺样体通常通过纤维鼻咽镜获取视频，从中选取关键的一帧进行观察和评估，但是纤维鼻咽镜视频包含多个图像帧，如何进行选取一个最佳帧，是现阶段需要解决的问题。

技术实现思路

1、本申请解决的问题是如何选取纤维鼻咽镜视频的最佳帧。

2、为解决上述问题，本申请第一方面提供了一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，包括：

3、获取单一对象的纤维鼻咽镜视频；所述纤维鼻咽镜视频包括所述对象的至少一个呼吸周期；

4、将所述纤维鼻咽镜视频拆分为多个连续设置的图像帧；

5、基于预训练的帧选择网络模型，从所述图像帧中选取一个，作为纤维鼻咽镜视频最佳帧；所述帧选择网络模型中至少包含cnn结构和transformer结构。

6、本申请第二方面提供了一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择装置，其包括：

7、视频获取模块，其用于获取单一对象的纤维鼻咽镜视频；所述纤维鼻咽镜视频包括所述对象的至少一个呼吸周期；

8、图像拆分模块，其用于将所述纤维鼻咽镜视频拆分为多个连续设置的图像帧；

9、模型处理模块，其用于基于预训练的帧选择网络模型，从所述图像帧中选取一个，作为纤维鼻咽镜视频最佳帧；所述帧选择网络模型中至少包含cnn结构和transformer结构。

10、本申请第三方面提供了一种电子设备，其包括：存储器和处理器；

11、所述存储器，其用于存储程序；

12、所述处理器，耦合至所述存储器，用于执行所述程序，以用于：

13、获取单一对象的纤维鼻咽镜视频；所述纤维鼻咽镜视频包括所述对象的至少一个呼吸周期；

14、将所述纤维鼻咽镜视频拆分为多个连续设置的图像帧；

15、基于预训练的帧选择网络模型，从所述图像帧中选取一个，作为纤维鼻咽镜视频最佳帧；所述帧选择网络模型中至少包含cnn结构和transformer结构。

16、本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法。

17、本申请中，利用cnn结构和transformer结构对图像帧进行识别，从而从拆分处的图像帧中选取最佳帧，解决纤维鼻咽镜视频的最佳帧的准确选取问题。

技术特征：

1.一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，包括：

2.根据权利要求1所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述基于预训练的帧选择网络模型，从

3.根据权利要求2所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述图像帧的选取为随机选取。

4.根据权利要求2所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述第二预定数额的图像帧与所述较佳图像帧的数量之和为所述第一预定数额。

5.根据权利要求2-4中任一项所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述帧选择网络模型的训练过程包括：

6.根据权利要求5所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述基于所述纤维鼻咽镜视频样本，生成多组训练数据，包括：

7.根据权利要求5所述的基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法，其特征在于，所述将每组训练数据分别输入所述帧选择网络模型，得到预测图像帧，包括：

8.一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：存储器和处理器；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的一种基于cnn和transformer的纤维鼻咽镜视频最佳帧选择方法。

技术总结本申请提供了一种基于CNN和Transformer的纤维鼻咽镜视频最佳帧选择方法及装置，所述方法包括：获取单一对象的纤维鼻咽镜视频；所述纤维鼻咽镜视频包括所述对象的至少一个呼吸周期；将所述纤维鼻咽镜视频拆分为多个连续设置的图像帧；基于预训练的帧选择网络模型，从所述图像帧中选取一个，作为纤维鼻咽镜视频最佳帧；所述帧选择网络模型中至少包含CNN结构和Transformer结构。本申请中，利用CNN结构和Transformer结构对图像帧进行识别，从而从拆分处的图像帧中选取最佳帧，解决纤维鼻咽镜视频的最佳帧的准确选取问题。技术研发人员：邰隽,王潇艺,胡雯,徐静思,陆颖霞,余洁受保护的技术使用者：首都儿科研究所附属儿童医院技术研发日：技术公布日：2024/9/29