胶囊内窥镜腔体内图像的三维重建方法、装置和设备与流程

本技术涉及图像处理，尤其涉及一种胶囊内窥镜腔体内图像的三维重建方法、装置和设备。

背景技术：

1、在人体组织腔体（如食管、胃、肠道等消化道腔体）的图像检测中，传统的内窥镜检查方法虽然能够提供直观的腔内图像，但具有侵入性强、患者不适以及检查盲区等局限性。胶囊内窥镜作为一种非侵入性的检查手段，旨在解决传统内窥镜检查的局限性。它通过让患者吞服含有摄像头的胶囊，自动拍摄组织腔体内部的图像，极大地提高了腔体内图像检测的舒适性和范围。

2、然而，胶囊内窥镜技术在实际应用中仍面临一些关键技术难题，其中最为突出的是对组织腔体内图像的三维重建问题。由于胶囊内窥镜依赖于消化道的自然蠕动进行移动，当前技术无法精确地追踪其在消化道中的位置和姿态；此外，胶囊内窥镜在拍摄过程中仅能提供二维图像信息，缺乏深度数据；另外，胶囊内窥镜受限于其大小、电池容量以及拍摄帧率等因素，所获取的图像质量往往不够理想，进一步增加了三维重建的难度。

3、现有的三维重建方法如cn109448041b、cn112261399b等多依赖于深度传感器或额外的图像采集设备来获取深度信息，但这些方法不仅增加了设备的复杂性和成本，还可能对患者造成额外的不适。此外，一些基于图像处理的三维重建算法虽然能够在一定程度上解决深度信息缺失的问题，但由于组织腔体内部环境的复杂性和多变性，这些算法往往难以达到理想的重建效果。

4、因此，开发一种能够在不依赖额外传感器设备的情况下，仅利用胶囊内窥镜拍摄的二维图像进行胶囊内窥镜腔体内图像的三维重建方法，具有重要的应用价值。

技术实现思路

1、本技术的目的在于提供一种胶囊内窥镜腔体内图像的三维重建方法、装置和设备，以解决上述提到的至少一种技术问题。

2、本技术第一方面，提供了一种胶囊内窥镜腔体内图像的三维重建方法，所述方法包括：

3、获取胶囊内窥镜在腔体内拍摄的第一图像集；

4、基于预训练的深度感知模型对所述第一图像集进行帧率增强，形成第二图像集；

5、基于所述第二图像集中各个第二图像的角点检测剔除所述第二图像集中的不合格图像，形成第三图像集；

6、基于所述第三图像集识别出所述胶囊内窥镜的三维场景信息，并基于所述三维场景信息对所述腔体进行三维重建。

7、可选的，所述基于预训练的深度感知模型对所述第一图像集进行帧率增强，形成第二图像集，包括：基于所述深度感知模型识别所述第一图像集中的每前后两帧第一图像的融合特征信息；基于所述融合特征信息生成所述每前后两帧第一图像之间的中间帧图像，将所述中间帧图像插入所述第一图像集，得到所述第二图像集。

8、可选的，所述深度感知模型包括卷积神经网络模型、深度估计网络模型和光流估计网络模型。所述基于所述深度感知模型识别所述第一图像集中的每前后两帧第一图像的融合特征信息，包括：

9、通过所述卷积神经网络模型从所述每前后两帧第一图像生成对应的特征图；

10、分别通过所述深度估计网络模型和光流估计网络模型从所述特征图中生成对应的深度图和光流向量；

11、基于所述特征图、所述深度图和所述光流向量生成所述每前后两帧第一图像的融合特征信息。

12、可选的，所述基于所述特征图、所述深度图和所述光流向量生成所述每前后两帧第一图像的融合特征信息，包括：通过所述光流向量对所述每前后两帧第一图像的特征图和深度图进行空间变换；将空间变换后的特征图和深度图进行特征融合，生成所述融合特征信息。

13、可选的，所述深度感知模型还包括生成网络模型，所述基于所述融合特征信息生成所述每前后两帧第一图像之间的中间帧图像，包括：通过所述生成网络模型对所述融合特征信息进行上采样和卷积运算，生成与所述每前后两帧第一图像的尺寸相同的中间帧图像。

14、可选的，所述生成网络模型基于结构相似损失函数和边缘损失函数的加权和为模型损失函数进行迭代训练形成，其中，所述边缘损失函数用于表征所述中间帧图像和所述每前后两帧第一图像的边缘特征损失。

15、可选的，所述基于所述第二图像集中各个第二图像的角点检测剔除所述第二图像集中的不合格图像，形成第三图像集，包括：

16、生成所述第二图像集中的第二图像的包含水平方向和垂直方向的梯度信息的结构张量；

17、基于所述结构张量中的每个像素点的特征值识别所述第二图像的角点；

18、统计所述第二图像中的角点数量，将角点数量低于预设阈值的第二图像进行剔除，形成第三图像集。

19、可选的，所述基于所述结构张量中的每个像素点的特征值识别所述第二图像的角点，包括：基于所述结构张量中的每个像素点的特征值计算响应函数，根据每个响应函数在局部区域中的大小确定对应的像素点是否属于角点。

20、可选的，所述基于所述第三图像集识别出所述胶囊内窥镜的三维场景信息，包括：

21、通过第一即时定位与地图构建模型提取所述第三图像集中的连续的第三图像序列中的特征点；

22、对所述第三图像序列的特征点进行匹配，形成匹配关系；

23、识别所述第三图像序列中的关键图像的位姿数据；

24、基于所述位姿数据、特征点和匹配关系构建出对应的三维场景信息。

25、可选的，所述三维场景信息包括运动轨迹和场景点云数据，所述基于所述三维场景信息对所述腔体进行三维重建，包括；获取所述三维场景信息与所述第三图像集中的每个第三图像之间的对应关系；基于第二即时定位与地图构建模型以及所述第三图像与所述三维场景信息之间的对应关系，对所述第三图像集进行三维重建。

26、本技术第二方面，提供了一种胶囊内窥镜腔体内图像的三维重建装置，所述装置包括：

27、第一图像获取模块，用于获取胶囊内窥镜在腔体内拍摄的第一图像集；

28、增帧模块，用于基于预训练的深度感知模型对所述第一图像集进行帧率增强，形成第二图像集；

29、角点处理模块，用于基于所述第二图像集中各个第二图像的角点检测剔除所述第二图像集中的不合格图像，形成第三图像集；

30、三维重建模块，用于基于所述第三图像集识别出所述胶囊内窥镜的三维场景信息，并基于所述三维场景信息对所述腔体进行三维重建。

31、本技术第三方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行本技术中任一项所述的方法。

32、本技术中的胶囊内窥镜腔体内图像的三维重建方法、装置和设备，针对胶囊内窥镜拍摄的图像受到相机大小和功率等限制而导致拍摄帧率较低的情况，本技术对第一图像进行帧率增强处理，可以提高三维重建的图像帧率；此外针对帧率增强后形成的第二图像集，通过角点检测来识别第二图像是否合格，将不合格的图像进行剔除，以提高整体图像质量和特征信息的丰富性；最后基于保留下来的图像进行三维场景信息识别，基于三维场景信息和第三图像集来对腔体进行三维重建，从而可以实现在不依赖额外传感器设备的情况下实现腔体的三维重建，并且能够提高三维重建的质量。