一种基于超声图像的胶囊机器人定位方法

：本发明涉及人工智能，计算机视觉，医学图像分析，尤其是超声图像识别与分析领域，特别涉及一种基于超声图像的胶囊机器人自动定位的方法。

背景技术

0、背景技术：

1、传统胃镜在医学诊断和治疗中发挥着重要的作用，但传统胃镜要通过口腔或者鼻腔插入，会让患者感到不适且有感染的风险。针对传统胃镜的缺点，胶囊机器人应运而生。胶囊机器人通过口服的方法进入消化道，随后医生通过控制胶囊机器人在体内移动，对胃肠道病变情况进行检查。为了控制胶囊机器人的移动，我们应当准确、实时地获取胶囊机器人的位置和角度。

2、近年来，胶囊机器人定位大多通过内置磁定位芯片的方式实现。然而这种方式一方面会增加胶囊机器人的体积，导致胶囊机器人无法应用于一些较为狭窄的环境；另一方面，由于胃肠道特殊的病理结构，这一方法无法在术中阶段提供胶囊机器人的位置和角度信息。

3、随着深度学习模型的飞速发展，基于医学成像技术的胶囊机器人追踪技术可以解决磁定位技术中遇到的问题。现有的医学成像技术包括x射线成像、ct成像、超声成像等。与ct成像，x射线成像相比，由于超声成像使用的是机械波，不涉及任何电离辐射，因此不会对患者产生放射性的损伤。此外，超声成像还具有实时成像、成本低廉等优点，因此我们提出了一种基于超声图像的胶囊机器人自动定位的方法。但也正因为超声成像使用的是机械波，穿透深度会受到限制，导致生成的图像灰度分布不均匀、分辨率较低，大大增加了胶囊机器人定位的难度。

技术实现思路

0、技术实现要素：

1、为了解决现有技术中的问题，本发明提出了一种基于超声图像的胶囊机器人自动定位方法，该方法不产生危害医患安全的辐射，可以实时、精确地提供胶囊机器人的位置和角度信息，帮助医生检查患者胃肠道病变的情况。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于超声图像的胶囊机器人自动定位方法，包括以下步骤：数据预处理，生成胶囊机器人自适应性的有向椭圆高斯区域，基于骨干网络的超声图像的特征提取，基于特征金字塔的特征图处理步骤，基于滑动顶点的胶囊机器人包围框表示步骤，基于联合损失函数的网络参数优化步骤。

4、步骤1、数据预处理；

5、步骤2、生成胶囊机器人自适应性的有向椭圆高斯区域；

6、步骤3、基于骨干网络的超声图像特征提取；

7、步骤4、基于特征金字塔的特征图处理；

8、步骤5、基于滑动顶点的胶囊机器人包围框表示；

9、步骤6、基于联合损失函数的网络参数优化。

10、优选的，步骤1中，首先对2631张初始的超声图像进行随机横向平移、随机纵向平移、随机旋转等数据增强操作，生成52620张超声图像以及相应的标注文件，提高模型的泛化能力和鲁棒性；之后，按照7：2:1的比例将数据集划分成训练集、验证集和测试集。其中训练集用于构建模型、验证集用于评估模型在训练过程中的表现，进行参数调整和模型选择、测试集用于评估训练好的模型的性能。

11、优选的，步骤2中，生成胶囊机器人自适应性的有向椭圆高斯区域包括如下步骤：

12、步骤21、生成标准高斯区域：将医生标注的超声图像中胶囊机器人的位置信息连同超声图像作为输入，生成圆形的标准高斯区域作为正样本的候选区域。

13、步骤22、生成有向椭圆高斯区域：通过拉伸和旋转的方式，将圆形的标准高斯区域变换成有向椭圆高斯区域。

14、步骤23、正样本候选区域位置点权重分配：根据高斯概率密度函数为有向椭圆高斯区域中的所有位置点计算权重。式中x＝[x,y]t～n(μ,c)，c表示两个变量的协方差矩阵，μ表示均向量。

15、步骤24、生成胶囊机器人区域：遍历有向椭圆区域中的所有位置点，若该位置点的权重等于0，则认为该位置点是负样本，否则认为该位置点是正样本。所有正样本构成的区域则是胶囊机器人的有向椭圆高斯区域。

16、优选的，步骤22中，生成有向椭圆高斯区域包括如下步骤：

17、步骤221、计算椭圆的中心点坐标：根据医生标注的超声图像中胶囊机器人的位置信息计算椭圆区域的中心点坐标，公式如下：

18、

19、符号表示对结果进行向上取整，xi,yi,i∈[1,2,3,4]表示医生标注的胶囊机器人包围框的四个顶点坐标，stride＝[8,16,32]表示对应的下采样倍率。

20、步骤222、计算椭圆长半轴和短半轴的长度：根据公式计算有向椭圆高斯区域的长半轴和短半轴的长度，公式如下：

21、

22、步骤223、构造旋转和拉伸矩阵：根据得到的椭圆中心点坐标和长半轴短半轴的长度构造旋转矩阵和拉伸矩阵。r表示旋转矩阵，e表示拉伸矩阵。

23、

24、式中tiou表示iou阈值，这里我们设置tiou＝0.3，angle表示胶囊机器人的旋转角度。

25、步骤224、生成有向椭圆高斯区域：根据拉伸和旋转矩阵，生成拟合胶囊机器人形状和方向的有向椭圆高斯区域，转换示意图见附图2。

26、ax＝[i-gridx,j-gridy]t

27、

28、符号表示矩阵的乘法，i,j分别表示步骤22中生成的正样本候选区域中的任意一个位置点的横坐标和纵坐标。

29、优选的，步骤3中，基于骨干网络的超声图像特征提取包括如下步骤：

30、步骤31、图像预处理：输入的超声图像需要调整成我们选取的骨干网络darknet需要的格式和尺寸，这里所有图像在输入卷积神经网络时大小都会被调整到(800,800,1)，这里的1表示通道数，也就是说输入数据是灰色图像。

31、步骤32、加载预训练的权重：加载预训练的darknet53的权重，加速模型的收敛速度并提高模型的性能。

32、步骤33、卷积层特征提取：依次经过五个卷积核大小为3×3的卷积层对预处理之后的超声图像进行特征提取。

33、步骤34、池化操作：使用最大池化操作，对卷积层提取的特征进行压缩，去除冗余的信息，从而简化网络复杂度，提升特征提取的鲁棒性。

34、优选的，步骤4中，基于特征金字塔的特征图处理在得到初步提取的特征图之后，首先降低骨干网络的c5层的通道数得到特征金字塔的p5层；之后依次进行上采样操作得到p4和p3层，从而得到与c4、c3长宽相同的特征；最后，从底向上将每层的特征图与上一层的上采样特征图进行融合，生成最终的特征图。

35、优选的，步骤5中，基于滑动顶点的胶囊机器人包围框表示包括如下步骤：

36、步骤51、计算胶囊机器人水平框的长宽：我们首先根据医生标注的胶囊机器人旋转框的信息，使用公式计算出水平框的长和宽：

37、w＝max(x1,x2,x3,x4)-min(x1,x2,x3,x4)

38、h＝max(y1,y2,y3,y4)-min(y1,y2,y3,y4)

39、步骤52、计算水平框和旋转框相应的顶点之间的距离si,i∈[1,2,3,4]。

40、si＝||vi-vi'||

41、步骤53、计算顶点之间的距离在相应水平框的边长的占比δi,i∈[1,2,3,4]：

42、

43、步骤54、计算水平框和旋转框之间的面积占比ar。

44、步骤55、表示胶囊机器人包围框：完成上述步骤之后，我们可以使用九元组o来表示更加拟合胶囊机器人的包围框，o＝[x,y,w,h,δ1,δ2,δ3,δ4,ar]，具体示意图见附图3。

45、优选的、步骤6中，基于联合损失函数的网络参数优化包括：首先构造正负样本分配的损失函数以及回归胶囊机器人包围框的损失函数；之后计算模型预测的结果和真值之间的损失值以及损失函数关于当前网络参数的梯度；根据损失值以及学习率的大小更新网络参数；重复以上步骤，直到损失函数的值收敛或者达到预先设定的阈值。

46、与现有技术相比，本发明的具有以下有益效果：

47、1.不需要增加磁定位芯片从而增加胶囊机器人的体积、干扰医生的操作或引入电磁兼容问题。

48、2.本发明能够准确、实时地获取超声图像中胶囊机器人的位置和角度，且准确率和检测时间可以满足临床应用中的要求。

49、3.本发明实用成本较低，可以快速推广使用，摆脱传统胃镜需要从口腔或者鼻腔插入管子检测胃肠道内的病变情况，引起的不适感以及易感染的风险。