一种基于超声视频数据的甲状腺腺体实时分割系统的制作方法

本发明涉及人工智能及超声图像分析，特别是涉及一种基于超声视频数据的甲状腺腺体实时分割系统。

背景技术：

1、甲状腺是人体中一个重要的内分泌器官，其主要功能是分泌可以调节人体新陈代谢的甲状腺激素，甲状腺激素的分泌量多少影响着小孩的生长发育以及成人的新陈代谢。与甲状腺相关的疾病(例如甲状腺功能亢进症、桥本氏甲状腺炎等)大多涉及甲状腺腺体形状及体积的变化，因此甲状腺腺体的变化是一个重要的病变标志，对甲状腺相关的疾病诊断具有重要的意义。

2、在与甲状腺相关的临床影像学诊断中，超声检查是主要的检测方法，其具有无创伤、无辐射、经济实用、实时成像等优点，在临床诊断中被广泛使用。此外，在临床诊断中，超声医生操作超声探头对病人的甲状腺区域实时成像。由于甲状腺腺体相对于其他软组织器官体积较小，其首要任务是找到合适的甲状腺成像位置，因此，从甲状腺超声视频中实时精确分割出甲状腺腺体区域，不管是对于其相关任务(超声图像桥本氏甲状腺炎分类，超声图像甲状腺结节分割，超声图像甲状腺结节良恶性分类等)，还是引导超声医生找到合适的甲状腺成像位置都具有重要的意义。

3、目前超声成像的图像质量相对较低且存在着强噪声、多斑点的问题，使得甲状腺腺体区域模糊，边缘与其他非腺体区域对比不明显，这就使得很多传统的图像分割算法无法精确地分割出甲状腺腺体区域。近年来，深度学习特别是卷积神经网络(cnn)在图像分割领域被广泛使用并且取得了巨大的成功。但基于cnn的分割网络模型一般而言都比较复杂且运算量较大，无法直接用于实时超声成像的情形下。对于实时视频分割的情形，也有一些专门用于此种情形下的cnn分割网络，但基本都是在牺牲分割精确度的情形下降低模型的复杂度，从而提高运算速度，满足实时运算的要求。

技术实现思路

1、为了解决以上技术问题，本发明提供一种基于超声视频数据的甲状腺腺体实时分割系统，包括

2、视频数据收集模块，用于收集甲状腺超声视频数据，通过图像模糊和图像噪声两种图像质量评价方法对所有视频数据进行筛选，并对筛选后的数据进行标注；

3、神经网络模型构建模块，用于使用深度学习框架构建甲状腺腺体分割神经网络模型，甲状腺腺体分割神经网络模型包括先前视频帧特征提取网络模型和当前帧分割网络模型，先前视频帧特征提取网络模型用于融合当前帧先前连续的三帧超声图像的特征，输出预测的当前帧超声图像及中间特征图；当前帧分割网络模型用于输出分割图；

4、神经网络模型训练模块，用于设置甲状腺腺体分割神经网络模型的超参数并对神经网络模型进行训练，确定最优模型的参数，训练完成之后保存最优模型；

5、分割结果输出模块，用于将甲状腺超声视频数据输入到最优模型中，输出甲状腺腺体分割结果，并根据分割结果在超声视频上实时显示甲状腺腺体的位置轮廓。

6、本发明进一步限定的技术方案是：

7、进一步的，视频数据收集模块进行收集和标注的方法包括以下步骤

8、a1、通过视频采集卡采集超声机上的甲状腺超声视频数据；

9、a2、通过图像模糊和图像噪声两种图像质量评价方法对所有视频数据进行筛选，挑选出满足图像质量要求的视频帧数据，仅当连续3张图像帧的成像质量达到评价要求才判断为符合图像质量要求；

10、a3、由超声医生对符合图像质量要求的超声图像进行标注，即在超声图像上描绘出甲状腺腺体的轮廓；

11、a4、将标注数据转换为二值灰度图，其中甲状腺腺体区域灰度值设为255，其他区域灰度值设为0；

12、a5、将视频数据集按照8∶2的比例划分为训练集与测试集。

13、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，步骤a2中，采用灰度方差算法对超声图像的模糊程度进行量化，具体如下式所示：

14、

15、其中，f(x，y)为各个像素点处的灰度值；nx和ny分别为图像在宽和高方向上的像素尺寸；s为图像的模糊程度量化值，用于表示图像灰度变化的平均程度；

16、采用基于滤波法的信噪比噪声评价方法对超声图像的噪声进行量化，具体如下式所示：

17、

18、其中，us表示原始超声图像，filter(us)代表对原始超声图像做中值滤波操作后的图像。

19、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，神经网络模型构建模块中，先前视频帧特征提取网络模型融合当前帧先前连续的三帧超声图像的特征的方法包括以下步骤

20、b1、通过三个卷积神经网络cnn1、cnn2以及cnn3分别对当前帧先前连续的三帧超声图像进行特征提取，并将三个卷积神经网络的输出特征按通道进行拼接，得到特征向量feature；

21、b2、将特征向量feature输入到生成网络模型generator中，输出预测的当前帧超声图像image′；

22、b3、将当前帧的预测图像image′和当前帧的真实图像image分别输入到鉴别网络模型discriminator中，鉴别网络模型discriminator的输出为判断输入图像是否为真的概率值；

23、b4、分别对生成网络模型generator和鉴别网络模型discriminator进行训练；

24、b5、将特征向量feature输入卷积神经网络cnn5，输出融合了当前帧先前连续的三帧超声图像特征的特征图，卷积神经网络cnn5由两个串联的卷积组成，两个卷积的步长都设为1。

25、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，步骤b1中，三个卷积神经网络cnn1、cnn2以及cnn3均是由卷积、批归一化和激活函数三种操作组成，其通过步长为2的卷积实现下采样。

26、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，步骤b2中，生成网络模型generator由卷积层、上采样层、批归一化层以及激活函数组成，其中通过上采样层将特征图的分辨率逐一放大，最后达到输入超声图像的分辨率，并在上采样过程中使用含大小值裁剪的线性插值来实现特征图的平滑过渡；激活函数除最后一层卷积后面使用tanh激活函数以外，其余卷积后面全部使用leakyrelu激活函数；

27、步骤b3中，鉴别网络模型discriminator的输入为当前帧的真实图像image或生成网络模型generator生成的当前帧的预测图像image′，输出为判断输入图像是否为真的概率值；鉴别网络模型discriminator由卷积层、归一化层、全连接层以及激活函数组成，其中通过步长为2的卷积使特征图的分辨率逐渐降低；激活函数除最后一层卷积后面使用sigmoid函数以外，其余卷积后面全部使用leakyrelu激活函数。

28、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，步骤b4中，在训练鉴别网络模型discriminator时，将当前帧的真实图像标签设置为1，生成的当前帧的预测图像标签设置为0；在训练生成网络模型generator时，生成网络模型generator生成的当前帧的预测图像标签设置为1；

29、鉴别网络模型discriminator中，损失函数使用交叉熵损失，具体公式如下所示：

30、s＝-(ylogy′+(1-y)log(1-y′))

31、其中，y为标签值，y′为鉴别网络模型的输出值。

32、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，神经网络模型构建模块中，当前帧分割网络模型输出分割图的方法包括以下步骤

33、c1、通过卷积神经网络cnn4对当前帧进行降采样，卷积神经网络cnn4由卷积、批归一化和激活函数三种操作组成，其通过步长为2的卷积实现降采样；

34、c2、将降采样后的特征图与卷积神经网络cnn5输出的特征图进行拼接；

35、c3、通过卷积神经网络cnn6对步骤c2中拼接后的特征图进行特征提取和上采样，得到分割图，卷积神经网络cnn6由卷积、批归一化、激活函数以及双线性插值函数组成。

36、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，步骤c3中，上采样使用双线性插值算法，最后得到通道数为2，尺寸大小与输入图像帧的尺寸相同的甲状腺位置表征特征图；接着按通道比较甲状腺位置表征特征图的两个元素值，当第一通道的元素值大于等于第二通道时，将第一通道的元素值置为0；当第一通道的元素值小于第二通道时，将第一通道的元素值置为1；最后将每个像素值乘以255并转换为灰度图，即可得到分割图。

37、如前所述的一种基于超声视频数据的甲状腺腺体实时分割系统，神经网络模型训练模块中，利用训练集数据对甲状腺腺体分割神经网络模型进行训练，训练过程中使用adam优化器，adam优化器公式如下：

38、vt＝β2vt-1+(1-β2)gt2

39、mt＝β1mt-1+(1-β1)gt

40、

41、其中，gt表示t时刻的梯度；mt表示t时刻的梯度指数移动平均数，初始值m0＝0；vt表示t时刻的梯度平方指数移动平均数，初始值v0＝0；η表示学习率；ε＝10-8，用于避免除数为0；θt表示t时刻的模型参数，θt-1表示t-1时刻的模型参数；

42、对训练过程中产生的模型，使用测试集数据对其进行评估，综合模型训练的损失值和在测试集上的准确率，确定最优模型的参数。

43、本发明的有益效果是：

44、(1)本发明中，针对目前没有相关的可用于甲状腺超声的甲状腺腺体实时视频分割技术方案，提出了一种基于视频数据的甲状腺腺体实时分割技术方案；针对基于深度学习的实时视频分割网络，分割精度和模型复杂度之间是一个比较难平衡的技术难点，本发明使用了成像质量评价的策略，对部分不满足图像质量要求的数据不做分割处理，从而在保持较高分割精确度的同时，也能满足在较低的硬件配置的情况下，达到实时分割的运算要求；

45、(2)本发明中，利用轻量级特征提取网络对先前帧进行特征提取，并将特征传递至当前帧，可以降低当前帧特征提取网络的参数量，提升对当前帧分割的速度和准确度；利用生成对抗网络指导先前帧的特征提取网络的学习，可以提取特征提取网络的效率。