一种使用深度学习网络的无追踪三维超声成像方法

本发明涉及一种三维超声成像方法，特别是一种使用深度学习网络的无追踪三维超声成像方法。

背景技术：

1、相比于二维超声成像，三维超声成像可以更好地提供病灶区域的位置、形态、体积等信息，拥有广阔的应用前景。三维超声成像通过定位二维超声图像序列的空间位置并重建得到。在临床应用中，三维超声成像具有一些缺点，例如需要昂贵复杂的空间定位系统、需要广阔的空间定位视野等。采用深度学习网络预测二维超声图像的空间位置可以很好地解决这些问题，这种方式被称为无追踪三维超声成像。无追踪三维超声成像在大器官临床成像中的应用也面临几个挑战：在收集训练数据期间，负责空间定位的电磁信号接收器或光学相机的任何位置变化都会导致三维空间坐标系的相应改变；无追踪网络只能预测二维超声图像的相邻帧之间的空间变换关系，众多预测的误差累积可能导致重建的图像严重失真。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种使用深度学习网络的无追踪三维超声成像方法。

2、为了解决上述技术问题，本发明公开了一种使用深度学习网络的无追踪三维超声成像方法，包括以下步骤：

3、步骤1，使用光学定位超声系统收集训练数据，所述训练数据，至少包括：二维超声图像序列，以及序列中每张图像的旋转矩阵和平移矩阵；

4、步骤2，遍历所述二维超声图像序列，提取出相邻帧的二维超声图像，利用图像的旋转矩阵和平移矩阵计算这两张二维超声图像对应的空间变换关系；

5、步骤3，使用该空间变换关系作为标签，训练无追踪深度学习网络；

6、步骤4，规划扫描轨迹并设置校准点，使用立体摄像机捕捉所述扫描轨迹的三维空间信息；

7、步骤5，沿规划的扫描轨迹采集二维超声图像序列，并使用步骤3中训练好的无追踪深度学习网络进行预测，并重建三维超声图像；

8、步骤6，利用规划的扫描轨迹的三维信息校正重建的三维超声图像，生成最终的三维超声图像。

9、进一步的，步骤1中所述的光学定位超声系统，具体包括：

10、超声传感器，用于采集超声图像；

11、以及光学定位系统，用于对所述超声传感器进行光学定位，包括：固定设置在超声传感器上的光学标定板，和用于识别光学标定板位置的光学图像采集装置。

12、进一步的，步骤1中所述的收集训练数据，具体包括：

13、步骤1-1，超声传感器由人工手持操作，采集待成像目标的二维超声图像，并生成二维超声图像序列i：

14、i＝{ii|i＝1,2,...n}

15、其中，ii表示序列中的第i个二维超声图像，该序列中图像总数为n；

16、步骤1-2，在超声传感器(17)工作的同时，采用光学定位系统，采集二维超声图像序列i对应的旋转矩阵序列和平移矩阵序列

17、

18、

19、其中，表示旋转矩阵序列中的第i个旋转矩阵，即拍摄第i个二维超声图像时，光学标定板(15)和光学图像采集装置(16)之间的旋转矩阵；

20、表示平移矩阵序列中的第i个平移矩阵，即拍摄第i个二维超声图像时，光学标定板和光学图像采集装置之间的平移矩阵；

21、步骤1-3，将二维超声图像序列i，及其对应的旋转矩阵序列和平移矩阵序列组合成所述的训练数据。

22、进一步的，步骤2中所述的空间变换关系，计算方法包括：

23、步骤2-1，遍历二维超声图像序列i中每组相邻的二维超声图像，设为ii和ii+1，以二维超声图像ii建立坐标系，将该坐标系下二维超声图像ii和ii+1之间的旋转矩阵和平移矩阵定义为和计算方法如下：

24、

25、

26、其中，表示超声传感器和光学标定板之间的旋转矩阵，表示超声传感器和光学标定板之间的平移矩阵；

27、步骤2-2，通过相邻的二维超声图像ii和ii+1之间的旋转矩阵和平移矩阵和得到相邻二维超声图像之间的空间变换关系如下：

28、

29、其中，ii+1在上述坐标系下沿xyz坐标轴的旋转量为rx,ry,rz，平移量为tx,ty,tz；

30、步骤2-3，二维超声图像序列i中所有相邻二维超声图像之间的空间变换关系为：

31、

32、进一步的，步骤3中所述的训练无追踪深度学习网络，具体包括：

33、步骤3-1，使用深度残差网络resnet构建无追踪深度学习网络；

34、步骤3-2，构建训练集，其中，每组训练数据由两个相邻的二维超声图像ii和ii+1构成，并使用上述图像的空间变化关系作为标签；

35、步骤3-3，使用步骤3-2构建的训练集，训练步骤3-1中所述的无追踪深度学习网络。

36、进一步的，步骤4中所述的规划扫描轨迹并设置校准点，具体包括：

37、步骤4-1，对于每个待成像目标，在其表面描绘出扫描轨迹线，在扫描轨迹线上每隔一段距离添加校准点，校准点的数量预先设置；

38、步骤4-2，利用光学图像采集装置对步骤4-1中描绘出的扫描轨迹线进行拍摄，获得校准点的三维空间坐标序列cal＝{calk|k＝1,2,...m}，其中，表示第k个校准点的坐标，k表示校准点的索引编号，m表示校准点的数量，分别表示校准点的xyz坐标。

39、进一步的，步骤5中所述的重建三维超声图像，具体包括：

40、步骤5-1，使用超声传感器沿规划扫描轨迹对待成像目标进行扫描，其中，在到达校准点时停顿预设时长，获得待成像目标的二维超声图像序列

41、步骤5-2，遍历二维超声图像序列内的每个二维超声图像计算其与后续图像的互相关系数，根据互相关系数确定二维超声图像序列中校准点处的二维超声图像的位置序列c,表示如下：

42、c＝{ck|k＝1,2,...m}

43、其中，ck表示第k个校准点处的二维超声图像的位置；

44、步骤5-3，使用步骤3训练好的无追踪深度学习网络，预测二维超声图像序列的空间变换关系序列θ，表示如下：

45、θ＝{θj|j＝1,2,...n-1}

46、其中，θj表示第j个二维超声图像和后续图像之间的预测空间变换关系；

47、步骤5-4，使用预测的空间变换关系序列θ，进行三维超声重建，得到重建的三维超声图像。

48、进一步的，步骤6中所述的校正重建的三维超声图像，即采用校准点来校正预测的空间变换关系序列θ，具体包括：

49、步骤6-1，设置当前校准点为第k个校准点，k的初始值为1；

50、步骤6-2，计算第k个校准点和下一个点处的二维超声图像的预测空间位置和

51、步骤6-3，取第k个校准点和第k+1个校准点之间的二维超声图像组成二维超声图像序列片段计算该二维超声图像序列片段的平移预测误差方法如下：

52、

53、其中，表示第k个校准点处的二维超声图像的预测平移尺度，表示第k+1个校准点处的二维超声图像的预测平移尺度，表示二维超声图像序列片段的实际平移尺度；

54、步骤6-4，对该二维超声图像序列片段中每个图像il的预测数据θl进行校正，获得校准后的空间变换关系θ′l，计算方式如下：

55、θ′l(1:3)＝θl(1:3)

56、

57、其中，θ′l(1:3)表示二维超声图像序列片段中第l张二维超声图像和后续图像之间校正后的旋转关系，θl(1:3)表示二维超声图像序列片段中第l张二维超声图像和后续图像之间的预测旋转关系，θ′l(4:6)表示二维超声图像序列片段中第l张二维超声图像和后续图像之间校正后的平移关系，θl(4:6)表示二维超声图像序列片段中第l张二维超声图像和后续图像之间的预测平移关系；

58、步骤6-5，将校准点序号设置为k+1，重新执行步骤6-2，直至遍历所有校准点；

59、步骤6-6，将所有校准后的空间变换关系，用于三维超声图像重建，得到最终的三维超声图像。

60、进一步的，步骤6-2中所述的计算第k个校准点和下一个点处的二维超声图像的预测空间位置和具体方法如下：

61、

62、

63、进一步的，步骤6-3中所述的二维超声图像序列片段的实际平移尺度计算方法如下：

64、

65、有益效果：

66、本发明提出的一种使用深度学习网络的新型无追踪三维超声成像方法，通过改进学习策略，消除了训练数据对空间定位设备定义的空间坐标系的依赖，解决了无追踪网络数据收集的局限性，并通过规划数据收集轨迹，可以有效减少无追踪三维超声重建受累积误差的影响。