一种病理切片扫描仪的导航校准方法、装置和电子设备与流程

本发明涉及扫描仪领域，特别是指一种病理切片扫描仪的导航校准方法、装置和电子设备。

背景技术：

1、病理诊断贯穿在临床疾病的早期筛查、确诊、治疗以及预后评估过程中，是确定疾病的“金标准”，尤其在肿瘤诊断中，病理诊断结果至关重要。传统病理诊断是由医生借助显微镜观察病理切片上的细胞或组织，凭借已有的经验，进行诊断决策。这种诊断模式不仅对医生阅片经验要求高、信息本身的传承和解读很困难，而且费时费力。本世纪初，信息技术渗透到常规病理检查实践之中，产生了最初的远程显微镜以及虚拟切片(virtual slide,vs)技术，为病理图像交流提供了便利。经过多年发展，切片数字化(slidedigitalization)得以实现，数字病理(digital pathology)时代就此开启。数字化切片不仅运用于远程病理(telepathology)诊断，也开始逐步改变病理诊断的工作模式。

2、数字病理的第一步，便是通过病理切片扫描仪扫描实体玻璃切片，以采集切片各区域的数字图像，再应用算法将这些图像进行处理和无缝拼接，以获得对应的全切片图像(whole slide image,wsi)，也称为数字切片(digital slide,ds)。目前，国内外已有不少的切片扫描仪生产厂家，包括：德国蔡司(zeiss)公司、德国徕卡(leica)公司、匈牙利3dhistech公司、荷兰飞利浦(philips)公司、日本滨松(hamamatsu)公司以及中国的麦克奥迪、江丰、生强等等。

3、现代扫描仪都是以一种“所见即所得”的方式来对切片进行浏览和扫描。所谓“所见”是指扫描仪通过某种方式获取待扫描切片的宏观图像(也称预览图)，然后用户在此图上进行视野点选或区域圈选；“所得”即是指在用户点选或圈选后扫描仪载物台移动到相应位置进行浏览或进行区域扫描，使得镜下呈现出用户点选的视野图像或扫描出来的区域即为用户圈选的区域。而要实现上述“所见即所得”操作的关键即是“导航校准”，它是扫描仪系统的重要模块，旨在指导扫描仪如何取得切片的宏观图像，并建立载物台与切片宏观图之间的变换关系：

4、

5、其中，(xm,ym)和(xs,ys)分别表示宏观图上的位置点(不妨称之为像方点或像方位置，下同)和载物台上的位置点(即，使像方点所对应的内容呈现于镜下时的载物台xy轴坐标，不妨称之为物方点或物方位置，下同),式(1)为从宏观图到载物台(像方到物方)的变换，式(2)为载物台到宏观图(物方到像方)的变换，它们都为仿射变换。

6、传统的导航校准是以扫描的方式来实现的，其基本步骤为：

7、1)把一张全组织切片移动至载物台的某个位置拍摄宏观图像，如图1(c)；

8、2)把该全组织切片置于镜下，采用低倍物镜(比如2x或4x)进行全范围扫描，得到一张数字切片，如图1(a)；

9、3)把数字切片进行缩小，获得更低分辨率的数字切片，如图1(b)；

10、4)在低分辨率的数字切片和宏观图之间进行图像匹配，找到同名点对后拟合出变换(1)和(2)。

11、上述基于扫描的导航校准方法，因为要进行全范围扫描，导致速度慢；其次，如果用于校准的切片对比度不高，有可能导致上述第4)步匹配失败，从而导致整个导航校准失败，即导航校准不够稳定。另外，在非明场扫描仪中，传统的基于扫描的导航方法更容易因为扫描所得低倍全景图缺少特征点而导致匹配失败，从而导致整个导航校准失败。

技术实现思路

1、本发明的主要目的在于克服现有技术中的上述缺陷，提出一种病理切片扫描仪的导航校准方法、装置和电子设备，无需进行全范围扫描，快速稳定。

2、本发明采用如下技术方案：

3、一种病理切片扫描仪的导航校准方法，基于具有宏观相机的显微成像系统实现，预先设置校准片，所述校准片上至少设置间隔分布的第一图形区域和第二图形区域，具体校准方法包括如下：

4、移动载物台并用宏观相机拍摄若干宏观图像，通过识别若干所述宏观图像上的第一图形区域坐标和所述第二图形区域坐标来确定所述校准片的拍摄位置；

5、根据确定所述拍摄位置的所述第一图形区域的坐标和所述第二图形区域的坐标来计算宏观图像的像素空间分辨率；

6、根据所述宏观图像的像素空间分辨率和识别的所述第一图形区域的坐标计算出所述校准片处于拍摄位置时，在拍摄的宏观图像上的矩形区域坐标以剪裁得到所述校准片的宏观图；

7、将所述宏观图上的某个位置点的像方位置以及所述校准片上对应位置点的物方位置带入仿射变换关系式，从而确定所述载物台和所述宏观图之间的映射关系实现导航校准。

8、移动载物台并用所述宏观相机拍摄若干宏观图像，通过若干所述宏观图像确定所述校准片的拍摄位置；具体包括如下：

9、所述载物台的宏观图成像区未放置所述校准片，沿y轴方向移动所述载物台并拍摄若干第一宏观图像，通过判断所述第一宏观图像是否出现完整的所述宏观成像区来确定所述校准片的拍摄位置的y轴方向的坐标ys，并得到所述宏观成像区所在的矩形坐标rn；

10、在所述载物台的宏观成像区放置所述校准片，沿x轴方向移动所述载物台并拍摄若干第二宏观图像，判断所述第二宏观图像中是否出现所述第一图形区域，以及根据识别的所述第一图形区域与所述宏观成像区所在的矩形坐标rn的位置关系来确定所述校准片的拍摄位置的x轴方向的坐标xs。

11、在所述载物台的宏观图成像区未放置校准片时，从某个y轴的初始位置开始，沿y轴方向以设定的固定步长移动所述载物台，每移动一个位置即以所述宏观相机拍摄所述第一宏观图像，直至拍摄的所述第一宏观图像中出现完整的所述宏观成像区，将此时的所述宏观成像区的y轴位置作为所述校准片的拍摄位置的y轴方向的坐标ys；识别得到所述宏观成像区的所在的矩形坐标rn＝{(xn,yn)；w,h}，其中(xn,yn)为矩形的中心位置，w和h分别表示矩形的宽和高，以像素为单位。

12、在所述载物台的宏观成像区放置所述校准片，从某个x轴的初始位置开始，沿x轴方向以设定的固定步长移动所述载物台，每移动一个位置即以所述宏观相机拍摄所述第二宏观图像，直至拍摄的所述第二宏观图像中出现所述第一图形区域的中心区域，得到所述中心区域的中心坐标e(xe,ye)，并且判断所述中心坐标与所述宏观成像区的所在的所述矩形的中心在y轴方向的坐标差的绝对值是否不超过设定阈值，若不超过，则将此时的x轴位置作为所述校准片的拍摄位置的x轴方向的坐标xs。

13、所述校准片上还设置有与所述第一图形区域外形相同且间隔设置的第二图形区域，所述第二图形区域的物方位置和所述第一图形区域的物方位置在y轴的坐标相同，且二者之间的距离为l；还包括从确定所述坐标xs的所述第二宏观图像中识别出与所述第一图形区域外形相同且中心坐标在y轴上最接近的图形即为所述第二图形区域，得到的所述第二图形区域中心坐标为f(xf,yf)；根据所述第一图形区域的中心坐标和所述第二图形区域的中心坐标以及距离l计算宏观图像的像素空间分辨率sn：

14、

15、预先设置所述校准片中的第一图形区域的中心与所述校准片的四条边的距离信息；根据所述像素空间分辨率sn、识别的所述第一图形区域的中心坐标以及所述距离信息计算所述校准片处于所述拍摄位置时，在拍摄的宏观图像中的矩形区域坐标rc＝[xs,xe,ys,ye]：

16、xs＝xe-(ws-de)/sn

17、xe＝xe+(ws-de)/sn

18、ys＝ye-hs/(2sn)

19、ye＝ye+hs/(2sn)

20、其中xs、xe分别表示所述矩形区域在拍摄的宏观图像中的起始和终止横坐标，ys、ye分别表示该矩形在所拍摄宏观图像中的起始和终止纵坐标，ws和hs分别是所述校准片的宽度和高度，de为第一图形区域的中心坐标与所述校准片的某一边的距离。

21、预先分别在所述第一图形区域和所述第二图形区域的中心设置有形状相同且尺寸不同的第一中心图和第二中心图；将所述第二中心图的中心点作为成所述宏观图上的某个位置点的像方位置，将所述校准片上的第二图形区域的第二中心图的中心点作为成所述校准片上对应位置点的物方位置，所述物方位置确定方法如下：

22、移动所述载物台使得所述校准片位于所述显微成像系统的物镜光轴下；

23、沿y轴方向以预设的步长移动所述载物台，每移动到一个位置，以扫描相机进行拍摄，并对拍摄的扫描图像进行识别，直到识别到所述第二中心图且其尺寸满足设定要求，将此时的x轴和y轴位置作为所述校准片上的所述第二图形区域的中心点的物方位置并进行优化得到最终的所述物方位置。

24、对所述第二图形区域的所述物方位置进行优化，具体包括：

25、根据当前所述扫描相机的视野图像的空间分辨率sm和确定的所述第二图形区域的物方位置的所述扫描图像上识别的所述第二中心图的中心坐标(x0，y0)对所述物方位置进行优化得到优化后的所述第二图形区域的物方位置(xf＇，yf＇)：

26、

27、其中，(xf1，yf1)为优化前的所述第二图形区域的物方位置，w和h分别为所述宏观图的宽度和高度。

28、将所述第二图形区域的物方位置与所述宏观图中的所述第二图形区域对应的像方位置带入仿射变换关系式中求得平移向量和比例向量，并得到最终的所述载物台和所述宏观图之间的映射关系。

29、将优化后的所述第二图形区域的物方位置(xf＇，yf＇)与所述宏观图中的所述第二图形区域的所述第二中心图的中心坐标(xf，yf)带入仿射变换关系式中求得平移向量(r1，r2)t和比例向量(t1，t2)t：

30、r1＝xf＇-sn×xf

31、r2＝yf＇-sn×yf

32、t1＝xf-xf＇/sn

33、t2＝yf-yf＇/sn

34、其中，sn为宏观图像的所述像素空间分辨率。

35、最终的所述载物台和所述宏观图之间的映射关系如下：

36、

37、其中，(xm,ym)和(xs,ys)分别表示宏观图上的位置点和所述载物台上的位置点，(r1，r2)t为平移向量，(t1，t2)t为比例向量。

38、一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现所述的病理切片扫描仪的导航校准方法。

39、一种病理切片扫描仪的导航校准装置，包括：

40、校准片，至少设置有间隔分布的第一图形区域和第二图形区域；

41、拍摄位置确定模块，通过识别经所述宏观相机拍摄的若干所述宏观图像上的第一图形区域坐标和所述第二图形区域坐标来确定所述校准片的拍摄位置；

42、分辨率计算模块，根据确定的所述拍摄位置的所述第一图形区域的坐标和所述第二图形区域的坐标来计算宏观图像的像素空间分辨率；

43、宏观图剪裁模块，根据所述宏观图像的像素空间分辨率sn和识别的所述第一图形区域的坐标计算出所述校准片处于拍摄位置时，在拍摄的宏观图像上的矩形区域坐标以剪裁得到所述校准片的宏观图；

44、映射关系确定模块，将所述宏观图上的某个位置点的像方位置以及所述校准片上对应位置点的物方位置带入仿射变换关系式，从而确定所述载物台和所述宏观图之间的映射关系。

45、由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

46、1、本发明中，利用具有宏观相机的显微成像和校准片，通过寻找载物台上最佳的校准片的拍摄位置，以及在拍摄的宏观图像中裁剪出与实际校准片相对应的宏观图，再建立宏观图的与载物台之间的映射，从而实现快速稳定的导航校准。

47、2、本发明中采用的特殊的校准片，其上具有位置固定且易识别的特征区域，便于快速建立宏观图和载物台之间的映射，提高导航校准速度和精度。

48、3、本发明的方案除了应用于明场扫描仪外，还适用于任何其他成像模式下的扫描仪，比如荧光扫描、偏光扫描、暗场扫描仪等等。