一种多通道医学影像融合同屏显示方法及平台与流程

本发明属于多屏幕显示，具体涉及一种多通道医学影像融合同屏显示方法及平台。

背景技术：

1、随着设备的显示卡性能的逐渐提高，越来越多的设备的显示输出端口都可以支持多个lcd显示设备和高清显示设备，这种多显示输出的显示终端适用于需要多个不同显示输出的场合，可以分别连接不同的显示屏，而在医院的场景中，这种设备的作用尤为明显，越来越多的医生通过多屏显示设备同时研判患者的不同部位的病理图像进行综合诊断，或者在不同的屏幕上显示ct、核磁共振、显微图像等，但是目前屏幕的大小有限，而过度缩小在同屏显示则会看不清病理图像的病灶位置，在实际的使用中，医生为了观察病灶和病灶周边受到影响的位置，经常的放大、拖动图像，或者在图上标注新的问题位置，在病理图像的一些位置从一个图像切换到屏幕的另一个位置时，后来放缩的位置和新增的位置如果正好移动到其他位置，会使得切换时出现显示卡顿、或者标注位置丢失、图像原接缝位置在新的屏幕中显示为准不匹配等现象，这种现象的原因是服务器的拼接处理器的多屏显示是把一路影像的视频信号分割为多个显示单元，将分割后的显示单元信号输出到多个显示终端，并完成用多个显示屏拼接组成一个完整的图像，尽管提高拼接处理器的性能能够提高多个显示屏之间的数据同步性，但是在不同分辨率和缩放比例的显示屏之间，在高分辨率和刷新率的多屏设置下，帧率会下降；并且在快速拖动图像到其他的显示屏幕时，可能会出现输入延迟，影响用户操作的流畅性，信号传输过程中可能出现不同步现象，导致图像在快速切换时出现闪烁或延迟、出现较大的尾影拖曳、图像丢帧的问题。

技术实现思路

1、本发明的目的在于提出一种多通道医学影像融合同屏显示方法及平台，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

2、为了实现上述目的，根据本发明的一方面，提供一种多通道医学影像融合同屏显示方法，所述一种多通道医学影像融合同屏显示方法包括如下各步骤：

3、s100，通过多个显示屏对影像文件进行多屏显示；

4、s200，用户对任意一个显示屏中显示的影像进行修改操作获取修改操作位置，根据修改操作位置对除了该显示屏之外的其余显示屏进行边界预分割得到左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域；

5、s300，当用户对包含修改操作位置的显示屏显示的影像进行拖动时，生成拖动方向上在左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域的对应方向上的拖动虚拟通道；

6、s400，沿着拖动方向对拖动虚拟通道进行响应缺失判断识别出响应缺失位置；

7、s500，当修改操作位置被拖动到响应缺失位置时显示修改操作位置的修正图像。

8、进一步地，在s100中，通过多个显示屏对影像文件进行多屏显示的方法为：将多个显示屏与服务器的多屏显示卡进行连接，多屏显示卡既可以让各个显示屏分别显示画面的一部分，一起组成一副画面，也可以让各个显示屏各自显示不同的画面；其中，各个显示屏为液晶显示屏或者触摸显示器，通过鼠标或者手势触摸对画面中的影像进行放缩、拖动、标注或者修改。

9、优选地，所述影像为病理图片、ct图像、mri核磁共振图像、x光影像中任意一种或多种的组合。

10、进一步地，在s200中，所述用户为医生、医院管理信息系统his的管理员或者护士。

11、进一步地，在s200中，修改操作为对影像中的任意图像区域进行标注、选择、添加文字和图形、旋转和翻转、变形中的任意一种或多种,以该位置为修改操作位置。

12、由于在多屏显示的平台上，将图像从一个屏幕拖动到另一个屏幕时，会发生如下问题：拼接屏幕的不同屏幕可能屏幕的大小不一样，从而遇到窗口边界不准确、图像部分丢失或错位的问题，并可能导致图像在不同屏幕上显示时出现不协调的帧率，造成视觉上的不同步，为此，本技术通过以下方法进行预分割，根据目标显示器的位置关系，通过划分保证了差异化大小的显示器位置关系的准确识别。

13、进一步地，在s200中，根据修改操作位置对除了该显示屏之外的其余显示屏进行边界预分割得到左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域的方法为：以修改操作位置所在的显示屏为当前显示屏；记除了当前显示屏之外的其余显示屏为联动显示屏；在当前显示屏水平方向(左右两侧)的相邻联动显示屏为水平联动显示屏；在当前显示屏垂直方向(上下两侧)的相邻联动显示屏为垂直联动显示屏；(注，垂直联动显示屏大小不一定一样，所以水平方向不一定是左右两个，例如当前显示屏为较水平方向的显示屏大的显示屏，水平联动显示屏可以有多个(比如左侧显示屏有3个与当前显示屏的边缘拼接)，垂直联动显示屏同理，也有可能当前显示屏为较小的显示屏)；

14、记在修改操作位置的边界上在水平方向上距离最大的两个点中在左侧的为左侧点、在右侧的为右侧点；分别过左侧点和右侧点作垂直方向的垂直线为左侧线和右侧线；记在修改操作位置的边界上在垂直方向上距离最大的两个点中在上侧的为上侧点、在下侧的为下侧点；分别过上侧点和下侧点作水平方向的水平线为上侧线和下侧线；则以左侧线、右侧线、上侧线和下侧线构成的矩形区域为预加载窗口；分别以预加载窗口中与左侧线和右侧线重合的边界为左边界和右边界、以预加载窗口中与上侧线和下侧线重合的边界为上边界和下边界；

15、如果左边界的长度ld小于或等于左侧水平联动显示屏与当前显示屏的相邻边界hbl的长度hbld，将hbl自上而下以长度[hbld/ld]划分为多个左临边界；以各个左临边界为右侧的边、以预加载窗口的大小在左侧水平联动显示屏的一侧分割出多个左联动加载区域；

16、如果右边界的长度rd小于或等于右侧水平联动显示屏与当前显示屏的相邻边界hbr的长度hbrd，将hbr自上而下以长度[hbrd/rd]划分为多个右临边界；以各个右临边界为左侧的边、以预加载窗口的大小在右侧水平联动显示屏的一侧分割出多个右联动加载区域；

17、如果上边界的长度ud小于或等于上侧垂直联动显示屏与当前显示屏的相邻边界vbu的长度vbud，将vbu从左到右以长度[vbud/ud]划分为多个上临边界；以各个上临边界为下侧的边、以预加载窗口的大小在上侧垂直联动显示屏的一侧分割出多个上联动加载区域；

18、如果下边界的长度dd小于或等于下侧垂直联动显示屏与当前显示屏的相邻边界vbd的长度vbdd，将vbd从左到右以长度[vbdd/dd]划分为多个下临边界；以各个下临边界为上侧的边、以预加载窗口的大小在下侧垂直联动显示屏的一侧分割出多个下联动加载区域；

19、其中，[]是取整函数。

20、由于拖动的图像到另外的屏幕中，拖动能够影响影响上修改操作位置的往往是一个通道内，为了后续的图像显示修正，以下步骤根据前文划分的不同联动加载区域从而预计出一个拖动虚拟通道，从而准确的规划出修改操作位置所能影响到的一个范围，准确的识别出输入延迟，影响用户操作的流畅性，出现较大的尾影拖曳和丢帧、闪烁现象的区域。

21、进一步地，在s300中，生成拖动方向上在左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域的对应方向上的拖动虚拟通道的方法包括：

22、记在修改操作位置的边界上在水平方向上距离最大的两个点中在左侧的为左侧点、在右侧的为右侧点；记在修改操作位置的边界上在垂直方向上距离最大的两个点中在上侧的为上侧点、在下侧的为下侧点；记修改操作位置的几何重心为ap；以从点ap开始在拖动方向上形成射线apl，记射线apl穿过的左联动加载区域、右联动加载区域、上联动加载区域或下联动加载区域中的任意一个区域为指向区域；

23、如果指向区域是上联动加载区域或下联动加载区域，以左侧点到指向区域的四个角的点的距离中最长的点构成第一线段；以右侧点到指向区域的四个角的点的距离中最长的点构成第二线段；记上侧点和下侧点之间的距离为滑动长度，记第一线段和第二线段之间构成的区间为拖动虚拟通道；

24、如果指向区域是左联动加载区域或右联动加载区域，以上侧点到指向区域的四个角的点的距离中最长的点构成第三线段；以下侧点到指向区域的四个角的点的距离中最长的点构成第二线段；记左侧点和右侧点之间的距离为滑动长度，记第一线段和第二线段之间构成的区间为拖动虚拟通道；

25、注：由于在拖动虚拟通道内，从ap点开始随着用户进行拖动按照时间顺序，实时的在拖动中心点位置显示操作位置的图像，直到修改操作位置的图像显示在指向区间内，所以这个拖动虚拟通道的路径是大概率会出现在拖动虚拟通道内，由于在拖动虚拟通道内各像素点对输入信号反应的速度不同的，即像素由暗转亮或由亮转暗所需要的时间是不同的(其原理是在液晶分子内施加电压，使液晶分子扭转与恢复)，尤其是拖动虚拟通道内的切换屏幕之间的边界时，两个屏幕之间的黑白响应时间是不一样的，所以为了准确的计算出需要预先补偿的位置，需要通过以下方法识别出响应缺失位置。

26、进一步地，在s400中，沿着拖动方向对拖动虚拟通道进行响应缺失判断识别出响应缺失位置的方法包括：

27、从ap点开始沿着拖动方向每隔滑动长度将拖动虚拟通道分割成多个补偿识别区间；

28、记补偿识别区间中所有像素的黑白响应时间中平均上升时间为补偿识别区间的均升时间；

29、记补偿识别区间中所有像素的黑白响应时间中平均下降时间为补偿识别区间的均降时间；

30、按照从ap点开始沿着拖动方向的前后顺序将补偿识别区间排列，从ap点开始沿着拖动方向对各个补偿识别区间进行响应缺失判断，具体为：当有补偿识别区间满足响应缺失条件时，标记该补偿识别区间的位置为响应缺失位置。

31、具体的，响应缺失条件为：如果当前补偿识别区间的均降时间大于前一个补偿识别区间的均降时间和后一个补偿识别区间的均降时间，并且当前补偿识别区间的均升时间大于前一个补偿识别区间的均升时间和后一个补偿识别区间的均升时间；(即在当前补偿识别区间内，均升时间和均降时间都相较于相邻补偿识别区间要慢，这时候输入延迟，影响用户操作的流畅性，出现较大的尾影拖曳)，当满足所述响应缺失条件，则标记当前补偿识别区间为响应缺失位置，并且，记为响应缺失位置的类型为延迟型。

32、优选的，响应缺失条件还包括：如果当前补偿识别区间的均降时间小于前一个补偿识别区间的均降时间和后一个补偿识别区间的均降时间，并且当前补偿识别区间的均升时间小于前一个补偿识别区间的均升时间和后一个补偿识别区间的均升时间；(即在当前补偿识别区间内，均升时间和均降时间都相较于相邻补偿识别区间要快，这时候容易出现丢帧、闪烁现象)，当满足所述响应缺失条件，则标记当前补偿识别区间为响应缺失位置，并且，记为响应缺失位置的类型为闪烁型。

33、进一步地，在s500中，当修改操作位置被拖动到响应缺失位置时显示修改操作位置的修正图像的方法包括：

34、以sobel算子或者分水岭算法进行分割修改操作位置的图像获得多个图像子区，记图像子区中所有像素的平均灰度值为图像子区的灰度均值；记各个图像子区的灰度均值中的与当前的图像子区的灰度均值的差值最小的图像子区为当前图像子区的配对子区；

35、当修改操作位置被拖动到响应缺失位置时，如果响应缺失位置的类型为延迟型，依次对各个修改操作位置的图像的各个图像子区进行亮度动态调节获得修正图像：如果当前图像子区的配对子区与当前图像子区相邻接(相邻接区域为了在降低亮度中提升区别对比，取亮度的高值之间的差值效果更好些，尤其是响应缺失位置在显示器之间交界的位置，由于各屏幕的分辨率和刷新率可能不一致，在跨屏时相邻区域的视觉差异会变大)，则记当前图像子区中像素的最大灰度和配对子区中像素的最大灰度的差值为调整灰度，否则，记当前图像子区的灰度均值和配对子区的灰度均值的差值为调整灰度；将当前图像子区中所有像素值均减去调整灰度从而更新所有像素的像素值，获得修正图像。

36、当修改操作位置被拖动到响应缺失位置时，如果响应缺失位置的类型为闪烁型，依次对各个修改操作位置的图像的各个图像子区进行亮度动态调节：如果当前图像子区的配对子区与当前图像子区相邻接(相邻接区域为了在提高亮度中提升区别对比，取亮度的低值之间的差值效果更好些，尤其是响应缺失位置在显示器之间交界的位置，由于各屏幕的分辨率和刷新率可能不一致，在跨屏时相邻区域的视觉差异会变大)，则记当前图像子区中像素的最小灰度和配对子区中像素的最小灰度的差值为调整灰度，否则，记当前图像子区的灰度均值和配对子区的灰度均值的差值为调整灰度；将当前图像子区中所有像素值均增加调整灰度从而更新所有像素的像素值，获得修正图像。

37、优选地，在s500中，当修改操作位置被拖动到响应缺失位置时，如果响应缺失位置的类型为闪烁型，则在响应缺失位置不显示图像。(能解决图像部分丢失或错位的问题)。

38、注：由于灰度值越大，图像的亮度越高，越小则亮度越低。如果响应缺失位置的类型为延迟型降低显示亮度；如果响应缺失位置的类型为闪烁型提高显示亮度，这样才能够分情况修正上述延迟和流畅性、较大的尾影拖曳的显示缺陷，以及出现丢帧、闪烁现象的显示缺陷，从而进一步的避免在拖动时屏幕的大小不一样、分辨率和刷新率不一样等原因导致的窗口边界不准确、图像部分丢失或错位的问题。

39、本发明还提供了一种多通道医学影像融合同屏显示平台，所述系统包括：多个显示屏、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

40、多屏显示单元，用于通过多个显示屏对影像文件进行多屏显示；

41、边界分割单元，用于用户对任意一个显示屏中显示的影像进行修改操作获取修改操作位置，根据修改操作位置对除了该显示屏之外的其余显示屏进行边界预分割得到左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域；

42、通道构建单元，用于当用户对包含修改操作位置的显示屏显示的影像进行拖动时，生成拖动方向上在左联动加载区域、右联动加载区域、上联动加载区域、下联动加载区域的对应方向上的拖动虚拟通道；

43、缺失识别单元，用于沿着拖动方向对拖动虚拟通道进行响应缺失判断识别出响应缺失位置；

44、缺失响应单元，用于在当修改操作位置被拖动到响应缺失位置时显示修改操作位置的修正图像。

45、本发明的有益效果为：本发明提供一种多通道医学影像融合同屏显示方法及平台，通过延迟型和闪烁型的两种不同的响应缺失位置识别，分情况修正上述延迟和流畅性、较大的尾影拖曳的显示缺陷，以及修正出现丢帧、闪烁现象的显示缺陷，从而进一步的避免在拖动时屏幕的大小不一样、分辨率和刷新率不一样等原因导致的窗口边界不准确、图像部分丢失或错位的问题。