一种基于双向投影的序列图像快速增强方法与流程

1.本发明属于图像处理领域，具体涉及一种基于双向投影的序列图像快速增强方法。


背景技术：

2.在图像处理领域中，常常需要对图像中的弱小目标进行增强，比如天空中的恒星。在这些情况下，由于目标非常微弱，加之噪声剧烈，目标可能完全淹没在背景和噪声之中。因此，当目标信噪比较低时，很难将目标从背景和噪声中获取出来，必须对此类弱小目标进行增强。
3.目前，公开发表的文献中有很多弱小目标的增强方法。按照处理帧数的不同，弱小目标增强算法可以分别单帧增强算法和多帧增强算法。单帧增强算法主要是利用背景处于低频部分而目标处于高频部分这一特性，来抑制平缓变化的背景进而增强目标。常见的算法有中值滤波法、形态学法、高通滤波法、小波变换法等。总体来讲，单帧增强算法原理简单、易于工程实现，在目标信噪比较高时增强效果良好，但在低信噪比条件下的增强效果较差。而多帧序列图像中可利用的目标的运动特征和图像的灰度信息比单帧图像的多得多，因此多帧增强算法是一种主流的弱小目标增强方法，其原理是通过分析目标的运动特性，对序列图像进行多帧处理，并沿着目标运动方向实现目标信号的能量累加，从而抑制噪声和提高信噪比。常见的算法有管道滤波法、动态规划、多级假设检验法、三维匹配滤波方法、粒子滤波方法、高阶相关方法、高阶累积量方法、光流法等等。多帧增强算法相对来讲比较复杂，需要的计算量和存储量都较大，故实际工程中算法的速度(即实时性)较差。
4.当前各种多帧增强算法原理上基本都是相同的，即通过序列图像多帧累加来提高目标的信噪比，在白噪声条件下等同于最大似然估计。而不同点主要体现在图像预处理、目标对准或者序列图像累加的方式上。为了对图像中运动的目标进行增强，通常都要先对目标进行对准。各种算法的对准方法不尽相同，但是都需要按照一定规则对序列图像进行空间变换后再进行累加。如果将需要累加的序列图像以当前帧图像为参照坐标系进行累加，就需要将所有的序列图像实施空间变换，并且每次新图像到来后都要对所有历史图像重新进行空间变换，从而大幅度增加了计算量。因此，累加帧数往往与计算速度负相关，在累加帧数较大时难以实时处理，这是当前算法的主要问题。因此，本发明考虑能否实现累加帧数与计算速度脱钩，即实现一种计算量与累加帧数无关的方法，以满足实时应用的需求。


技术实现要素：

5.本发明要解决的技术问题为：针对现有序列图像多帧增强算法计算速度与累加帧数负相关、实时性较差的问题，提供一种基于双向投影的序列图像快速增强方法，实现累加帧数与计算速度脱钩，以提高序列图像增强算法的实时性。
6.本发明的

技术实现要素：
本发明一种基于双向投影的序列图像快速增强方法，首先建立一个标准坐标系，然后将序列图像全部投影到标准坐标系来实施增强处理，再从标准坐
标系逆向投影到当前帧图像坐标系来获取增强图像或目标信息，从而实现序列图像的快速增强。
7.进一步地，所述将序列图像全部投影到标准坐标系来实施增强处理的实现步骤为：把序列图像中各帧图像之间的空间变换关系换算成各帧图像投影到标准坐标系的空间变换关系；根据各帧图像投影到标准坐标系的空间变换关系，计算各帧图像像素与标准图像像素之间的对应关系；根据当前帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素加上当前帧图像对应的像素；如果有累加帧数限制，则根据累加帧数确定有待从标准图像中减去的历史帧图像简称为“待减帧图像”序号；根据待减帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素减去待减帧图像对应的像素。
8.进一步地，所述从标准坐标系逆向投影到当前帧图像坐标系来获取增强图像或目标信息的实现方法为：如果需要获取整个图像的增强结果，则根据逆向投影的空间变换关系，将累加后的标准图像进行一次逆向投影空间变换，来得到与当前帧对应的增强图像；如果需要获取目标坐标，则可只对标准图像中的目标坐标进行单点空间变换，来得到在当前帧图像坐标系下的目标坐标；如果只需要目标尺寸、亮度与位置无关的信息，则无需进行空间变换，直接用标准图像中的目标尺寸、亮度信息作为结果。
9.一种基于双向投影的序列图像快速增强方法，具体实现步骤如下：
10.步骤(1)、建立一个标准坐标系，并在该标准坐标系下生成一幅初始为空白的标准图像；
11.步骤(2)、把序列图像中各帧图像之间的空间变换关系换算成各帧图像投影到标准坐标系的空间变换关系；
12.步骤(3)、根据各帧图像投影到标准坐标系的空间变换关系，计算各帧图像像素与标准图像像素之间的对应关系；
13.步骤(4)、根据当前帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素加上当前帧图像对应的像素；
14.步骤(5)、如果有累加帧数限制，则根据累加帧数确定有待从标准图像中减去的历史帧图像简称为“待减帧图像”序号；
15.步骤(6)、根据待减帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素减去待减帧图像对应的像素；
16.步骤(7)、计算标准坐标系逆向投影到当前帧图像坐标系的空间变换关系；
17.步骤(8)、根据上述逆向投影的空间变换关系，从标准图像中获取与当前帧对应的增强图像或目标信息；
18.步骤(9)、对于新到的图像，重复以上步骤(2)～步骤(8)，实现对序列图像的实时增强。
19.本发明与现有技术相比的有益效果在于：本发明只需对每帧图像进行最多一次空间变换即可完成任意帧数的对准累加，使计算量与累加帧数无直接关联，进而提高序列图像增强算法的计算速度和实时性。
附图说明
20.图1是本实施例的4帧序列图像示例；
21.图2是本实施例中序列图像在实际空间坐标系中的位置；
22.图3是本实施例中以第1帧图像为参照建立的标准坐标系；
23.图4是本实施例中生成的标准图像；
24.图5是本实施例中将标准图像加上当前帧图像的结果；
25.图6是本实施例中将标准图像减去待减帧图像的结果；
26.图7是本实施例中逆向投影得到的增强图像结果。
具体实施方式
27.以下是本发明的具体实施办法。但以下的实施例仅限于解释本发明，本发明的保护范围应包括权利要求的全部内容，而且通过以下实施例对该领域的技术人员即可以实现本发明权利要求的全部内容。
28.本实施例以一组共4帧的序列图像为例，如图1所示，假设该序列图像是望远镜跟踪某运动目标的图像，第4帧是新到的当前帧图像。此序列图像在实际空间坐标系中的位置如图2所示。本发明的具体实施步骤如下。
29.(1)建立一个标准坐标系，并在该坐标系下生成一幅初始为空白的标准图像。
30.由于第1帧图像是最先到来的图像，所以可以以第1帧图像为参照建立标准坐标系，其它图像则都向第1帧图像坐标系进行投影。但在某些应用场合下，也可以用某种具有具体物理意义的坐标系为标准坐标系，比如标定好的靶标图像。为了便于说明，本实施例选择以第1帧图像为参照建立标准坐标系，如图3所示。
31.建立标准坐标系之后，则生成一幅初始为空白的标准图像。标准图像的尺寸需要略大于序列图像各帧的尺寸，并且原点位于标准图像的内部，以便处理空间变换后超出边界的部分，如图4所示。
32.(2)把序列图像中各帧图像之间的空间变换关系换算成各帧图像投影到标准坐标系的空间变换关系。
33.为了对目标进行增强，需要对各帧图像中的目标对准。各种增强算法中已知的往往是相邻两帧之间的对准关系。也就是说，对当前帧图像而言，已知可将上一帧图像进行一次空间变换，投影到当前帧图像坐标系，来能使目标与当前帧图像中的目标对准。该步骤则将相邻两帧之间的空间变换关系，换算成各帧图像投影到标准坐标系(即第1帧图像坐标系)的空间变换关系，计算公式为：
34.t
n,1
＝(t
1,2
×
t
2,3
×…×
t
n-1,n
)-1
,n＝2,3,4
ꢀꢀꢀ
(1)
35.式中，n表示序列图像帧号，t
n,1
表示第n帧图像投影到第1帧图像的空间变换关系，t
1,2
表示第1帧图像投影到第2帧图像的空间变换关系，t
2,3
表示第2帧图像投影到第3帧图像的空间变换关系，t
n-1,n
表示第n-1帧图像投影到第n帧图像之间的空间变换关系。
36.本实施例共有4帧图像，因此应根据上述公式计算出t
4,1
、t
3,1
和t
2,1
。在实时处理的过程中无需每次都重新计算，只需计算新到图像投影到标准坐标系的空间变换关系。
37.(3)根据各帧图像投影到标准坐标系的空间变换关系，计算各帧图像像素与标准图像像素之间的对应关系。
38.设各帧图像像素的坐标为(in,jn),n＝2,3,4，投影到标准图像像素的坐标为(xn,yn),n＝2,3,4，各帧图像投影到标准坐标系的空间变换关系t
n,1
是仿射变换，则各帧图像像
素与标准图像像素之间的对应关系为：
39.[x
n y
n 1]＝[i
n j
n 1]
×
t
n,1
,n＝2,3,4
ꢀꢀꢀ
(2)
[0040]
同样，在实时处理的过程中无需每次都重新计算，只需计算新到图像像素与标准图像像素之间的对应关系即可。
[0041]
(4)根据当前帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素加上当前帧图像对应的像素。
[0042]
本实施例的当前帧是第4帧，因此该步骤是将标准图像中坐标为(x4,y4)的像素加上当前帧图像中坐标为(i4,j4)的像素。如果像素坐标不是整数，则可以取最邻近的像素，或者采用双线性插值法进行插值。值得说明的是，在每次新到图像的时候，都要加上新到图像的像素，故在第4帧之前第1～3帧图像都已经加过，因此该步骤的实施结果如图5所示。
[0043]
(5)如果有累加帧数限制，则根据累加帧数确定有待从标准图像中减去的历史帧图像简称为“待减帧图像”序号。
[0044]
如果有累加帧数限制，在标准图像加上当前帧图像之后，就要减去某个历史帧图像，以确保实际累加的帧数不大于设定的累加帧数。本实施例设定累加帧数为3帧，当前帧是第4帧，则在加上第4帧图像后，待减帧图像序号可以计算出为4-3＝1，即需要减掉第1帧历史图像。
[0045]
(6)根据待减帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素减去待减帧图像对应的像素。
[0046]
本实施例的第1帧图像为待减帧图像，该步骤则根据第1帧图像像素与标准图像像素之间的对应关系，将标准图像的相应像素减去第1帧图像对应的像素。该步骤的实施结果如图6所示。
[0047]
(7)计算标准坐标系逆向投影到当前帧图像的空间变换关系。
[0048]
标准坐标系逆向投影到各帧图像的空间变换关系t
1,n
计算公式为：
[0049]
t
1,n
＝t
n,1-1
,n＝2,3,4
ꢀꢀꢀ
(3)
[0050]
本实施例当前帧是第4帧，因此根据以上公式得到t
1,4
。
[0051]
(8)根据上述逆向投影的空间变换关系，从标准图像中获取与当前帧对应的增强图像或目标信息。
[0052]
在实际应用中，有的场合需要获取整个图像的增强结果，而有的场合只需要如目标坐标、目标尺寸、目标亮度等信息。如果需要获取整个图像的增强结果，则根据逆向投影的空间变换关系t
1,n
，将累加后的标准图像进行一次逆向投影空间变换，来得到与当前帧对应的增强图像；如果需要获取目标坐标，则可只对标准图像中的目标坐标进行单点空间变换，来得到在当前帧图像坐标系下的目标坐标；如果只需要目标尺寸、亮度等与位置无关的信息，则无需进行空间变换，直接用标准图像中的目标尺寸、亮度等信息作为结果。
[0053]
本实施例假定要获取整个图像的增强结果，故将累加后的标准图像进行一次逆向投影空间变换，并裁剪掉超出边界的部分，最终得到增强图像结果如图7所示。
[0054]
(9)对于新到的图像，重复以上(2)～(8)步，实现对序列图像的实时增强。
[0055]
如果新到第5帧图像，则以第5帧图像为当前帧图像，重复以上(2)～(8)步。其中1～4帧图像投影到标准坐标系的空间变换关系和1～4帧图像像素与标准图像像素之间的对应关系无需重复计算，而待减帧图像序号则更新为第2帧。以此类推，对后续图像迭代处理，
即能实现对序列图像的实时增强。
[0056]
本发明未详细阐述部分属于本领域技术人员的公知技术。