一种基于物理感知学习的散射成像目标重建方法与流程

1.本发明涉及一种基于物理感知学习的散射成像目标重建方法，属于散射成像技术领域。


背景技术：

2.透过散射介质对目标进行成像在许多领域依然是一个很具有挑战性的任务，从微观的生物组织成像到宏观的天文观测，散射介质都对人们获取目标信息造成极大的干扰。在现实场景中，目标不同景深位置的分布情况、散射介质的动态变化和系统的稳定性等因素都大大制约着目前散射场景下的成像应用。传统的光学成像已无法满足人们对散射场景下视域拓展的要求，因此基于新体制的计算成像方法被用于散射场景下的目标恢复问题。目前常用的方法有基于波前整形的方法、基于传输矩阵的方法、基于点扩散函数的方法、基于散斑相关的方法和基于数据驱动的深度学习方法。其中，基于波前整形、传输矩阵和点扩散函数的方法对系统的稳定性有较高的要求；基于散斑相关的方法可以适应动态变化的散射场景，但是受限于光学记忆效应的成像视场范围；基于数据驱动的深度学习方法，具有强大的数据挖掘和逆问题优化求解能力，在散射成像领域已取得令人印象深刻的结果。但是纯数据驱动的深度学习方法泛化能力较差，适用的散射场景单一，抗干扰能力有限。
3.因此在目标分布景深不定、散射介质状态不定和系统稳定性欠缺的情况下，基于物理模型的散射计算成像方法受限于散射场景和目标恢复能力，对散斑数据的进一步挖掘和处理能力有限。深度学习方法可以对获取到的散斑信息进行充分地挖掘，单纯依赖所获取的数据也会导致深度神经网络对学习过的数据大大优于未知场景下获取的数据。如何将物理计算模型和数据驱动模型有效结合起来将有助于解决两者存在的问题。基于物理驱动地深度学习方法已经表明比单纯数据驱动有着更好的泛化能力和目标大景深定位能力。但是同时对未知散射场景下未知位置生物目标进行高效成像依然有待于进一步挖掘。yunzhe li等人针对泛化问题，首先提出了基于纯数据驱动的散射成像和未知位置成像方法，对不同的问题过度依赖于特定的神经网络设计方法，并且需要大量的训练数据来提高网络的泛化能力。
4.基于此，本发明针对未知散射场景且目标位于未知景深位置的复杂情况下，提出了一种基于物理感知学习的散射成像目标重建方法，可以实现在未知散射场景下，对未知景深位置上的目标进行准确的恢复，同时该方法对散射成像系统的扰动也具有更好的抗干扰能力。


技术实现要素：

5.发明目的：针对现有技术所存在的问题，本发明提供一种基于物理感知学习的散射成像目标重建方法，仅通过透过一块散射介质且固定目标位置和相机位置的散斑数据进行模型的训练，便可实现对未知散射场景下未知目标位置和相机位置的复杂目标进行高保真准确重建，同时具有良好的鲁棒性。
6.技术方案：为实现上述目的，本发明提供一种基于物理感知学习的散射成像目标重建方法，包括：基于散斑相关的物理先验信息，利用已知目标透过相同散射介质在固定目标和相机位置下的散斑数据进行数据增广和模型训练，而后通过训练好的学习网络对未知散射场景下未知目标位置和相机位置的散斑数据进行目标重建；所述学习网络的构建过程具体包括：步骤1、数据增广过程：对透过相同散射介质在固定目标和相机位置下的散斑数据按位置比例进行缩放，得到不同目标和相机位置下的散斑数据；步骤2、数据预处理：从缩放后的散斑数据中截取相同大小的散斑进行自相关运算，得到不同目标和相机位置下的散斑自相关图像；步骤3、模型训练：将得到的散斑自相关图像与对应的目标信息，输入到学习网络中进行模型训练，确定网络结构及相关参数。
7.进一步的，所述步骤1中散斑数据的缩放比例关系为：其中，为散斑数据的缩放比例，、分别为原始的目标和相机位置，、分别为增广的目标和相机位置。
8.进一步的，所述步骤2中通过二维傅里叶反变换求出散斑图像自相关，具体公式为：，其中，r(x,y)为散斑图像自相关，i(x,y)为散斑图像光强信息，ft为二维傅里叶变换，ft-1
为二维傅里叶反变换，表示自相关运算符。
9.进一步的，所述学习网络包括4个下采样卷积层和4个上采样卷积层，且对应的下采样卷积层和上采样卷积层之间进行跳层连接，以提升图像质量，每个卷积层包括3*3二维卷积层、bn层和relu激活层。
10.进一步的，所述步骤3中选择adma作为优化器进行学习网络的训练，并使用npcc和mse作为代价函数对学习网络进行约束和优化。
11.进一步的，所述目标重建过程具体包括：从未知散射场景下未知目标位置和相机位置的散斑数据中截取设定大小的散斑进行自相关运算，并将得到的散斑图像自相关输入到训练好的学习网络中进行目标恢复。
12.有益效果：本发明所提供的一种基于物理感知学习的散射成像目标重建方法，相对于现有技术，具有以下优点：基于物理先验指导的学习模型，可以基于散斑相关原理有效地提取不同散射场景中的统计不变量，提高模型在不同散射场景下的泛化能力；基于不同景深下轴向放大率的位置泛化成像，根据物理模型对数据进行的预处理也可以使模型更加适用于未知位置的泛化成像，提高模型对景深位置变化的敏感程度；最后利用神经网络对数据的深度挖掘和拟合能力，实现对未知散射场景下未知景深位置的高保真泛化成像。
附图说明
13.图1a为本发明实施例中散射成像实验系统的结构示意图，图中包括：
①
激光器 旋转介质，
②
准直透镜 光阑1，
③
tir透镜 数字微镜阵列，
④
散射介质 光阑2，
⑤
相机 导轨1，
⑥
导轨2；图1b为本发明实施例中散射成像实验系统的成像原理图；图1c为本发明实施例在不同目标位置获取的散斑图、散斑自相关图和重建结果图，其中目标和散射介质的距离从左往右依次为350、450、550、650mm，从上往下依次为对应目标位置的散斑图、散斑自相关图和重建结果图；图1d为图1c中散斑自相关图像沿白色虚线的亮度归一化数值分布图；图2为本发明实施例中学习网络的训练过程和测试过程图；图3为本发明实施例中测试集中部分目标的重建结果图，其中上面两行是训练时见过的目标（即已知目标）在不同目标和相机位置下的重建结果，下面两行是训练时未见过的目标（即未知目标）在不同目标和相机位置下的重建结果。
具体实施方式
14.下面将结合附图对本发明的具体实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。
15.a. 物理基础在待解决的物理场景下对问题建立数学物理模型，可以帮助神经网络更好的理解数据并提高优化求解效率，因此针对未知散射场景下未知景深位置的目标分布特性，基于散斑相关原理对该场景进行初步的物理分析。
16.当散射介质的入射光转动一个小的角度时，出射光也随着转动相同的角度，在me范围内，光通过高度无序的散射介质时的出射光场仍然保留了入射光束所携带的信息。因此，在me范围内的散射系统看作一个具有空间平移不变性的光学成像系统，此时获取的散斑可以表示为，其中i为获取的散斑图像，o为目标图像，s为系统的psf（点扩散函数），*为卷积运算符。利用相机采集到的散斑图案自相关，并利用卷积定理可以得到公式：， (1)其中表示自相关运算符。由式 (1)可知，散斑的自相关可以描述为目标自相关与光学散射系统psf自相关之间的卷积，并由于psf的自相关可以近似为函数，因此公式(1)可以进一步简化为：， (2)其中c为计算散斑自相关时产生的背景项，因此散斑自相关与目标自相关一致。在宽谱不同的散射介质和散射环境下，相同目标的自相关形状不会发生改变。在此基础上，可以通过基于散斑相关的物理模型实现散射域连通。
17.如图1a所示，未知大景深位置散射成像实验系统主要包括：一个激光器(640 nm)和旋转毛玻璃作为非相干光源，经扩束准直透镜照亮在dmd（数字微镜阵列）表面的目标图像，两个光阑的尺寸分别是10mm和8mm，最后利用一个工业相机(balser, aca1920-155um)
对散斑进行记录。
18.在传统几何光学成像中，系统的横向放大倍率由像的大小和物体的大小比值进行定义，同时等效于像距和物距之前的比值。当传统光学系统中的透镜替换为散射介质时，改变物体的景深位置或成像距离，不会像传统系统中离焦而影响图像的质量，但是系统的放大倍率也会随着改变。如图1b所示，改变散射介质与目标和相机的距离，目标的放大倍率关系可以表示为：，(3)这里m1和m2分别是系统的放大倍率，h1和h2分别是不同的物距，u1和u2分别对应不同的像距。因此，探测器靶面获取散斑重建的目标信息与目标与散射介质的距离h和介质与探测器的距离u成比例关系，对应不同比例的目标恢复结果。如图1c所示，当相机与散射介质的距离固定，只改变目标与散射介质之间的距离，获取到的散斑各不相同。不同散斑对应的自相关具有相似的主体结构并存在与距离相关的比例关系，基于传统散斑相关方法对目标进行重建，得到了不同大小的目标重建结果。图1d为散斑自相关图像沿白色虚线归一化后的强度值，通过对比可以更明显的看出不同景深距离对应的自相关结构成比例大小关系。
19.b. 学习网络如图2所示，基于物理驱动的大景深介质泛化学习网络，包括数据增广和预处理、模型训练和测试过程。
20.(a) 数据增广过程：根据目标和相机位置比例对训练集中的散斑数据进行同比例缩放，得到不同目标和相机位置下的散斑数据；(b) 数据预处理：从缩放后的散斑数据中截取设定大小的散斑作自相关运算，具体包括傅里叶变换、取模、平方以及傅里叶反变换等运算。在计算散斑相关过程中，散斑自相关计算由能谱的二维傅里叶反变换求出： ，(4)其中，r(x,y)为散斑图像自相关，i(x,y)为散斑图像光强信息，ft为二维傅里叶变换，ft-1为二维傅里叶反变换，表示自相关运算符。
21.(c) 数据集构建：从获取的散斑自相关图像中截取设定大小的区域作为网络的输入；(d) 模型训练：将得到的散斑自相关图像与对应的目标信息，输入到学习网络中进行模型训练，这里的学习网络包括4个下采样卷积层和4个上采样卷积层，且对应的下采样卷积层和上采样卷积层之间进行跳层连接，以提升图像质量，每个卷积层包括3*3二维卷积层、bn层和relu激活层。
22.对应地，(e)、(b) 、(f)、(g)为相应的测试过程（目标重建），即从测试集的散斑数据中截取设定大小的散斑作自相关运算，并从散斑自相关中截取设定大小的区域作为网络的输入，最后通过根据训练集得到具有映射关系的模型对输入的散斑自相关进行目标重建。由此利用散斑相关在大景深范围下的比例关系进行数据增广，仅通过利用透过一块散射介质下固定目标位置和相机位置的散斑数据进行模型的训练，便可实现对未知散射场景
下未知目标位置和相机位置下的复杂目标进行高保真准确重建。通过在学习方法中嵌入有效的散射物理模型，可以有效挖掘大景深未知位置散斑中的普适性的规律先验和有效信息，即使使用传统的u-net卷积神经网络也可以对宽谱复杂目标在未知散射场景中进行高质量重建。
23.网络的训练选择adma作为优化器，并使用npcc和mse作为代价函数对数据模型进行约束和优化。该物理感知深度学习方法的工作环境为：在ubuntu 16.04系统下的pytorch 1.4.0，1张titan rtx图形处理单元和i9-9940x中央处理器。
24.c. 实验和结果目标数据集类型主要使用minist和fashion-minist两种不同复杂程度的数据集，分别通过三种散射介质进行数据采集。其中字符数据为从minist中随机选择的两个单字符组合成的一个双字符数据，共1100张，前1000张作为训练时见过的目标，后100张作为训练时未见过的目标。minist-fashion目标具有更高的复杂度，同样选择1000张作为训练时见过的目标，100张作为训练时未见过的目标。每帧散斑截取中心512区域作自相关运算，然后截取自相关的中心128区域作为网络的输入。
25.实验中采用3块不同的磨砂毛玻璃作为散射介质，一块磨砂度220的毛玻璃(索雷博)作为训练介质d1，一块磨砂度120 的毛玻璃(索雷博）和一块磨砂度220的毛玻璃(埃德蒙特)作为未知介质d2和d3，分别具有不同统计特性和不同制造商。
26.其中训练集和测试集的位置设定如表1所示，训练时只采用透过第一块散射介质（d1）的固定位置，测试时分别对目标位置和相机位置做了移动。只是用一处既定位置便可以对未知散射介质（d2, d3）在未知目标位置和位置相机位置情况下进行高保真准确目标重建。
27.表 1. 训练集及测试集的位置分布利用训练后的学习网络对测试集中的散斑数据进行目标重建，部分通过未知散射介质的未知目标和相机位置的目标重建结果如图3所示。可以看出，即使只是用一块散射介质的固定目标和相机位置的散斑数据，便可以对未知散射环境下未知目标位置和相机位置的单散斑进行鲁棒的重建。除了训练过程中见过的目标外，未见过的同类目标也可以相对准确地恢复。同时，随着目标景深位置的拓展，成像大小也等比例减小。从图3中510和600目标位置的重建对比结果可以看出，本方法对大景深未知位置的目标重建像大小也有着很好的感知。
28.上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保
护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。