图像重建现虎威，关联成像解攻略

北京航空航天大学孙鸣捷教授课题组受邀在《激光与光电子学进展》发表了题为“鬼成像和单像素成像技术中的重建算法”的综述文章。简要回顾了鬼成像和单像素成像技术的发展历史，重点介绍了常见和典型的图像重建算法，从光场二阶关联、信号采样、压缩感知、机器学习几个方面进行了原理解释和技术应用前景的讨论。

封面解读：

本封面形象示意出了单像素成像的基本原理：待成像场景经空间光调制器进行多次掩膜采样后，由单像素探测器顺序收集光信号，根据相应的重建算法实现二维或者高维成像，获取传统成像方式无法解译的光场信息。为喜迎虎年到来，封面中重建出猛虎下山的三维形象，以预祝祖国虎虎生威。

文章链接：孙鸣捷, 闫崧明, 王思源. 鬼成像和单像素成像技术中的重建算法[J]. 激光与光电子学进展, 2022, 59(2): 0200001

一、背景

鬼成像和单像素成像技术起源于不同的物理概念，因在系统构成、图像重建等环节有诸多相似之处而紧密结合并共同发展，如今作为一种典型的计算成像技术，得到光学、图像、信息获取等领域的广泛关注。不同于传统的面阵成像，鬼成像和单像素成像技术通过对场景进行编码采样，并对测量值进行相应的重建计算来获取场景图像，因此重建算法是最重要的环节之一。其特殊的成像方式有潜力解决很多传统成像技术无法解决的难题，如X射线、紫外光、红外光和太赫兹波的宽光谱成像、高时间分辨率成像以及自适应空间分辨率成像，将为光学成像领域注入新的活力。

二、基本原理

1、鬼成像的二阶关联解释

鬼成像的最初概念由Klyshko[1]在1988年提出，并由Pittman等[2]在1995年完成了实验验证。当时，鬼成像的特殊之处在于不依靠传统成像中的物像共轭关系，而是利用量子纠缠特性来对物体进行成像，所以早期鬼成像也被称为量子成像。

实验系统如图1所示，实验采用自发参量下转换生成纠缠光子对，两个光子被分离到不同的路径中：信号光子“signal”与物体发生相互作用，然后被单像素探测器采集；参考光子“idler”的空间强度分布被空间分辨探测器测量。无法单独利用两个探测器测量结果中的任何一个来获得图像，只能由两者进行符合计数来实现图像重建，Pittman等[2]将其解释为是纠缠光子对的相干叠加结果。

图1 基于纠缠光子对的鬼成像实验图

随后，研究者使用各种形式的经典光源替代纠缠光子源，进行了鬼成像的实验[3]。经典光源鬼成像实验的成功演示引起了相关领域对鬼成像物理本质的激烈讨论。最终，Shapiro完成了计算鬼成像实验[4]，证明了鬼成像可以通过经典光场的二阶互相关理论进行准确描述。计算鬼成像只有一条光路，如图2所示，空间光调制器向物体上投影的掩模图案是以数字信息的形式储存的,没有被实际测量，这一过程无法满足量子纠缠的条件，因此量子纠缠特性不是鬼成像的必要条件。

图2 无透镜的计算鬼成像实验图

2、单像素成像的信号采样解释

单像素成像技术起源于Candès等[5]提出的压缩感知概念，Duarte等[6]在2008年首次报道了相关实验。鬼成像与单像素成像技术在光学方案上最显著的区别是空间光调制器的摆放位置。单像素成像系统的空间光调制器位于后端，用于执行掩模采样，如图3所示。其中，成像透镜使物体与空间光调制器共轭，其物像共轭关系与传统成像系统相同，只是空间光调制器代替了胶片或面阵探测器。

图3单像素成像实验系统图

单像素成像技术通过在空间光调制器上加载多个掩膜图案实现对场景的掩膜采样，每次采样由单像素探测器实现一次测量，得到的测量值相当于是掩膜图案和场景的乘积。经多次测量后可获得测量矩阵，通过适当的逆向重建算法即可恢复出场景图像。

当由掩膜图案组成的调制矩阵是满秩的且测量次数与重建图像数相当时，可以用简单的矩阵求逆的方法来重建图像。但当测量次数较少时，只能通过其他逆向重建算法计算得到场景的近似解，其中压缩感知就是最典型的算法。

三、研究进展

1、压缩感知理论与应用

压缩感知是一个基于凸优化理论的通用信号恢复方法，其对图像进行少量的非自适应线性测量来获取足够的信息用于重建[5]。从低维的测量值中精确重建出高维信号是一个不适定的问题，常将其转换为凸优化问题，如约束优化和更适于重建图像的全变分或全曲率正则化优化。压缩感知的实现机理与单像素成像高度吻合[6]，将压缩感知应用于单像素成像中可在保障重建图像质量的前提下有效减少采样时间。

2、采样图案的选择和实现

在单像素成像中，采样图案加载在空间光调制器上实现对场景的掩膜采样；在计算鬼成像中，采样图案以结构光的形式投影到场景中实现对场景的照明调制。在经典光源鬼成像和早期的计算鬼成像中常使用随机采样图案进行编码采样[3-4]，但其采样效率较低，往往需要多次测量。随后，在压缩感知单像素成像中常使用与Haar小波域不相关的采样基作为掩膜图案[7]，可在低采样率下获得高质量图像，但重建计算开销较大。后来，研究者使用正交掩膜图案作为替代[8]，其低相关度可确保每次采样得到的场景信息是彼此不相关的，可有效提高采样效率。且当采样次数与重建图像像素数相等时，可实现完全采样。

3、实时单像素成像

压缩感知单像素成像技术虽然只需较少采样次数，但是较大的重建计算开销使其恢复时间很长。文献[8]提出的进化的Hadamard基测量方案从之前的测量结果中获取先验信息，以减小重建计算量。在场景没有大幅变化的情况下，该方法是十分有效的。随后，研究者提出了更具普适性的方法，其根据一般场景的属性去优化Hadamard基掩模的采样顺序[9]，该方法在低采样率下有优异的表现。

4、基于机器学习的单像素成像

机器学习以数据驱动的方式进一步提高单像素成像系统的信息获取能力、成像速度、成像功能和成像质量。深度神经网络是机器学习中最常用的架构，单像素成像系统可以利用深度神经网络实现欠采样情况下的图像重建与信息提取。需要指出的是，基于机器学习的单像素成像系统的宽适性和鲁棒性存在权衡关系，当训练集使用的数据集的针对性较好时，与数据集特征相似的物体的重建效果就较好，但是系统的普适性较差。

四、展望

鬼成像/单像素成像的技术活力首先存在于任何新型探测器出现而其相应的面阵探测器还未研发成功的真空期内，单像素成像可以第一时间实现二维或者高维成像。融合了信号处理、数学计算的鬼成像/单像素成像技术将更大程度地解放成像能力，获取传统成像系统无法解译的光场信息，如偏振、光谱、相位等物理量。

并且，鬼成像/单像素成像方式和功能更加灵活。其可将难以突破的光学难题转换为信号处理与计算的问题，通过相应的光学调制与数学计算来弥补硬件设备的不足，进而实现高效高质量的成像。其物像共轭关系也更加灵活，可以实现许多传统成像系统无法完成的功能。

鬼成像/单像素成像技术的另一特点是其测量值更适于机器的读取与传输，在当今人工智能高速发展的时代，可以更加快速、直接地与机器进行交互。其无需完全重建图像，而只需要恢复场景的某些特征信息，即可完成检测、分类等任务。此外，其稀疏采样的特性可大大降低测量值的信息冗余量，进而可进行高效的远距离传输。

综上所述，鬼成像/单像素成像作为一种典型的计算成像技术，具有十分灵活的成像模式，随着光电技术和信息技术的不断进步，其会向更快速、更高分辨率、多维测量的方向发展，将为生物医学成像、空间遥感、军事对抗成像、自动驾驶等领域带来全新的成像方案。

参考文献

[1] Klyshko D N. A simple method of preparing pure states of an optical field, of implementing the Einstein-Podolsky-Rosen experiment, and of demonstrating the complementarity principle[J]. Soviet Physics Uspekhi, 1988, 31(1): 74-85.

[2] Pittman T B, Shih Y H, Strekalov D V, et al. Optical imaging by means of two-photon quantum entanglement[J]. Physical Review A, 1995, 52(5): R3429-R3432.

[3] Bennink R S, Bentley S J, Boyd R W. “two-photon” coincidence imaging with a classical source[J]. Physical Review Letters, 2002, 89(11): 113601.

[4] Shapiro J H. Computational ghost imaging[J]. Physical Review A, 2008, 78(6): 061802.

[5] Candes E J, Tao T. Decoding by linear programming[J]. IEEE Transactions on Information Theory, 2005, 51(12): 4203-4215.

[6] Duarte M F, Davenport M A, Takhar D, et al. Single-pixel imaging via compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91.

[7] Pastuszczak A, Szczygie? B, Miko?ajczyk M, et al. Efficient adaptation of complex-valued noiselet sensing matrices for compressed single-pixel imaging[J]. Applied Optics, 2016, 55(19): 5141-5148.

[8] Radwell N, Mitchell K J, Gibson G M, et al. Single-pixel infrared and visible microscope[J]. Optica, 2014, 1(5): 285-289.

[9] Sun M J, Meng L T, Edgar M P, et al. A Russian Dolls ordering of the Hadamard basis for compressive single-pixel imaging[J]. Scientific Reports, 2017, 7(1): 3464.

孙鸣捷，北京航空航天大学教授，博导，“国家优秀青年科学基金”获得者，北京航空航天大学仪器科学与光电工程学院院长助理，光电工程系系主任。2004年和2010年分获浙江大学光电信息工程学士和光学工程博士学位，2010年进入北京航空航天大学仪器科学与光电工程学院工作。主要从事先进光电成像研究，发表《Nature Communications》、《Science Advances》等多篇ESI高被引论文，并被“麻省理工技术评论”重点报道为相关领域里程碑成果，有潜力改变未来成像系统的工作模式。主持承担国家自然科学基金重点、军科委创新特区重点探索、国家863、国家973子课题等10余项国家重大项目。担任国际期刊Sensors(仪器Q1)、Photonics(光学Q2)的编委、全国量子成像学术委员会委员等学术兼职。