傅里叶叠层显微成像模型、算法及系统研究综述

专家点评：

该综述文章全面和深入地介绍了傅里叶叠层成像的原理框架，包括硬件系统，成像模型和图像处理算法等。文章同时系统地讨论了各种参数误差对傅里叶叠层成像质量的影响及其相应的矫正办法。文章的另一亮点是对成像系统的性能和扩展方式进行了分类总结和讨论，并介绍了各种提高性能的策略和办法。

本综述可为叠层成像以及计算光学相关研究人员提供有益的参考。根据不同的应用场景，研究者可根据该综述选择并调试相应的傅里叶叠层成像系统。值得注意的是，Nature Reviews系列期刊《Nature Reviews Physics》在近期发表了“Concept, implementations and applications of Fourier ptychography”的综述文章。本文内容与其形成有效的互补，特别是关于系统参数校正以及相位恢复算法的详尽总结和分析。

郑国安

University of Connecticut

封面解读：本封面形象示意出了傅立叶叠层显微成像的基本原理、典型架构及成像效果，从多个角度对样本进行照明，使得进入成像系统内的光分别携带样本的不同空间频率成分，然后将与各照明角度对应的低分辨率图像在频域进行相位恢复与孔径合成，最终实现大视场和高空间分辨率的成像效果。

封面文章链接：张韶辉, 周国城, 崔柏岐, 胡摇, 郝群. 傅里叶叠层显微成像模型、算法及系统研究综述[J]. 激光与光电子学进展, 2021, 58（14）: 1400001

撰稿：张韶辉，周国城，胡摇，郝群

1、背景

光学显微已经在生命科学、医学、工业检测等领域发挥了非常重要且无可替代的作用，但其性能依然难以满足生命科学和人工智能技术领域对微观结构更高的认知需求。其中，以大空间带宽积（SBP）成像、透明样本成像方面的问题尤为突出。

在显微成像中，目前提高SBP的主流策略为显微超分辨，以射损耗显微技术（STED）、光敏定位显微技术（PALM），以及随机光学重构显微技术（STORM）和结构光照明显微（SIM）等超分辨技术为代表；透明/半透明样本的主流成像技术包括荧光标记和以数字全息显微（DHM）、相干衍射成像（CDI）以及光强传输方程（TIE）等相位测量技术。

傅里叶叠层显微成像（FPM）是2013年加州理工学院的Guoan Zheng等人提出的一种具有显著计算成像特征的显微成像技术[1]。FPM通过改变样本照明方向，采集相应低分辨率图像，并在频域中进行相位恢复和孔径合成，实现大视场、高空间分辨率和定量相位成像。自问世以来，FPM得到了广泛地关注与研究。本论文针对FPM理论模型、算法框架以及成像系统的研究与改进等方面进行综述、分析与讨论

2、技术原理

图1 傅里叶叠层显微装置成像工作原理及系统实物与成像结果[1]

典型FPM系统使用可编程LED阵列板作为光源，通过依次点亮不同位置LED单元提供不同方向照明，同时采集一系列低分辨率图像，依靠在空域和频域的往返迭代及约束，得到同时满足空域“幅值约束”和频域“支持域约束”的复振幅最优解，其算法流程如图2所示。

图2 傅里叶叠层显微成像相位恢复流程图[1]

FPM还可实现无标记定量相位成像，其成像结果如图3所示，可以看出强度图像中无法或较少体现的部分结构，能够在FPM重建的相位图像中得到展现和增强。

图3 FPM相位成像结果[2]

3、技术发展

3.1 理论模型的修正

FPM理论框架存在诸多近似与假设，在FPM技术发展的过程中，为实现更好的成像效果，研究者们针对系统构建过程中的各种参数偏差进行了大量研究。

LED板几何位姿偏差对FPM成像结果影响最为显著，对其进行建模与修正是系统参数校正研究中代表性的工作。此类工作分为基于硬件系统和基于软件算法的修正。基于软件算法的LED板模型构建如图4所示[3]。

图4 LED阵列板位姿参数误差模型[3]

成像镜组偏离理想模型的偏差同样会影响到FPM的成像结果，图5所示为加州理工学院的Xiaoze Ou等人提出的EPRY-FPM成像结果，可以看出在进行了系统光瞳函数修正后，FPM的成像结果得到了显著的改善。

图5 EPRY-FPM频域“探针函数”恢复结果[4]

3.2 优化算法的改进

FPM算法框架有多个构建方式，在交互投影框架下，可根据每次迭代更新时使用到的低分辨图像数量而将其算法分为全局更新式与序列更新式；在最优化框架下，可以根据损失函数构建方式的不同、更新策略的差异而将FPM算法大致分为一阶梯度相关方法、二阶梯度相关方法、自适应步长优化方法以及深度学习相关算法等。

FPM算法基本与其对偶形式的PIE（Ptychography Iterative Engine）算法一致，因此不同类型的PIE算法同样代表着FPM算法的改进过程，文献[5]中对几种具有代表性的PIE算法样本更新方程形式进行了较为详细的对比和分析。

机器学习作为近年来备受关注的计算框架也在FPM中有所应用。利用机器学习的FPM方案分为两类：

（1）将根据低分辨率图像得到高分辨率图像的相位恢复过程构建神经网络（图6）；

（2）将待恢复的样本函数构建为网络的一层，其参数本身代表样本的复振幅参量（图7）。

图6 用于替换传统FPM相位恢复算法的神经网络结构示意图[6]

图7 基于物理模型的FPM神经网络结构[7]

3.3 FPM系统性能提升

FPM技术可实现大空间带宽积和定量相位成像，但特定的样本模型和成像方法也使得FPM的应用受到了一些限制。本文主要对提升FPM三维成像能力和提升FPM成像速度的相关研究进行对比和分析。

FPM成像实现从二维扩展为三维主要包括两种技术，数字重聚焦与层析成像。前者依然假设样本在局部区域符合“薄物假设”，通过对局部区域的数字重聚焦实现三维成像；后者则将FPM模型扩展到三维k矢量空间，直接求解出样本的三维分布，图8-9所示分别为数字重聚焦和层析成像的结果。

图8 基于成像系统几何特征的USAF分辨率板数字重聚焦结果[8]

图9 三维FPM层析成像算法流程和层析成像结果[9]

FPM较长的原始图像采集过程限制了其时间分辨率。根据其成像特点，FPM成像速度的提升需要从减少LED照明数量以及高动态范围数据采集进行，代表性的成果为照明/成像参数复用（多模态）与通道合成，图10-11所示分别为多模态FPM以及高动态范围FPM代表性方案/结果。

图10 不同模态照明示意图[10]。 (a)单模态FPM;  (b)多LED位置模态; (c) 多LED波长模态

图11 采用RGB相机实现高动态范围数据合成原理及重建结果图[11]

3.4 系统构建方式的扩展

FPM系统构建方式改进与扩展的初衷包括两个方向：一是提升成像性能（图12）；二是节约系统构建成本（图13），包括空间成本与经济成本。

提升成像性能的系统构建方式代表工作为反射式及远距离FPM系统（图12）的设计与构建。

图12 反射式与远距离FPM框架 [12,13]。(a) 反射式FPM系统结构示意图; (b) 远距离孔径扫描式宏观FPM系统

图13 改进型FPM系统构建[14-17]。(a-b)基于手机镜头的FPM系统设计方案; (c) 基于树莓派及其开发模块的FPM系统设计方案; (d) 基于相机阵列多孔径的FPM系统设计方案; (e) 基于工业相机和工业远心镜头的FPM系统设计方案

4、总结和展望

得益于其优异的成像性能以及典型计算成像框架等特点，FPM自问世以来得到了广泛的关注与研究，无论是在理论模型、优化算法还是系统构建、扩展及应用等方面均取得了非常大的进展。但这并不意味着此方向的研究已经趋于完整或饱和，现阶段的FPM依然存在着诸如系统调节流程复杂、对环境光干扰敏感、时间分辨率低、重构时间长等问题。无论在理论、算法及应用的哪个方面，FPM仍然吸引着大量的关注和研究，以继续完善FPM的模型、算法和系统设计与构建。