怎样让虚拟相机“动起来”，实现精准位姿估计？

《激光与光电子学进展》于2022年第14期（7月）推出“机器视觉技术及应用”专题，本封面为同济大学李安虎教授课题组特邀综述 “基于虚拟相机的位姿估计研究进展”。

本文对主流位姿测量系统及方法进行系统性综述，重点介绍了基于虚拟相机的位姿估计系统的原理、组成及应用，提出当前面临的主要问题及解决思路，展望位姿估计的发展趋势和研究方向。

封面解读：

本封面形象示意了基于动态虚拟相机的目标位姿提取的基本原理。利用旋转Risley棱镜主动调控相机视轴的精准指向，相当于在观测空间动态产生虚拟相机阵列，能够对空间多维目标进行多视角感知与立体识别。结合目标特征的先验几何约束，充分利用多视点冗余丰富信息，实现精准鲁棒的多维位姿重构。

文章链接：

李安虎, 邓兆军, 刘兴盛, 陈昊. 基于虚拟相机的位姿估计研究进展[J]. 激光与光电子学进展, 2022, 59(14): 1415002

背景：

机器视觉在光电成像和人工智能的推动下发展迅猛，迫切需要研发智能可靠的环境感知技术来应对日益复杂的作业场景，如我国在《“十四五”智能制造发展规划》中明确将智能感知技术列为重点攻克任务。目标位姿估计即提取目标的空间位置和姿态，是智能感知任务的核心技术之一，已广泛应用于无人驾驶、空间对接、机器人自主导引、工业机器人标定等领域。然而，如何实现精准、鲁棒、高效的位姿估计一直是极具挑战性的难题。

位姿估计系统

传统位姿估计系统

根据位姿估计系统的物理感知方式和原理，传统位姿估计系统主要包括基于机械定位的位姿估计系统、基于激光跟踪仪的位姿估计系统、基于惯性单元的位姿估计系统以及基于视觉的位姿估计系统等。

激光跟踪仪是一种与全站仪类似的典型传统测量系统，通过激光干涉测距原理获取微米级精度深度信息[1]。另外，依靠PSD（Phase-Sensitive Detector）位置检测器可实现动态目标跟踪测量，进一步结合合作靶镜的先验约束特征，构建基于位姿参数的共线方程，采用非线性方程组解算方法（如LM算法）提取精准位姿信息，如图1为激光跟踪仪原理图。但仍存在售价昂贵、系统标定复杂、需要合作靶镜等问题。

图1 激光跟踪仪原理图[1]

基于静态虚拟相机的位姿估计系统

近年来，单相机附加变视轴单元构建虚拟相机系统受到广泛关注。根据变视轴单元的不同光学结构，主要包括基于二分棱镜、多面体棱镜、微型棱镜阵列及衍射光栅的虚拟相机系统。其中，基于微型棱镜阵列的静态虚拟相机系统，兼顾系统灵活性和集成性，可同步采集多视角图像序列，实现实时三维重建，可用于肠道内窥等生物医学领域，如图2所示[2]。然而，微型棱镜阵列感知系统仍存在加工制造困难、系统标定复杂及感知分辨率低等问题。

图2 基于微型棱镜阵列的虚拟相机成像系统[2]。（a）系统原理图；（b）重建原理；（c）光束传播原理；（d）系统组成；（e）传统内窥镜成像；（f）虚拟相机成像

基于动态虚拟相机的位姿估计系统

基于平面反射镜的虚拟相机成像系统最为常见，通过反射镜反射调整相机视轴，驱动静态相机连续采集不同视角图像。相比反射镜，基于棱镜折射的动态虚拟相机具有突出的动态特性及指向精度。李安虎教授课题组历经近二十年持续性、原创性技术攻关，针对旋转棱镜的正逆向解算理论、动态多模式扫描、多维度计算成像等方面开展了一系列深入研究。在国际上首次采用旋转棱镜与单相机同轴布置，按需产生动态虚拟相机阵列，充分利用多视角先验信息，结合旋转平均及物方残差优化理论，实现精准鲁棒六自由度位姿信息提取，如图3所示[3]。

图3 基于动态虚拟相机的位姿估计系统[3]

位姿估计方法

基于二维信息的位姿估计方法

基于二维信息的位姿估计方法通过目标形貌、颜色、关键点等二维特征，恢复目标当前位姿状态。主要包括基于目标特征的位姿估计方法及基于模板匹配的位姿估计方法。前者是目前应用最为广泛的位姿估计方法。根据多个控制点几何先验信息，构建以旋转参数和平移参数为变量的共线约束方程，解决n点透视问题（PnP问题），如图4所示[4]。为提升精度和鲁棒性，一系列基于迭代法（如LHM）、代价函数（如ASPnP）和线特征（如P3L、P4L）的方法被提出。

图4 基于点特征的目标位姿估计基本原理[4]

基于三维信息的位姿估计方法

基于3D信息获取目标位姿的方法，已广泛应用于机器人自主导航、虚拟现实等人工智能领域，主要包括基于特征配准的位姿估计方法和基于绝对定向的位姿估计方法。

基于特征配准的位姿估计方法，即通过两组点云集合的特征描述，确定点云间的对应关系。如Lima[5]等人提出的基于目标颜色信息、特征空间分布的全局特征匹配方法。

基于绝对定向的位姿估计方法通常采用一系列经典的匹配算法，建立待测特征集合间的映射关系[6]。以匹配点三维信息为基础，恢复两映射集合的坐标转换关系。主要包括基于SVD分解的解算算法、基于四元数的解算方法和基于共线方程的解算方法。

基于深度学习的位姿估计方法

近年来，基于神经网络的六自由度位姿估计方法，受到国内外学者的重点研究[7]。根据位姿估计的基本框架包括直接回归法和间接回归法。

直接回归法，即以端到端的形式，构建目标图像与位姿的映射关系。如Yin[8]等人将图神经引入位姿估计，充分利用目标形貌信息和几何约束信息，具有较强的辨识能力和像素级位姿估计能力，如图5所示。

间接回归法，即采用神经网络确定空间三维关键点与二维像点映射，采用PnP方法提取位姿。如Hu等人基于离散重组以及自动编码预测思想，结合经典的PnP算法实现目标位姿估计，可克服遮挡目标和对称目标的鲁棒估计难题[9]。

图5 基于图神经网络的位姿估计方法基本原理

问题和展望

目前位姿估计研究已取得较大进展，但随着感知场景和感知目标的不断丰富和拓展，仍面临诸多严峻挑战。在感知场景方面，如何适应复杂非结构化场景，实现密集紧凑、高鲁棒、强适应性测量是面临的重要问题之一。在感知对象方面，如何适应弱特征、多种类、相似性感知目标，实现大范围、高精度、高效动态测量是面临的重要问题之二。

综上可知，研发灵巧紧凑、精准鲁棒的位姿估计系统，优化系统标定方法，融合多模态感知信号，改善感知信息质量，将是重要的发展方向。此外，基于深度学习的位姿估计方法在鲁棒性、在线性方面表现突出，进一步结合基于二维及三维信息的位姿估计方法提升位姿感知精度，通过网络轻量化设计降低模型构建耗时，也将是重点研究方向之一。

参考文献

[1]. Muralikrishnan B, Phillips S, Sawyer D. Laser trackers for large-scale dimensional metrology: A review [J]. Precision Engineering, 2015, 44: 13-28.

[2]. Yang S P, Kim J J, Jang K W, et al. Compact stereo endoscopic camera using microprism arrays[J]. Optics Letters, 2016, 41(6):1285.

[3]. Deng Z J, Li A H, Liu X S. Equivalent virtual cameras to estimate a six-degree-of-freedom pose in restricted-space scenarios[J]. Measurement, 2021, 184:109903.

[4]. Wang P, Xu G, Cheng Y, et al. A Simple, Robust and Fast Method for the Perspective- n -Point Problem[J]. Pattern Recognition Letters, 2018, 108:31-37.

[5]. Lima J, Teichrieb V. An efficient global point cloud descriptor for object recognition and pose estimation[C] Graphics, Patterns & Images, October, 4-7, 2016, Sao Paulo, Brazil. New York: IEEE, 2016, 56-63.

[6]. Coleman S, Kerr D, Scotney B. Concurrent edge and corner detection[C] IEEE International Conference on Image Processing. September 16- October 19, 2007, San Antonio, TX, USA. New York: IEEE, V273-V276.

[7]. Chen J, Zhang L, Liu Y, et al. Survey on 6D pose estimation of rigid object[C]. 2020 39th Chinese Control Conference (CCC), July, 27-29, 2020, Shenyang, Liaoning, China. New York: IEEE, 7440-7445.

[8]. Yin P S, Ye J Y, Lin G S, et al. Graph neural network for 6D object pose estimation[J]. Knowledge-Based Systems, 2021, 218:106839.

[9]. Hu Y, Hugonot J, Fua P, et al. Segmentation-driven 6D object pose estimation[C]. In Proceedings of the 2019 IEEE/CVFConference on Computer Vision and Pattern Recognition (CVPR), June, 15-20, 2019, Long Beach, CA, USA. New York: IEEE, 3380-3389.

课题组简介

同济大学李安虎教授课题组长期从事光电跟踪及信息感知理论、技术及应用研究。课题组围绕光电跟踪和信息感知的科学前沿和技术难题，提出了级联棱镜高精度光学跟踪新理论，发展了以级联棱镜光学跟踪为特色的智能装备光学感知新体制，构成了从原理探索、数理建模、性能优化直至系统研制并拓展应用的完整学术体系，引领了级联棱镜在重要科学工程和装备研制中的创新应用。已承担国家自然科学基金项目、国家重点研发计划课题、国际合作项目等，在OSA/IEEE/AIP等发表研究论文110余篇，出版中英文专著和手册4部，包括在Springer Nature出版了棱镜扫描领域的首部科学专著，论著被国际同行广泛引用和积极评价，授权国内外发明专利50余件，在国内外学术会议和研究机构作邀请报告20余次。已指导毕业研究生17人，其中荣获“上海市优秀毕业生”称号9人，“同济大学优秀毕业生”称号2人，毕业生就业于上汽、华为、宝钢、中车等企业。