引用本文

王硕, 祝海江, 李和平, 吴毅红. 基于共面圆的距离传感器与相机的相对位姿标定. 自动化学报, 2020, 46(6): 1154−1165 doi: 10.16383/j.aas.c190115

Wang Shuo, Zhu Hai-Jiang, Li He-Ping, Wu Yi-Hong. Relative pose calibration between a range sensor and a camera using two coplanar circles. Acta Automatica Sinica, 2020, 46(6): 1154−1165 doi: 10.16383/j.aas.c190115

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190115

关键词

多传感器标定，距离传感器与相机标定，深度相机与相机标定，激光与相机标定 

摘要

近年来, 距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用, 其中基于平面特征的方法简单易行而被广泛采用. 然而, 目前多数方法基于点匹配进行, 易错且鲁棒性较低. 本文提出了一种基于共面圆的距离传感器与相机的组合系统相对位姿估计方法. 该方法使用含有两个共面圆的标定板, 可以获取相机与标定板间的位姿, 以及距离传感器与标定板间的位姿. 此外, 移动标定板获取多组数据, 根据计算得到两个共面圆的圆心在距离传感器和相机下的坐标, 优化重投影误差与3D对应点之间的误差, 得到距离传感器与相机之间的位姿关系. 该方法不需要进行特征点的匹配, 利用射影不变性来获取相机与三维距离传感器的位姿. 仿真实验与真实数据实验结果表明, 本方法对噪声有较强的鲁棒性, 得到了精确的结果.

文章导读

目前, 距离传感器与相机结合的应用越来越广泛, 应用范围包括3D测量、导航、机器人路径规划和无人驾驶等领域. 距离传感器主要包括Kinect等深度相机、三维激光传感器和二维激光传感器等. 距离传感器可以直接获得当前环境下点的距离和角度信息, 相机可以获取丰富的纹理信息与形状信息, 二者的优势结合可以建立周围环境更加丰富的信息, 提供更加精准的测量结果. 在应用距离传感器与相机系统之前, 一个必要的工作是标定距离传感器坐标系与相机坐标系之间的关系. 因为距离传感器的测量信息无法成像在图像上, 所以必须要寻找距离传感器坐标下的点、线或其他特征与相机坐标系下的对应特征之间的约束关系, 根据约束求解两个坐标系之间的关系.

对于二维激光传感器与相机之间的位姿标定方法, Ha[1]提出了用一个中间开一个等腰直角三角形孔的正方形棋盘标定板, 利用激光的距离不连续性和虚拟直线法求得四个对应点的坐标, 根据点的对应关系求得激光与相机位姿关系. Hoang等[2]提出的方法与前面类似, 不同之处是根据点之间的长度关系计算得到对应点. 另一种思路是寻找二维激光点的位置符合的几何约束, 较早是由Zhang等[3]提出的利用棋盘标定板完成. 该方案先求得标定板在相机坐标系下的位姿, 然后根据点在平面上几何约束求取激光与相机位姿关系. Bok等[4-5]、Vasconcelos等[6]、胡钊政等[7]均在此基础上提出了改进方案, 获得了更加稳定的结果. 另一种方法是Li等[8]提出的, 利用一个黑色等腰直角三角形, 根据激光点在三角形边上, 可以优化得到激光坐标系与相机坐标系之间的位姿关系. 这些方案均存在一定的歧义性, 不能约束所有的位姿分量, 即使是这些改进方法[4-5], 也只是减少而不能消除歧义性. 因此标定结果很大程度上依赖于优化过程中初始值的选取, 但是这些方案中均未提供初始值的计算方法, 影响了结果的稳定性与准确性.

对于三维距离传感器与相机之间的标定, Lee等[9]提出了利用一个球来标定的方案, 根据三维激光数据拟合的球心与图像上求得的圆心的像之间存在一一对应关系, 优化重投影误差即可获得三维激光与相机坐标系之间的位姿关系. Dhall等[10]提出了利用一个中间开正方形孔的正方形标定板, 同时获取正方形标定板角点在激光坐标系和图像上的坐标点, 优化重投影误差得到位姿. 同时还利用ArUco标志获得标定板角点在相机坐标下的坐标, 优化3D-3D对应点关系, 获得二者之间的位姿关系. Geiger等[11]提出了在一个较大的空间中布置多个标定板, 仅用一幅图像获得标定板的位姿, 根据距离数据与相机数据下的标定板位姿, 获得深度传感器与相机之间的位姿关系, 达到了很高的精度, 对噪声有很好的鲁棒性. 以上方案标定时需要较大的场地与许多标定板, 不够简便, 限制了使用场景.文献[12-13]提出用4个共平面圆来确定三维距离传感器与相机的大致位姿, 然后根据点云来优化位姿, 获得了精确的结果, 但初始值只是解析地提供了平移的初始值, 并没有旋转矩阵的初始值.

文献[14-15]讨论了两个共平面(或平行平面)圆的类仿射不变性, 并根据绝对二次曲线的像只与相机内参有关这一性质来进行相机的内参标定. 由平面上圆环点在绝对二次曲线以及无穷远直线上, 圆环点的像在二次曲线的像上, 同时也在无穷远直线的像上, 在求解相机内参的过程中, 借助无穷远直线的像确定了圆环点的像, 并以多幅图像上圆环点的像构建最小二乘问题, 对相机内参进行了标定. 文献[16]在此基础上利用两个共面圆进行了无匹配相机位姿的估算, 取得了相当高的精度与稳定性. 本文在其研究的基础上, 提出了一种用两个共平面圆来标定深度传感器与相机之间的位姿关系的方法, 借助无穷远直线的像求得两个圆心的像, 并根据圆心的像与无穷远直线的像恢复出相机与三维距离传感器的位姿, 以及利用标定板的特殊放置来获取二维激光传感器的位姿, 解析地计算出距离传感器与相机之间的位姿关系. 为了减少噪声影响, 移动标定板, 获取不同位置下的数据, 利用不同坐标系下圆心之间的对应关系, 优化出传感器之间的位姿关系. 与已有方法相比, 本文提出的方法简化了标定板的规格, 不需要进行空间点与相应图像之间的匹配. 实验结果表明, 本方法是鲁棒和准确的.

图 1  共平面圆及两条关联直线

图 2  二维激光扫描平面与标定板相交的两段弦

图 3  二维激光扫描平面与标定板不垂直的情况

本文在共平面圆的类仿射不变性[14-15]相关工作的基础上, 根据圆心与平面上无穷远直线的成像过程, 提出了一种基于共面圆的距离传感器与相机的相对位姿标定方法, 具有以下优点: 1)获取圆心坐标的过程无需使用特征点的匹配, 使用的图像特征是边缘信息; 2)在距离传感器与相机位姿的优化过程中, 提供了解析初始值; 3)可以仅用一幅图像和一次距离数据获得解析标定结果; 4)标定板易于制作, 可同时用于二维激光传感器或三维距离传感器与相机之间的相对位姿标定, 通用性好. 仿真数据实验和真实数据实验结果表明, 本文提出的方法对噪声有较好的鲁棒性, 标定结果的准确度较高. 在今后的工作中, 将继续探索二维距离传感器与相机之间位姿标定方法, 以消除达不到放置要求带来的误差.

作者简介

王硕

北京化工大学自动化系硕士研究生. 2017年获得北京化工大学自动化专业学士学位. 主要研究方向为图像处理与计算机视觉. E-mail: 2017200698@mail.buct.edu.cn

祝海江

北京化工大学信息科学与技术学院教授. 2004年获得中国科学院自动化研究所模式识别国家重点实验室博士学位. 主要研究方向为图像处理与计算机视觉. 本文通信作者. E-mail: zhuhj@mail.buct.edu.cn

李和平

中国科学院自动化研究所副研究员. 2007年获得中国科学院自动化研究所模式识别与智能系统方向博士学位. 主要研究方向为机器人导航, 实时三维重建与应用. E-mail: heping.li@ia.ac.cn

吴毅红

中国科学院自动化研究所模式识别国家重点实验室研究员. 2001年获得中国科学院系统科学研究所数学机械化研究中心应用数学博士学位. 主要研究方向为图像匹配, 相机标定, 相机位姿估计, 三维重建, 同时定位与地图构建.E-mail: yhwu@nlpr.ia.ac.cn