引用本文

姚桂林, 赵志杰, 苏晓东, 辛海涛, 胡文, 秦相林. 一种基于双层框架的仿射类图像抠像方法. 自动化学报, 2021, 47(1): 209-223 doi: 10.16383/j.aas.c180356

Yao Gui-Lin, Zhao Zhi-Jie, Su Xiao-Dong, Xin Hai-Tao, Hu Wen, Qin Xiang-Lin. A hierarchical framework on affinity based image matting. Acta Automatica Sinica,  2021, 47(1): 209-223 doi: 10.16383/j.aas.c180356

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180356

关键词

图像抠像，仿射类抠像，Matting Laplacian，KNN搜索，颜色线性模型

摘要

仿射类抠像方法主要分为KNN (K-nearest neighbor)类和Matting Laplacian类方法, 本文结合这2种方法的优点提出了一种基于仿射类的双层次抠像方法.其中, 第一层为绝对像素的划分层次或预处理层次, 采用了基于KNN类简单权重与相对远距离的搜索方法, 并结合初始Trimap未知区域大小无关的方式; 第二层为混合像素的计算层次或最终抠像层次, 充分利用了第一层计算获得的剩余混合像素的宽度, 自适应地调整Matting Laplacian中的颜色线性模型所构成颜色近邻的核宽度.每个层次均按图像的全局颜色重叠程度相应调整合理的搜索范围.本文的实验具备以下特点: 1)预处理层次之后采用了若干典型的后续抠像方法, 以展现本文方法相比于其他预处理方法对后续抠像操作步骤的优越性和兼容性; 2)最终抠像层次引入了若干其他抠像方法, 以验证本文抠像方法的优越性.实验表明, 相比于其他单层次的仿射类方法, 无论对于计算绝对像素还是混合像素, 本文方法都可以大幅提升计算结果的准确率.

文章导读

数字图像的抠像与合成问题是在虚拟现实中图像处理领域的两种经典问题, 目的是从一幅合成图像中将前景物体从背景中分离出来, 并合成到一幅新背景图像中.对于合成问题, 对于在数字图像$ \mathit{\boldsymbol{I}} $中的某个位置$ i = (x, y) $, 给定前景图像的颜色$ \mathit{\boldsymbol{F}}_i $、背景图像颜色$ \mathit{\boldsymbol{B}}_i $以及一个透明度标量$ \alpha_i\in [0, 1] $, 其观察到的颜色$ \mathit{\boldsymbol{I}}_i $能够用如下抠像公式表示为

$$ \begin{equation} {\mathit{\boldsymbol{I}}_i} = {\alpha _i}{\mathit{\boldsymbol{F}}_i} + \left( {1 - {\alpha _i}} \right){\mathit{\boldsymbol{B}}_i} \end{equation} $$ (1)

如果$ \alpha_i = 0 $或$ \alpha_i = 1 $, 将点$ i $称作绝对前景或者绝对背景, 并统称为绝对像素.对于其余$ 0<\alpha_i<1 $的点, 称为混合像素.

抠像问题为合成问题的逆问题, 同时也是欠约束问题:给出各点的合成像素$ \mathit{\boldsymbol{I}}_i $, 需要求出未知量$ \mathit{\boldsymbol{F}}_i $、$ \mathit{\boldsymbol{B}}_i $与$ \alpha_i $.很多一般背景抠像问题都需要用户提供手工输入的辅助三分图Trimap, 如图 1(a)和(b)所示, 它包括已知绝对前景区域$ \Omega_{\rm{F}} $和已知绝对背景区域$ \Omega_{\rm{B}} $, 剩余部分为未知区域.于是, 依据已知像素, 并根据抠像公式及某些先验条件, 可以估计未知区域内的每个像素的$ \{\mathit{\boldsymbol{F}}, \alpha\} $值.基于Trimap的图像抠像算法通常分为如下2种方式: 1)基于仿射的抠像方法[1-7].该方法并不孤立地计算每个点, 而是考虑像素间的相关性, 利用间接、迭代的方式递归地求出未知区域中各个点的$ \alpha $值. 2)基于采样的抠像方法[8-17].该方法对每个未知点独立从已知区域中选取样本, 并采用逐对样本的计算方式, 而并不考虑各个像素之间的联系.

图1 图像抠像问题的基本输入输出和本文的双层次抠像结构

本文主要讨论仿射类方法[18].虽然相比仿射类方法, 采样类方法的采样位置和采样方式变化较多, 而且获取样本方式非常直接, 然而, 仿射类方法具有以下优势. 1)仿射类方法充分强调了像素间的相关性, 该方式也可视为由已知区域向未知区域缓慢、渐进的计算, 因此在最终$ \alpha $结果的平滑性以及带给或用户的视觉感受上要明显好于采样类方法. 2)采用远距离搜索的仿射类方法对绝对点的计算效果较好, 而在事实上, 未知区域内的大多数点为绝对像素, 因此该类方总体准确率上有较为明显的优势.本文在第1节首先阐述了仿射类方法的2种分类方式以及它们优点和缺点, 在第2节中针对KNN类的特点讨论了绝对像素划分(即预处理)方式, 在第3节中针对Matting Laplacian类的特点讨论了剩余混合像素的计算, 并在第4节中讨论了这2类方法各自的实验结果.最后第5、6节讨论了仿射方法目前存在的问题并得出本文的结论.本文基于仿射方法的双层次抠像框架如图 1所示.需要说明的是, 由于仿射类方法与采样类方法、乃至其他类如特殊类[19]、深度学习类[20-22]等方法采用完全不同的计算机制, 而且本文主要研究前者, 因此无论在理论研究和实验数据上, 本文并未引入任何其他类方法, 而且也不将结果传至$ \alpha $评估系统[23]中, 以保持仿射类方法的整体一致性.

图2 仿射类方法的2种分类方式对应的算法及适用范围(其中Lap表明在原简单权重方法的基础上采用Matting Laplacian)

图3 各$\alpha^{\rm{true}}$区间中5种传统仿射类算法$\alpha$结果的平均MSE比较(其中$x$轴坐标中的0.0表示$0.0\sim0.05$区间等)

本文采用了"绝对像素划分—混合像素计算"的双层次计算方式求解仿射类图像抠像问题.其中, 第一层预处理步骤采用了基于KNN类简单权重的多种搜索距离的联合方式, 第二层后续抠像步骤采用了基于Matting Laplacian的多种搜索距离的联合方式, 以充分发挥这两种传统抠像方法的特点.同时, 本文针对全局与局部前景与背景的重合度, 相应采用不同的搜索层次, 并采用了以局部近距离搜索为基础、全局搜索为补充的策略.在实验中, 本文同时引入了若干中间层次的抠像方法与本文方法进行比较, 以验证本文方法对上述2个层次的抠像结果的有效性.最后, 本文对后续探索方向进行了展望, 以推进下一步的工作.

作者简介

姚桂林

哈尔滨商业大学副教授.主要研究方向为图像处理, 人工智能.E-mail: glyao@hrbcu.edu.cn

赵志杰

哈尔滨商业大学教授.主要研究方向为图像处理, 智能信息处理.E-mail: zhaozj@hrbcu.edu.cn

辛海涛

哈尔滨商业大学教授.主要研究方向为智能信息处理, 大数据分析. E-mail: xht@hrbcu.edu.cn

胡文

哈尔滨商业大学教授.主要研究方向为商业智能, 嵌入式技术, 社会计算. E-mail: huw@hrbcu.edu.cn

秦相林

哈尔滨商业大学教授.主要研究方向为图像处理, 计算机网络. E-mail: qxl@hrbcu.edu.cn

苏晓东

哈尔滨商业大学教授.主要研究方向为人工智能, 智能信息处理.本文通信作者. E-mail: suxd@hrbcu.edu.cn