引用本文

吴晓婷, 冯晓毅, 黄安, 张雪毅, 董晶, 刘丽. 人脸亲子关系验证研究综述. 自动化学报, 2022, 48(12): 2886−2910 doi: 10.16383/j.aas.c201023

Wu Xiao-Ting, Feng Xiao-Yi, Huang An, Zhang Xue-Yi, Dong Jing, Liu Li. Survey on facial kinship verification. Acta Automatica Sinica, 2022, 48(12): 2886−2910 doi: 10.16383/j.aas.c201023

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c201023

关键词

人脸亲子关系验证，人脸分析，相似度计算，亲子数据集，深度学习 

摘要

人脸亲子关系验证即通过给定的不同人的两幅人脸图像判断其是否具有亲子关系, 是计算机视觉和机器学习领域中一个重要的研究问题, 在丢失儿童寻找、社会媒体分析、图像自动标注等领域具有广泛的应用价值. 随着人脸亲子关系验证问题受到越来越多的关注, 其在多个方面都得到了相应的发展, 本文对人脸亲子关系验证方法做了综述整理. 首先, 简要介绍了人脸亲子关系验证在近十年的研究现状, 随后对问题进行了定义并讨论其面临的挑战. 接下来, 汇总了常用的亲子数据库, 对数据库属性做了详细的总结和对比. 然后, 对人脸亲子关系验证方法进行了分类总结、对比, 以及不同方法的性能表现. 最后, 展望了人脸亲子关系验证今后可能的研究方向.

文章导读

人脸亲子关系验证(Facial kinship verification), 是指应用计算机视觉和机器学习方法, 分析来自不同人的两幅人脸图像的面部特征相似性来自动判断其是否具有某种亲子关系, 如父子、父女、母子、母女关系等. 人脸亲子关系验证是在生物遗传学理论基础上, 受心理认知学启发[1-5]衍生出来的一个计算机视觉中的重要研究方向, 因为心理学研究表明人们可以通过面部推断亲子关系. 人脸亲子关系验证技术在诸多领域具有广泛的应用价值. 在人类学、基因学领域, 有助于分析社会关系中近源亲属的遗传特性; 在社会公共安全领域, 可以应用于丢失儿童寻找、国家边境控制、刑事侦查等, 如可以快速验证家庭重聚签证申请人的身份信息以及服务快速侦察儿童乞讨、拐卖儿童等违法行为; 在社交媒体领域, 可以用于家庭信息分析、家庭相簿整理、自动图像标注等; 在生活娱乐方面, 可以用于子女人脸图像合成、年老人脸合成等; 此外, 亲子关系验证在智能家居、物联网等领域也有潜在应用价值, 如亲子行为理解、家庭信息互联等. 该问题由Fang等[6]于2010年提出, 至今仅有十余年的研究历史, 是一个近几年新兴的、具有挑战的一个研究方向, 鉴于人脸亲子关系验证研究潜在的学术价值和应用价值, 近期国内外研究者对该问题的关注呈上升趋势.

国际上, 开展人脸亲子关系验证研究的主要有美国康奈尔大学、东北大学和西弗吉尼亚大学、荷兰阿姆斯特丹大学、芬兰奥卢大学等; 国内开展该方面研究的主要有清华大学、北京邮电大学、西北工业大学等. 近年来, 国际上多次举办了人脸亲子关系验证比赛和专题研讨会. 第1届国际亲子关系验证比赛(Kinship Verification in the Wild, KVW)于2014年在国际生物特征识别会议(International Joint Conference on Biometrics, IJCB)上举办[7]; 第2届KVW比赛举办于2015年国际人脸与手势自动识别会议(IEEE Conference on Automatic Face and Gesture Recognition, FG)[8]; KVW系列比赛均为单任务, 基于人脸亲子关系验证展开. 随后, 美国东北大学SMILE实验室[9-10]自2017年起每年举办家庭识别竞赛(Recognizing Families in the Wild, RFIW), 该竞赛于2017年在ACM 国际多媒体会议(ACM International Conference on Multimedia, ACM MM)[10]① 上举办, 之后每年在FG会议上[9]举办, 2019年 在Kaggle平台上举办了RFIW竞赛①, ①. 与以往不同, RFIW系列比赛基于大规模亲子数据库[11]展开的多任务人脸亲子识别比赛, 包括人脸亲子关系验证、三人组人脸亲子关系验证以及家庭识别、家庭检索.

综上所述, 人脸亲子关系验证的研究获得计算机视觉和模式识别领域研究者的广泛关注, 研究者提出很多方法来解决该问题[6, 12-20]. 近期, 国外已经有一些学者对人脸亲子关系验证问题进行了综述, 表1对比了这些综述论文, 具体代表性工作总结如下. 2014年, Dandekar等[21]对早期人脸亲子关系验证方法进行了总结, 包括研究目标、应用价值、方法框架和早期代表性方法. 2016年, Wu等[22]对早期人脸亲子关系验证方法进行了归类总结, 将已有方法分为4类: 基于特征的方法、基于度量学习的方法、基于深度学习的方法和其他方法. Almuashi等[23]在2017年的综述则侧重于阐述人脸亲子关系验证问题的衍生、定义、研究意义以及难点与挑战, 但较少讨论解决方法. Georgopoulos等[24]在2018年将人脸亲子关系验证任务和人脸衰老问题结合, 分析了其之间的相互关系, 介绍了年龄因素对于亲子关系验证问题的影响, 以及祖辈人脸图像在人脸衰老变化中的引导作用. 2020年, Qin等[25]对人脸亲子关系验证方法进行归类总结, 将其分为基于亲子特征的方法和基于数学度量分析的方法, 但是较少涉及近期基于深度学习的人脸亲子关系验证方法. 2020年, Robinson等[26] 侧重于总结RFIW系列比赛, 包括比赛任务介绍、现阶段性能对比及今后可能的研究方向, 但忽略了其他人脸亲子验证方法的汇总. 目前, 国内尚没有关于人脸亲子关系验证方法的综述.

总而言之, 已有的综述对现有人脸亲子关系验证问题的研究方法总结还很不全面, 尤其缺乏对近期基于深度学习的人脸亲子关系验证方法的总结以及近几年以来出现的重要数据集的总结. 为吸引更多的研究学者参与到该领域的研究, 促进其发展, 本文尝试首次对人脸亲子关系验证的相关研究成果进行全面综述. 首先从人脸亲子关系验证问题的基本定义出发, 对该问题研究中存在的困难与挑战进行了深入剖析; 接下来, 本文对人脸亲子关系验证领域的主流数据库的发展脉络进行了梳理与总结; 随后系统地对亲子关系验证的方法进行了梳理、归纳、评述和总结; 最后对人脸亲子关系验证未来的研究方向进行了探讨.

图 3  亲子关系验证的一般流程

图 5  LBP算法

图 8  NRML算法框架图

人脸亲子关系验证是计算机视觉领域一个新兴的研究方向, 具有重要的理论意义和实际应用价值, 同时也存在诸多难点与挑战. 本文对人脸亲子关系验证问题的起源与发展做了详细的回顾, 对该领域主流数据集进行了总结, 对已有人脸亲子关系验证方法进行了详细地梳理、归类和评述, 对主流方法的优缺点进行了分析、性能进行了对比; 在此基础上, 对未来人脸亲子关系验证的可能研究方向进行了展望. 由于篇幅所限, 许多问题未及深究. 本文旨在使国内同行对该领域有一个较为全面的了解, 以期引起更多研究者对该领域的关注.

作者简介

吴晓婷

西北工业大学电子信息学院与芬兰奥卢大学机器视觉与信号分析中心博士研究生. 主要研究方向为人脸亲子关系验证, 计算机视觉, 深度学习方向. E-mail: wuxt14@mail.nwpu.edu.cn

冯晓毅

西北工业大学电子信息学院教授. 主要研究方向为计算机视觉, 图像处理, 雷达成像和识别. E-mail: fengxiao@nwpu.edu.cn

黄安

国防科技大学系统工程学院硕士研究生. 主要研究方向为计算机视觉, 模式识别. E-mail: huangan99@nudt.edu.cn

张雪毅

国防科技大学系统工程学院硕士研究生. 主要研究方向为计算机视觉, 模式识别. E-mail: zhangxy1998@nudt.edu.cn

董晶

中国科学院自动化研究所智能感知与计算研究中心研究员. 主要研究方向为模式识别与图像处理, 计算机视觉, 多媒体内容安全. E-mail: jdong@nlpr.ia.ac.cn

刘丽

国防科技大学系统工程学院教授. 主要研究方向为图像理解, 计算机视觉, 模式识别. 本文通信作者. E-mail: liuli_nudt@nudt.edu.cn