引用本文

徐昌凯, 冯卫栋, 张淳杰, 郑晓龙, 张辉, 王飞跃. 针对身份证文本识别的黑盒攻击算法研究. 自动化学报, 2024, 50(1): 103−120 doi: 10.16383/j.aas.c230344

Xu Chang-Kai, Feng Wei-Dong, Zhang Chun-Jie, Zheng Xiao-Long, Zhang Hui, Wang Fei-Yue. Research on black-box attack algorithm by targeting ID card text recognition. Acta Automatica Sinica, 2024, 50(1): 103−120 doi: 10.16383/j.aas.c230344

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230344

关键词

对抗样本，黑盒攻击，身份证文本识别，物理世界，二值化掩码 

摘要

身份证认证场景多采用文本识别模型对身份证图片的字段进行提取、识别和身份认证, 存在很大的隐私泄露隐患. 并且, 当前基于文本识别模型的对抗攻击算法大多只考虑简单背景的数据(如印刷体)和白盒条件, 很难在物理世界达到理想的攻击效果, 不适用于复杂背景、数据及黑盒条件. 为缓解上述问题, 本文提出针对身份证文本识别模型的黑盒攻击算法, 考虑较为复杂的图像背景、更严苛的黑盒条件以及物理世界的攻击效果. 本算法在基于迁移的黑盒攻击算法的基础上引入二值化掩码和空间变换, 在保证攻击成功率的前提下提升了对抗样本的视觉效果和物理世界中的鲁棒性. 通过探索不同范数限制下基于迁移的黑盒攻击算法的性能上限和关键超参数的影响, 本算法在百度身份证识别模型上实现了100%的攻击成功率. 身份证数据集后续将开源.

文章导读

近年来, 以深度学习为核心的人工智能技术得到了快速的发展, 广泛应用到了刷脸支付, 自动驾驶, 内容生成等多种生产生活场景. 自从2012年Krizhevsky等[1]利用深度学习模型AlexNet赢得ImageNet竞赛冠军后, 对于深度学习模型的研究开始呈现井喷式增长, 在计算机视觉[2], 语音识别[3], 自然语言处理[4], 强化学习[5]等领域不断刷新着性能表现. 如第一个击败人类职业选手的围棋高手AlphaGo[6], 观测水平可以和人类利用冷冻电镜相媲美的蛋白质结构预测模型AlphaFold[7], 以及当下非常火爆的生成式智能聊天机器人ChatGPT[8]. 海量数据和强大算力支撑了深度学习模型在人工智能技术中的核心地位, 并深刻影响着人工智能技术的发展. 随着人工智能技术的发展, 各种检测和识别模型引起了人们对隐私问题的担忧. 各种包含隐私信息的图片在传输过程中很容易被其他人获取, 并借助深度学习模型迅速获取其中的隐私信息, 存在很大的隐私泄露隐患.

深度学习模型在不同领域和任务上取得了优异表现, 但是其在对抗场景下的脆弱性同样值得关注. 许多研究表明[9-14], 深度学习模型容易受到对抗样本的干扰, 从而给出错误的预测结果. 对抗样本是由攻击者在正常样本的基础上, 通过添加人类难以发现的细微对抗噪声所恶意构造的样本数据. 以图像分类模型为例, 如图1所示, 在正常样本上表现良好的模型, 在对抗样本上却给出了错误的预测结果. 对抗样本广泛存在于图像、文本、语音等不同模态, 且针对各个模态的具体模型, 如目标检测, 文本识别, 语音识别等都表现出较强的攻击性能. 不仅如此, 数字世界中的对抗样本还可以通过不同的方式(如印刷、喷绘、3D打印等)转换到物理世界[15-17], 并且对环境因素的干扰具有一定的鲁棒性.

图 1  针对图像分类模型的对抗样本[14] (左: 正常样本,中: 对抗噪声, 右: 对抗样本)

对抗样本是在特定的攻击条件下生成的, 目前大多数工作将其分为白盒条件和黑盒条件. 两者的区别在于攻击者掌握被攻击对象(模型)信息的多少, 白盒条件下攻击者可以获取被攻击对象的全部资料, 黑盒条件下只能获取部分资料. 黑盒条件较白盒条件的攻击难度更高, 且更贴近实际的攻击场景. 针对目标检测(2D/3D), 文本识别, 语音识别等模型的对抗攻击算法已经涌现出了许多研究工作, 大多数工作都可以在白盒条件下达到较高的攻击成功率(接近100%), 但在黑盒条件下攻击成功率依然较低. 除此之外, 目前大多数工作集中于单模态的模型架构, 缺少对跨模态模型的探索. 已有的针对跨模态模型(主要是光学字符识别模型)的对抗攻击算法大多只考虑了简单背景(如印刷体)的数据集和白盒条件的攻击设定, 不适用于复杂背景的图像数据和更为严苛的黑盒攻击条件. 此外, 大多数工作在生成物理世界中的对抗样本时, 攻击设定都是白盒条件; 很少有工作同时考虑了物理世界和黑盒条件的攻击设定. 物理世界和黑盒条件的组合是一种攻击难度极高的攻击设定, 非常具有挑战性, 却也最贴近实际场景, 具有较高的理论与应用价值.

针对上述问题, 本文对身份证隐私保护方法进行研究, 提出了一种针对身份证文本识别模型的黑盒对抗攻击算法. 身份证文本识别模型是由图像到文本的跨模态模型, 同时涉及到图像特征提取和文本序列建模. 与已有的针对文本识别模型的研究工作相比: 1) 本文同时考虑黑盒条件和物理世界攻击设定, 并且在商用身份证识别模型(百度身份证识别模型)上达到100%攻击成功率; 2) 针对黑盒条件下对抗样本攻击成功率较低的问题, 本文探索了对抗样本在不同范数限制下的攻击能力上限, 并在保证攻击成功率的前提下使用二值化掩码来改善对抗样本的视觉效果; 3) 针对物理世界中环境因素干扰的问题, 本文在生成对抗样本的过程中引入了空间变换, 使得方法对于拍摄距离、光照等环境因素的干扰具有一定的鲁棒性.

图 2  几种典型的黑盒迁移攻击算法关系图

图 3  CRNN文本识别模型架构图[30] (CNN表示卷积神经网络. “-”表示空字符)

本文提出了针对身份证文本识别模型的黑盒攻击算法, 同时考虑了黑盒条件和物理世界两种高难度的攻击设定, 在对比分析基于迁移的黑盒攻击算法的基础上, 引入了二值化掩码和空间变换, 改善了较大范数限制下对抗样本的视觉效果和其在物理世界中的鲁棒性. 二值化掩码的加入, 将对抗噪声的搜索空间限制在了背景区域, 只通过背景的改变就影响到了文本识别模型的决策边界, 从侧面揭示了文本识别模型对字体所处的背景特征具有较强的依赖性. 空间变换在数字世界建模了物理世界中光照, 噪声和拍摄距离的影响, 使得对抗样本对环境因素的干扰具有一定的鲁棒性. 在本地的黑盒身份证文本识别模型和商用的百度身份证文本识别模型上均达到了100%的攻击成功率. 与已有的针对文本识别模型的对抗攻击算法不同, 本算法在较复杂背景的数据集, 黑盒攻击条件, 物理世界三个方面均具有良好的泛化优势, 攻击设定更加贴近现实场景, 实用价值较高. 未来我们将在驾驶证, 社保卡和银行支票等自然场景文字识别应用上进一步将本文的结论进行扩展, 以适应更多的应用场景.

作者简介

徐昌凯

2023年获得北京交通大学计算机与信息技术学院硕士学位. 主要研究方向为计算机视觉与对抗攻防技术. E-mail: 20120320@bjtu.edu.cn

冯卫栋

北京交通大学硕士研究生. 2022年获得中国地质大学(北京)学士学位. 主要研究方向为计算机视觉与对抗攻防技术. E-mail: wdfeng@bjtu.edu.cn

张淳杰

北京交通大学计算机与信息技术学院教授. 主要研究方向为图像处理与理解, 计算机视觉和多媒体数据处理与分析. 本文通信作者. E-mail: cjzhang@bjtu.edu.cn

郑晓龙

中国科学院自动化研究所研究员. 主要研究方向为大数据与社会计算和多模态数据感知与理解. E-mail: xiaolong.zheng@ia.ac.cn

张辉

北京航空航天大学交通科学与工程学院教授. 主要研究方向为车辆动力学及其控制, 鲁棒控制, 网络控制系统以及信号处理. E-mail: huizhang285@buaa.edu.cn

王飞跃

中国科学院自动化研究所研究员, 复杂系统管理与控制国家重点实验室主任, 中国科学院大学中国经济与社会安全研究中心主任, 澳门科技大学特聘教授. 主要研究方向为社会计算, 平行智能与知识自动化. E-mail: feiyue.wang@ia.ac.cn