脸部辨识技术已进入大规模应用,个资等隐私问题也越来越受关注,针对隐私保护、躲避和攻击脸部辨识系统的研究也陆续出现。
其中有篡改输入脸部辨识系统的影像,让 AI 无法辨识图中人脸的,如多伦多大学的《Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization》。
也有 CMU 设计的特殊眼镜,戴上后即便经过监控镜头,仍无法辨识影像有没有人脸,或辨识成他人;且这种掩饰不算夸张,不容易引起别人怀疑(论文《Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition》)。
隐藏身份的“换脸”
近日又出现一篇新论文,来自挪威科技大学《DeepPrivacy: A Generative Adversarial Network for Face Anonymization》,从更新、更有挑战性的角度欺骗脸部辨识系统:不改变原来资料分散的前提下,将人脸匿名化,通俗地说就是模型汇出还是一张脸,姿态和背景也和原图相同,但完全无法辨识原来的脸的身份,就是“换了一张脸”。
作者提出的模型 DeepPrivacy 是条件生成式对抗网络(conditional GAN),建构程式能以原有背景及稀疏的动作标记生成逼真的匿名(其他身份)人脸。建构程式的架构是 U-net,用逐步扩大影像的方式最终生成 128×128 影像。
为了避免泄露个人资讯给模型,按照作者的设计,模型输入就直接是经过随机噪声遮挡的人脸,模型完全观察不到任何原有脸部资讯。不过,为了保证生成的品质及动作一致,作者仍需要两组简单的影像标记结果:圈出脸部位置的边框,以及(与 Mask R-CNN 相同)标出耳朵、眼睛、鼻子、肩膀共 7 个关键点的稀疏姿态估计值。
根据作者的测试,经过模型匿名化的人脸仍保持接近原图的脸部可辨识性,普通的脸部辨识模型对匿名化后的影像,辨识出人脸的平均准确率只相对下降 0.7%,而人脸含有的身份资讯自然 100% 不重复。
▲ 不同脸部匿名方式对比,左起原图、DeepPrivacy 模型遮挡后输入、马赛克、高斯模糊、DeepPrivacy 模型汇出。
作者也做了一项具前瞻性的工作,那就是整理发表新的多姿态脸部资料集 Flickr Diverse Faces。资料集共 147 万张人脸,并按照这模型输入所需,标出了含脸部位置的边框及 7 个关键点。资料集的独特之处在于多样性,涵盖许多不同的脸部姿态、部分遮挡、复杂背景、不同的人。
▲ 一些 Flickr Diverse Faces 资料集的人脸样本。
相关研究比较
▲ 另外的脸部匿名化结果──左图大家本来可能很熟悉,现在就难认出来了。
论文模型的建构程式设计参考《Progressive Growing of GANs for Improved Quality, Stability, and Variation》论文,从低分辨率的影像开始,逐步提高分辨率、增加细节,最终可同时兼顾影像内容高度协调、高稳定性、高多样性。这种方法是 GANs 首次生成 1,024×1,024 大小的高清影像。作者还一并讨论改进 GANs 训练过程的技巧。
可能有人已想到,DeepPrivacy 所做的“生成匿名逼真人脸”工作,其实就和影像补全(Image Inpainting)高度类似,都是让模型为影像指定区域填补内容。不过影像补全时要补全的不仅是人脸,还包含各种日常物体和场景。也有影像补全研究人员尝试补全人脸的效果,他们在画质解晰度、资料丰富、姿态单一的 Celeb-A 资料集尝试,结果模型无法生成逼真、身份不同且随机的人脸。
另外,辉达《A Style-Based Generator Architecture for Generative Adversarial Networks》是 CVPR 2019 最佳论文之一,也是目前为止生成高清晰度、高多样性人脸效果最好的方法。毋庸置疑,这种方法生成的人脸比 DeepPrivacy 更逼真,且可生成随机新身份,不过就没办法控制同样的姿态和背景了。
作者认为大企业可能透过这种方法躲避欧盟《通用资料保护条例》(GDPR)的约束。GDPR 要求,使用个人的隐私资料时必须定期征得当事人同意;但是当无法根据资料辨识定位某个人时,企业无需同意就可使用这些资料。这种脸部匿名化方法就能成为“无法辨识个人,进而绕过 GDPR 限制”的帮手。
不过,在高度遮挡、不常见的角度、复杂背景下,模型还是会出现一些错误的生成结果(扭曲的脸看起来有些可怕)。作者也透过对照试验,说明更大的模型、7 个动作关键点的标记都有助于生成更高品质的影像。
Reddit 及 Twitter 的讨论串,有人提出,仅变更脸部不足以完全隐藏身份,有的人(如奥巴马)仅凭发际线就有机会被认出来,加上穿着、场景、身边的人,知名人物被认出来的可能性大大增加;也有人提到,变成随机身份,还不如都用 DeepFake 把所有的脸换成同一张虚拟人脸,同样可达到无法通过脸部辨识确定身份的效果;网友还吐槽为什么要取 DeepPrivacy 这么俗的名字。
- 开源计划网址:DeepPrivacy
(本文由 雷锋网 授权转载;首图来源:Github)