iPhone X 上的 TrueDepth相机除了可以制作有趣的 Animoji 以外,还可以做些什么呢?台湾视觉效果艺术家,同时也在梦想动画公司任职的 Elisha Hung(洪健淇)利用 TrueDepth相机 追踪脸部动作 ,然后透过开发工具 Xcode 与 Apple 的增强实境框架 ARKit 来获取资料,将其转为 3D 模型,只要人脸有反应,模型就会呈现相对应的反应:
▲就算挤眉弄眼,模型也能对映出类似的表情。
你会在影片跟 GIF 中看到一个没有眼睛,看起来肤色也很糟糕的模型在挤眉弄眼,这是电影跟游戏中会见到的 3D 人体捕捉技术,以 TrueDepth相机 扫描能制作出一个略显粗糙,但是明显看得出是个人脸的模型,若经过加工之后,有了肤色跟五官,看起来会更逼真。在台湾梦想动画公司任职的洪健淇本身就是 3D 特效的专家,他在自己的部落格上也张贴了不少关于特效与3D 模型的作品:
▲脸部模型随着人激烈的表情而扭动,做出极逼真而且几乎同步的反应。
最近他没有张贴作品,而是自己的脸被用在建模的参考上,他们使用 Houdini 这套软件制作更多特效,但基础的“面具模型”则利用 iPhone X 所拍摄,透过他张贴的影片来看,可以看出效果非常真实,反应也跟真人一致,影片中看不出任何延迟感,所以可以否定这是人刻意模仿机器的行为:
人脸识别技术虽说最近受到了相当大的挑战,但是动画师的小作品让我们看到了 iPhone X TrueDepth相机 的强大之处,除了这边有精美的人脸扫描外, 其实游戏公司创始人也透过这个相机的 RAW 资料来印出他的脸,至于看起来如何,笔者认为有些可怕,比起前面的作品看来似乎粗糙不少,但勉强认得出是人的轮廓:
▲加上外观后,面孔看起来真实度更高了些。
从这点来看,TrueDepth相机有其逆天般的实力,但需要有足够的创意跟工具去将外观修饰出来,有趣的是TrueDepth相机对于人脸捕捉的确很有一套,清楚抓住了嘴巴的张合,脸孔的扭曲神态,或许TrueDepth相机未来会有手机以外的用途也不一定。这样的功能虽然不是人人都有机会用到,但对于擅长动画特效的专家来说,这点事不算什么,不过对于预算有限,想用脸部追踪来制作动画,却在器材上受到限制的制作组来说,iPhone X 应该是个不错的解套方案。