7 月 4 日，微软官方发布消息，测试版的 SwiftKey（注：2016 年，SwiftKey 被微软收购）中加入了新功能 Puppets，这个新功能提供了熊猫、恐龙、猫头鹰等多个动物的 3D 形象，还能够透过 AI 技术即时反映用户的表情和头部动态。
尽管 3D 表情近几年开始席卷全球，但值得一提的是，人们关于创建 3D 动态形象的想法，早在十几年前就已经生根发芽了。
从好莱坞大片中得到的灵感
2005 年左右，动作捕捉技术还远未达到成熟阶段，即便是在 2009 年上映的《阿凡达》，也需要演员提前在脸上标记特定的小点，穿上带有特制小球的衣服，帮助光学系统追踪人脸和身体的动作变化，最终精准地捕捉到人物角色的表情和动作。
（Source：影片截图）
Faceshift 公司（注：Faceshift 是一家脸部追踪技术公司，2015 年被苹果公司收购）的联合创始人之一 Mark Pauly 表示：
为演员的脸部标点是一个很不错的想法，因为这样可以帮助简化运动追踪的计算量。但这需要大量的设备，还需要花费大量的时间成本。
Mark Pauly 和其他研究者开始寻求新的方法──开始探索如何使用深度感应相机和算法来取代传统的方法，使脸部表情追踪变得更简单。而他们的最终目标是制作出可以即时模仿人类表情的动态数位形象。
由于人脸总是持续变化，因此，为了让机器可以准确辨识出脸部运动，必须让它辨识出在不同环境或状态下的人脸，比如变幻的光线、头部的旋转角度、人脸的肤色等。接下来就是不断地训练算法来处理这些脸部数据资讯，然后建立大量的 3D 模型，形成模拟形象。
脸部追踪技术从电影走向手机
在 2013 年开始，苹果就陆续收购了 3D 感测器制造商 PrimeSense、图像辨识公司 Perceptio、扩增实境公司 Metaio 和脸部追踪技术公司 Faceshift。从现在看来，这波疯狂收购的背后，很大一部分原因是苹果在为推出 iPhone X 做准备。
2017 年 9 月，苹果推出了 iPhone X，从外形上来看，除了经典 Home 键的消失，屏幕顶端还出现了一块“浏海”区域。
（Source：苹果）
在这块神秘的黑色浏海之下，内建了麦克风、喇叭、前置镜头，以及包括环境光感测器、距离感应器、红外线镜头、泛光感应元件、点阵投影器在内的 5 种感应器。这 5 种感应器组成了原深感镜头系统（True Depth Camera System），它可以捕捉并分析用户的脸部 3D 结构特征，类似 3D 建模一样，然后再透过苹果神经引擎（A11 Bionic Neural Engine）即时处理辨识数据。
基于原深感镜头和神经网络的支援，3D 版的 Emoji──Animoji 就这样应运而生了；用户可以在使用 iMessage 时开启 Animoji 录制一段不超过 10 秒的小影片，而 3D 动画形象会同步用户的表情，而且这个功能还支援录音。
虽然，Animoji 只是做为 iMessage 的一个功能出现，但从 3D 动画表情创新的层面上来说，Animoji 可以算得上是开山之作，它让好莱坞大片中的 3D 人脸追踪技术走向了手机。
（Source：影片截图）
在苹果开始采用 3D 结构光技术来支持人脸辨识和 Animoji 之后，三星、华为、小米等手机厂商也在不断努力之后，实现了这个技术，并打造了属于自己的“Animoji”，甚至逐渐摆脱了对原深感镜头的依赖。
基于深度神经系统的 Puppets
与苹果 Animoji 不同的是，微软 3D 动画表情 Puppets 的载体不在于系统内的短讯（iMessage），而是在于第三方软件 SwiftKey；这款个性化输入法基于先进流利的预言推理引擎，能够进行十分快速的输入操作──微软预计，SwiftKey 每周可以节约总计 2,000 万个小时的打字时间。
除此之外，Puppets 最大的不同在于，苹果 Animoji 以及其他许多 3D 动态表情都需要原深感镜头的支援，进而扫描人脸的 3D 结构图来建模，而 Puppets 仅用普通镜头也能塑造出即时 3D 动态表情。这是因为 Puppets 的运作原理基于一个由志愿者提供图片和影片集成的庞大数据库，微软透过这个数据库来训练自己的深度神经网络，进而辨识用户的表情，比如微笑和眨眼，直接进行模仿。
（Source：影片截图）
用户可以透过 Puppets 录制长达 30 秒的影片，影片会即时转化为 3D 动态形象，这些小影片还可以分享到社交媒体或其他平台上。
微软产品经理 Deepak Paramanand 表示：
我们希望 SwiftKey 用户在与家人朋友沟通时，除了预先设置的 GIF 动图之外，还能有更多的选择，因此我们创建了 Puppets。人们希望快速打字，SwiftKey 能够满足这一点；人们也希望以有趣的方式来表达自己，这一点 SwiftKey 现在也能做到了。
从应用在 3D 电影中的人脸追踪技术，到苹果开先河的 3D 动画表情 Animoji，再到微软的 Puppets，这些技术和产品或许有其不足之处，但至少可以清楚地看到它们在随着迭代而成长。
值得一提的是，目前推出的 Puppets 还只是测试版，而且仅限于 Android 手机；更多关于 Puppets 的动态，将会继续关注。
（本文由 雷锋网 授权转载；首图来源：微软）
