近日于德国举行的欧洲电脑视觉会议 ECCV 2018 上，卡内基美隆大学（CMU）研究团队展示出它们设计的图像处理方式，可以自动将影片中的内容转换为另一个影片的内容，不只是人们面部表情，甚至连花朵的绽放、云朵的移动都可以进行转换。
由于团队设计出的方法不需要人为干预，因此可以将大量影片快速转换，同时也可用于将黑白影片转换为彩色，或替 VR 体验创造内容，因此对于电影制作来说可说是福音。
CMU 机器人研究所博士生 Aayush Bansal 表示，他协助设计这种算法的主要动机，就是协助相关电影制作能够更快、更低成本的进行。“这是艺术家的工具，给予他们一个初始模型可以自行改进。”
当然 Bansal 也不讳言的表示，这项技术确实有被用于“deepfakes”的可能──所谓的“deepfakes”，指的是影片中未经许可置入某人的影像，使得那个人看起来已经完成或说出一些不合时宜的事物。
“对于这个领域的所有人来说，造假可以如此进行且具有影响力是非常惊人的，找到方法去发现它们将会是很重要的进展。”
团队使用的技术是基于生成对抗网络（GANs），其中鉴别器（discriminator）用来学习检测图片或影片的内容是否一致，而生成器（generator）则是用来学习如何创造符合某种风格的图片或影片；在这两种模型激烈竞争之下，系统最终就会懂得如何将内容转换成某种风格。
而在 GAN 的相关应用上，CycleGAN 是相当受到欢迎的一种变体应用，这项 2017 年出现的技术已经证明能有效将图片转换为另一种图片的样式，然而在整体影像转换上仍具有一些瑕疵存在。
▲ 影片中可以看出，右侧的 Recycle-GAN 相较起中间的 CycleGAN 更为真实。
为了应对这样的问题，研究人员开发了名为 Recycle-GAN 的新技术，不只是空间资讯，同时也将额外的时间变化纳入考量，进一步限制转换的过程并产生了更好的结果。
在研究人员的测试影片中可以看到，Recycle-GAN 可以自由的将两位脱口秀主持人的影片相互套用，让 John Oliver 做出 Stephen Colbert 的表情，反之亦可以让 Colbert 说出 Oliver 口中的话。
而将真实人物的表情转换为卡通人物也可轻易做到，不仅是面部表情，表演的动作和节奏也都可以进行。同时除了人以外，甚至是将花朵以其他花朵的盛开形式绽放、将天空中云朵的移动转换为另一种天气的情况，类似的改变都能够轻易做到。
▲ RecycleGAN 可以让花朵以其他花朵的形式绽放。
Bansal 认为，这种效果对于能在夜间或恶劣天气驾驶的自驾车来说很有用。因为要获得能识别物体的夜景、暴风雨天气的影像非常困难，而 Recycle-GAN 则可以将容易获得、识别物体的日间场景转换为夜间或暴风雨场景，提供自驾车影像来训练面对这些情境的操作。
- Beyond deep fakes: Transforming video content into another video’s style, automatically
- Recycle-GAN: Unsupervised Video Retargeting
（首图来源：CMU）
延伸阅读：
- 手脚不协调跳不出舞步？有了算法任何人在影片中都是专业舞者
- 向假照片宣战，Adobe 发展假照片鉴识技术
- 告别邪神作画，这个 AI 艺术家“把夏天变冬天”
