想必各位读者多少都有注意到,先前有开发者利用 AI 与图像处理技术,将成人影片中女主角的脸与明星交换,达到“变脸”的效果。这次 NVIDIA 释出的 FastPhotoStyle 算法,则能分析来源照片的风格,并套用至目标照片,能让目标照片保有原本的景色并染上不同风格,创造出更精彩的照片。
照片风格也能转移
照片风格转移算法的用意,在于将来源照片的风格与目标照片的景色融合为一,让合成产生的新照片能保有原本的景色,并套上不同风格。虽然目前已有许多现成算法能达到这功能,但效果并不一定理想,有时还会造成图像错误的情况。且这些算法往往相当吃运算资源,一张分辨率为 640×480 的照片可能就需花费好几分钟来处理。
加州大学默塞德分校(University of California, Merced)与 NVIDIA 研究团队为了改善这些问题,一起研发了创新的 FastPhotoStyle 算法。
FastPhotoStyle 会将处理程序拆分为风格转化(Stylization)与平滑化(Smoothing)等两步骤,在风格转化阶段,程式会分析来源照片的风格,并套用至目标照片。接下来的平滑化阶段,程式则会强化图片空间的一致性,发挥降低破绽的效果。
60 倍速超高效率
FastPhotoStyle 算法会在风格转化阶段输入来源、目标等两张照片,然后对其进行 Photo WCT 转换(Whitening and Coloring Transform),如此一来便能得到中继照片。这时候中继照片已经具有来源的风格,但是会因为合成影像的关系,让画面产生鬼影与失真。
接下来的平滑化阶段,需要让输出的照片看起来更自然,为了达到这个需求,算法会输入目标、中继照片,并比对图中邻近的区域,将相近的像素套入相同的风格,让画面更为滑顺,接下来则是避免平滑化让结果偏离 Photo WCT,以维持整体风格。
与现有算法最大的不同是,FastPhotoStyle 并不需经过更新运算的过程,每个步骤独立进行,能够让处理速度提升 60 倍,并能在研究中以人眼分辨的测试中,获得 2 倍优于目前算法的评价。
NVIDIA 将 FastPhotoStyle 算法以开源方式释出,有兴趣尝试的读者可以至 GitHub 下载程式,或是阅读 A Closed-form Solution to Photorealistic Image Stylization 白皮书。
(本文由 T客邦 授权转载;首图来源:)