视讯录影去背其实并不是什么新鲜功能了,不过 Google 透过机器学习将更精准且几乎不受器材限制(苹果的 Clips 去背应用还需要用到 iPhone X 的 TrueDepth 深度相机)的影片 即时去背 功能,透过分割人物与背景的方式来带给更多的手机用户使用,并且已经在 iOS 与 Android 版的 YouTube Stories 启动限量测试。
▲图片来源:Google
先前,如果要用手机或电脑达到人像与背景分离的去背特效,可能需要相对单纯的背景(俗称绿背景)或者是类似 iPhone X 上那个 TrueDepth 景深镜头的特殊硬件才可达成。不过 Google 再次应用了机器学习的优势,并且在自家招牌影音平台新推的 YouTube Stories 开始逐步测试。
Google 选择像自家 Pixel 2 那样,解释自己是如何运用各式技术在 YouTube Stories 推出,这个可以即时运算分割人物与背景的去背功能。开发团队透过机器学习分析了成千上万笔前后景的范例,借此以画素点为单位分辨出确切的发丝、颈部、皮肤、嘴唇等人脸构造,使其与背景能够有所分别(分割)。
为了要能在影片里应用,则是至少要满足 30fps 的运算程度才可应用,在 Google 自己的测试中,iPhone 7 可以达成 100+ fps,至于自家的 Pixel 2 则是仅有 40+ fps,这算是有点意外的结果(毕竟手机新旧就有一定差距了…),不过都能达到要求的基本运算效能,达成相当不错的套用成果。不仅可以在动态录影时,即时改变背景亦能对前景做出遮蔽特效,相当有意思,感觉更能吸引使用者去试试他们的 YouTube Stories 进行创作。
引用来源:Google Blog