用单镜头拍出景深照并不是新鲜事,之前 iPhone XR 及更早的 Google Pixel 2 都有类似尝试。
苹果新推出的 iPhone SE 也是如此,但镜头元件过于老旧,主要功劳还是在新算法。
▲ 左起为新 iPhone SE、iPhone 8 和 iPhone XR 的镜头感测器。
从 iFixit 拆解报告得知,新款 iPhone SE 某些零部件和 iPhone 8 完全相同,甚至可互换使用──就包括 1,200 万画素的广角镜头。
“旧瓶装新酒”对 iPhone SE 而言不稀奇。退回 4 年前,第一代 iPhone SE 也套用 5s 的外观和大部分硬件,只有芯片和 6s 一样,让用户以更低价格获得旗舰机的性能体验。
理论上,照搬相同的镜头硬件,两者拍照特性应该也不会有太大差异。比如 iPhone 8 就不支援拍主体清晰、背景模糊的小景深照片,也就是我们常说的“人像模式”。
但查阅苹果的支援页面时会发现,iPhone 8 不支援人像模式,新 iPhone SE 却有支援──哪怕两者都只有一颗后镜头,且规格完全一样。
正常情况下,手机拍“人像模式”景深照片都得靠双镜头──好比人类的双眼,位置不同的镜头取得两张不同角度的画面,然后结合视角差算出景深,做到背景有景深,保持主体清晰。
如今列表的 Plus 系列,或是近几年 X、 XS 和 11 等,基本都是靠多镜头系统做到人像景深。
那么 iPhone 的前置单镜头又怎么做到?核心在 Face ID 系统的红外点阵投影器,也能取得够精确的深度数据,相当“辅助镜头”。
这么来看,iPhone SE 能拍人像模式照片就很特殊了:一来没有多镜头,二来没有 Face ID,基本没有硬件支援的可能性。
很显然,苹果在软件层面做了些看不到的改动。
最近,第三方相机应用 Halide 的开发者 Ben Sandofsky 就透露技术原理,解释为什么新 iPhone SE 采用和 iPhone 8 一样的单镜头规格,但却可以做到后者无法做到的人像拍照模式。
他们表示,新 iPhone SE 很可能是“第一款只使用单一 2D 图像,就可以生成人像景深效果的 iPhone”。
你可能会反驳,iPhone XR 不也是单镜头拍景深的吗,难道 SE 就不是照搬?
然而拆解证明,iPhone SE 和 iPhone XR 的镜头不一样,这也导致两者技术有差异。
▲ 三星 Galaxy S7 系列是首次将 DPAF 技术用在智能手机镜头的设备。
最重要的一点,iPhone XR 镜头可使用双画素自动对焦(DPAF)技术取得一定深度数据,而不完全只靠软件模拟。
简单来说,DPAF 技术相当于将镜头感测器的画素点,分割成两个更小的并排画素,捕捉两张角度不同的照片,就像人类左右眼。
虽然这产生的视角差不如原生双镜头明显,但仍有利算法构建深度讯息。
▲ Google Pixel 2、3 使用 DPAF 技术取得两张视差图,肉眼难以辨别,但仍可帮助图像分割算法判断。
之前 Google 在 Pixel 2、3 也运用此技术达成单镜头拍出景深照。而在 Pixel 4,由于升级多镜头,视差探测明显比单镜头更精准。
▲ 再来看看 Pixel 4 靠两颗镜头获得的数据,视差更明显,也能收集到更精确的数据。
至于新 iPhone SE,由于感测器过于老旧,Halide 称无法依靠感测器取得视差,基本只能靠 A13 Bionic 芯片提供的机器学习算法,模拟和生成深度数据图。
一句话解释就是,iPhone SE 的人像景深拍摄,真的就是完全靠软件和算法。
▲ 使用 iPhone XR 和新 iPhone SE 直接拍这张照片。
Halide 用 iPhone XR 和新 iPhone SE 分别翻拍一张狗狗照(并非实物,只是拍“一张照片”),然后比较两张图的深度数据。
他们发现,iPhone XR 仅简单图像分割,将主体抓出来,但没有正确辨识出狗狗的耳朵。
▲ 深度数据图,左边是 iPhone XR,右边是新 iPhone SE。
但新 iPhone SE 配合 A13 芯片全新算法,得到完全不同于 XR 的深度图,不仅正确辨识出小狗的耳朵和整体轮廓,还分层处理远近背景。
这种深度图不是 100% 准确,Halide 表示,新 iPhone SE 拍摄非人脸题材时,抓图和景深明显没有拍人像精确。
尤其主体和背景图十分模糊的情况下,此时多镜头头的优势较明显。
▲ 非人脸题材且主体和背景没有明显分割,新 iPhone SE 就很容易出错。
从上图可看到,配备多镜头系统的 iPhone 11 Pro,不仅能将圆木小植物轮廓完整勾出来,且还能辨识背景的远近距离,并分层处理。
▲ 深度数据图,左边是 iPhone 11 Pro,右边是新 iPhone SE。
而新 iPhone SE 尽管同样有分层处理,但主体和背景完全融在一起,后期处理时自然比 iPhone 11 Pro 差。
▲ 实际景深样张,左边是 iPhone 11 Pro,右边是新 iPhone SE。
这也是为什么,现在新 iPhone SE 使用 iOS 内建相机应用时,只有检测到人脸的情况下,才能启用“人像模式”拍景深照片,其余都会出现错误提示,这点和 iPhone XR 一样。
原因仍然和苹果算法有关。Halide 提及名为“Portrait Effects Matte”(人像效果遮罩)技术,主要用于人像模式拍照找出精确的人物轮廓,包括边缘发丝、镜框等细节,以便分割主体和背景。
目前来看,这套基于机器学习的分割技术更偏向“拍人”,可弥补 iPhone XR 、iPhone SE 这类单镜头手机视差数据的不足,但如果拍摄对象从人物换成物体,算法会有一定概率判定错误。
至于 iPhone 11 Pro 这类多镜头手机,就算抓图算法有局限,还是可透过镜头硬件直接取得视差数据,所以使用内建相机时,也能在非人脸场景使用人像模式,效果不会太差。
▲ 新 iPhone SE 的前镜头也支援人像模式,对抓人脸准度非常高,成像差异只有散景效果。
当然,官方不支援的东西,第三方开发者还是可加以改造。如今 Halide 应用就支援 iPhone XR、SE 拍摄小动物或其他物体的景深照,背后也是利用苹果的人像效果遮罩技术来构建深度图,同时配合后端优化。
▲ 使用 Halide 等第三方应用,就可以用新 iPhone SE 拍非人脸题材的景深照。
总结此次新 iPhone SE 的人像景深照,算是单镜头手机靠软件优化的极限了。严格意义得归功于 A13 芯片,如果不是它的最新算法,单靠一颗过时的镜头,SE 的拍摄体验显然得打对折。
这多少证明,智能手机发展多镜投系统仍有意义。我们可用超广角拓宽取景视野,靠潜望式长焦获得无损变焦照片,更别说 ToF、激光雷达这类“特殊镜头”对 AR 的帮助,这些都不是单靠 OTA 升级或算法就能做到的特性。
当然,一味吹嘘、比拼镜头数量同样令人厌烦,如果说硬件只是决定成像下限,那么优秀的算法,就能显著拉升成像上限,甚至重新压榨出老硬件的价值和潜力。
不知道再等个 4 年,下一代 iPhone SE 面世时,单镜头还能否在手机业有一席之地?
(本文由 爱范儿 授权转载;首图来源:苹果)