“剥离技术和参数等外衣,探求设计与人文的本源。”没有太多硬件基因的 Google,对智能手机产品一直有另一番理解,尤其是拍照方面。
2016 年 10 月 5 日,Google CEO 桑德尔‧皮蔡(Sundar Pichai)提出由“行动优先”转为“AI 优先”口号,同日亮相的初代 Pixel 手机就是理念的体现。
表面看,Pixel 使用的镜头和更早推出的 Nexus 6P 并没有太多变化,都是一样的 1,230 万像素和 1.55μm 单像素大小,区别仅是加入对焦功能。
但两者却在 DxOMark 获得完全不同的评价──Nexus 6P 只有不起眼的 73 分,但 Pixel 却以 89 分拿下榜首。
之后第二代 Pixel 推出时,Google 也开始把卖点放在拍照,这款手机的评分涨到 98 分,一举超过同期三星 Galaxy Note 8 和苹果 iPhone 8 Plus 再度登顶,DxOMark 当时的评语是“创下智能手机相机品质的新纪录”。
连续两次拿下榜首,加上媒体和用户好评如潮,开始让 Google 亲儿子手机散发出神秘的吸引力。
虽然 DxOMark 得分仅供参考,但最让人不解的是,两代 Pixel 手机都仅是单镜头就获得这成绩,其他手机基本都是后置双镜头,难道 Google 的 AI 演算法真已强大到无视物理硬件了吗?
哪怕是今天,新发表的 Pixel 3 手机也依旧没有采用主流的双镜头乃至三镜头组合,这种“靠单镜头独步天下”的功力,除了 Google 也很难再找到第二家。
但现在来看,Google 确实有这份“任性”的资格和实力。
Pixel 3 的镜头有多聪明?
在用户的认知中,摄影过程无非 3 个步骤:1. 看到想拍的东西;2. 启动相机按下快门,记录瞬间;3. 得到一张静止不动的照片。
专业摄影师就不一样了。他们得根据现场光线情况调整快门和光圈,选择合适焦段的镜头,拍摄时会考虑构图和按快门的时机,拍完还要拿去 PS 或 LR 后制一下,最终才得出外人眼中的各种“大片”。
但智能手机普及改变了一切,不管 Pixel 还是 iPhone 或其他手机,手机厂商都在淡化原本只有摄影师才懂的 ISO、曝光时间等数值,这些交给处理器和算法完成就好了,用户只要按下快门,也能拍出一张媲美单眼的照片。
Google 显然也懂得“拍照傻瓜化”的道理,只是比起寻求专属硬件来点更多技能树,更喜欢用 AI 和各种堆叠算法来解决问题。
这种思路很有趣,说白了,Google 希望让机器自己学习如何才能拍得更好。
去年 Pixel 2 系列,Google 专门加入一颗名为“Pixel Visual Core”的自订影像处理单元,这是 Google 与英特尔合作开发的 8 核心辅助处理器,用来加速各种与 AI 拍照相关的工作,比如 Pixel 系列一贯主打的 HDR+。
而 Pixel 3,这颗 Visual Core 核心也有更新,处理速度比去年快了 40%,意味着能更快处理各种繁杂的片源资料,在机器学习的帮助下还让 Pixel 3 解决一些日常拍照的痛点。
首先是名为“Top Shot”的照片精选特徴,能在你按下快门时自动记录前后数秒的影像,有点类似 iPhone 的 Live Photos,但此时 AI 会自动将“最佳时刻”打上标签供你挑选,所以就算不小心拍到闭眼,也可以选择其他画面当作最终照片。
▲“Night Sight”不仅适用于后置,也适用前置。(Source:Google)
至于伸手不见五指的场景,Google 的方案是“Night Sight”夜景模式,核心还是借助 HDR+ 的连续取样和多帧合成,尽可能提高照片亮度,彻底解决“暗光拍不到”的问题。
(Source:Google)
为了强调此模式的出众效果,Google 在发表会还对隔壁 iPhone XS 一番“吊打”,不知道苹果的心情怎样。
还有一个是“Super Res Zoom”,主要是取景变焦后图片放大的情况,其实是将一些传统单反的“像素偏移模式”用在变焦功能。
▲ Engadget 日本使用 Pixel 3 拍摄的范本,放大框选部分。(Source:Engadget)
▲ 框选部分放大。(Source:Engadget)
具体来说,Google 抓住我们取景时都会轻微抖动的小细节,自动根据手部运动移动感光元件,然后连续抓拍数张照片,再借助算法合成。
用这个方式,每个像素都可获得足够的 RGB 资讯,最终便能做成一张拥有超高分辨率的照片。
按照 Android Central 的说法,哪怕放大 8 倍,Pixel 3 的变焦照片仍能保持和 Pixel 2 的 2 倍变焦一样的清晰度。这意味着就算没有独立长焦镜头,Pixel 3 仍可拍出不亚于光学变焦效果的照片。
Google 延展的不只广度,还有深度
我们已看过所有能选择的镜头组合,单纯加一颗镜头并没有好处。
Pixel 3 发表会后,Google 产品副总裁 Brian Rakowski 说。在他看来,Pixel 手机已能透过感测器获得够多资讯,之后再用机器学习等方式,同样能产生用户所需的照片。
(Source:影片截图)
本质上看,Google 尝试用“计算摄影”(Computational Photography)概念,为传统摄影引入 AI 机器学习等进阶算法,等同重新整理分辨率、光照、对焦点和景深等这类影像资讯,突破单镜头的物理界限。
打个比方,以 Pixel 2 的 HDR+ 为例,表面上看用手机拍照只是开启取景器再咔嚓一声,可暗地里镜头在你开启取景器后就开始采集工作了,这些资料会即时保留在缓冲区,最终由合成算法呼叫出来。
除此之外,Google 还将图片分割成一个个独立方块,保留高动态范围和细节同时,也尽可能去除模糊、鬼影和噪点。
还有前文提到的“Top Shot”这种“先拍后选”模式,其实也受到计算摄影思维的影响,都是在用户不知道的底层工作。
DPReview 近期采访了 Pixel 相机产品经理 Isaac Reynolds 及计算摄影主管 Marc Levoy,他们表示,为了保证零延迟快门体验,当初 Pixel 2 的安全快门值设为 1/15 秒,这样哪怕是在最糟糕的暗光环境,HDR+ 也以保证 0.6 秒内合成最多 9 张影像;若光线充足状态,可缩短到 150 毫秒。
(Source:Google AI)
很显然,用户是不会知道这些后段处理流程,呈现在眼前的只是最终成品。
而 Pixel 3 上,用于“Super Res Zoom”变焦模式的合成影像高达 15 张之多,“Night Sight”夜景模式更牺牲了零延迟快门。
(Source:Google)
和一些中国手机的超级夜景一样,需要按快门时保持机身稳定,此时相机会捕捉最高 15 张照片并合成,每张照片的快门速度最低为 1/3 秒,由此获得近 5 秒曝光效果的照片,因手抖糊掉的照片也会自动剔除。
不仅如此,考虑到黑暗环境下的糟糕光源,“Night Sight”拍摄照片也会借助机器学习来自动白平衡。
(Source:影片截图)
另一个不得不说的是自 Google Pixel 2 时代就备受好评的人像模式,虽然这款手机并没有双镜头,但依旧可拍出不输给同期双镜头旗舰的虚化照片,借助的是镜头感测器的 PDAF 双像素特徴,撷取左右两种视觉影像,得到简单的深度资讯,然后再依靠影像分割技术,精准定位影像外框。
过程中 Google 花了不少心思训练一个神经网络模型,会根据深度资讯分辨照片中哪些属于人物,哪些属于背景,毕竟只有分清前景和后景,算法才能虚化处理正确区域,最终合成一张浅景深的照片。
▲ 上排为机器学习参与后的深度资讯图,下排是单纯基于双像素和立体算法的深度资讯图,背景椅子部分可看到明显的差异。(Source:Google)
今年的 Pixel 3,Google 又调整深度对映算法,透过机器学习抓取更精准的深度图。
从上图能看到,如果只是单纯基于双像素和立体算法,碰到掏空的玩具球、玻璃杯或有网格栏杆这类前后景模糊的场景时,深度资讯很可能辨识出错。
但机器学习参与后,虚化效果和范围就跟以前不一样了。
有了 AI 拍照,能让 Pixel 手机变得和 iPhone 一样流行吗?
Google 是靠搜寻和工具业务起家,不是硬件公司,即使 Pixel 手机,整个重心都是围绕服务和 AI 展开。
所以历届 Pixel 发表会,最出风头的仍是 Google 的软件服务。演讲人不会介绍太多规格,更强调“只有 Pixel 手机才能用的功能和服务”,其中就有各种 AI 拍照的身影。
但面对苹果、亚马逊等巨头步步紧逼,Google 又不得不做硬件,就像 Google 硬件负责人 Rick Osterloh 所说,他要找到更多方法让 Google 智慧助手出现在人们眼前。所以你不仅能看到 Pixel 手机,还有各种智慧喇叭、耳机与平板电脑。
这并不是主流玩法,很多人看来智能手机是硬件生意,推动消费者每年换手机的动力来自更好看的外观、更强的处理器和更多镜头,各种手机产品的横评也只是硬件参数比较,无法量化的软件只能一笔带过。
毕竟,除了 iPhone,其他主流手机都是用 Android 为底层,跑同样 APK 应用,也唯独只有硬件差异较大。
可是 Pixel 手机依旧和其他 Android 手机不一样,这是 Google 亲自参与,只有它能将 Android 系统改造成自己想要的样子,不然你也不会看到那么多基于底层的拍照算法。
AI 加持下,没人能猜到 Pixel 手机还能带来多少我们不知道的玩法。
昨夜の本国の発表会でひと通り见てしまったけれど、今日は #Pixel3 の日本の报道关系者向けの発表会に行ってきたよ〜。
Pixel 3のカラバリ、
✔️ Clearly White ✔️ Just Black ✔️ Not Pink
って名前かわいいい。里がマットな仕上げになってるのもおしゃれ。
#madebygoogle pic.twitter.com/gYFLWubrZX
— Nagisa Ichikawa / THE GUILD (@nagiko726) 2018年10月10日
但 AI 并非万能,Pixel 3 依旧有只能靠硬件达成的特徴。比如说新加入的 800 万前置广角镜头,就是专门用来拍集体照和大场景自拍,这两种场景都没办法靠传统自拍镜头。
还有那颗 Visual Core 核心,如果没有它的协助,Pixel 3 的 AI 拍照也无从谈起。
追根究柢,手机 AI 仍要靠足够计算力驱动,没有优秀的硬件为基础,软件体验显然得打对折。
但 Google 显然为手机摄影带来另一种发展方向,这也给原本就有强大物理硬件加持的同僚更多启示。当然,也无疑让消费者对手机拍照有更高的期待。
(本文由 爱范儿 授权转载;首图来源:达志影像)
延伸阅读:
- Made by Google 三款新品纽约发表,台湾列入 Pixel 3 手机首发名单