Google 所打造的 Pixel 系列手机仅搭载单一镜头,以软件搭配硬件创造各种拍摄的可能性。Google 官方 24 日邀请到史丹佛大学电脑科学荣誉退休教授、同时也是 Google 杰出工程师的 Marc Levoy 来台,深入讲解 Pixel 手机深入运用机器学习等技术搭配硬件,开发出更高水准的功能。
观察手机相机系统的发展趋势,其中 Pixel 手机采用的是以软件定义(Software-defined)为主的相机系统,在图像计算上不再单靠硬件功能,更运用计算摄影(Computational Photography)整合连拍的帧数。此外,导入机器学习技术取代传统算法,并在机器学习的训练过程中获得更多数据,有助于提升拍照的准确度。
一般手机相机进行拍照时需遵守的基本原则,包括整体执行必须很迅速,深入来说像是即时观景器(Live Viewfinder)大于 15fps、快门延迟时间小于 150 毫秒、照片成像时间小于 5 秒;还有相机的预设模式绝不能失败,必须具有可靠的曝光、对焦以及白平衡,并且避免鬼影或视觉残影等状况发生。Pixel 手机不仅符合这些基本原则,更深入运用机器学习等技术搭配硬件,开发出更高水准的功能表现。
HDR+
手机相机应用程序的 HDR(High Dynamic Range Imaging,高动态范围成像)功能相当常见,典型的作法是采取包围曝光(Exposure Bracketing),将曝光时间短的影像所捕捉的亮处细节,以及曝光时间长的影像所捕捉到的暗处细节结合成为最终影像。
但手持时难免会晃动到手机,使得拍照影像的曝光程度不同,因此 Google 不使用包围曝光的作法。Pixel 手机相机应用的 HDR+ 功能是透过捕捉相同曝光程度下的连拍影像,同时避免亮处过度曝光,再进行校准与合并;采用色调映射 (Tonemap)增强阴影并降低亮处,虽牺牲整体色调、保留局部对比度,但使照片呈现更符合人们的视觉。
▲ 左图为没有开启 HDR+ 的影像,右图为开启 HDR+ 的影像。(Source:Google AI Blog)
肖像模式
肖像模式是将拍照重点集中在眼前的人物或物体上,使其从模糊的背景中凸显出来。目前大多数的智能手机采用合成浅景深(Synthetic Shallow Depth of Field)呈现照片背景模糊的效果,作法细节是利用双镜头相机在相似的焦点下捕捉 2 个影像,运用立体匹配(Stereo Matching)算法计算深度图(Depth Map),在照片场景中选择一个平面保持其锐利影像,并且模糊距离该平面更近或更远的影像,如同失焦的感觉。
然而仅搭载单一镜头的 Pixel 2 / Pixel 3 / Pixel 3a 系列手机,则是透过机器学习技术分割拍照影像中的人物,或在拍摄物体时运用 Dual Pixel 的硬件技术预估深度图,以达到景深效果。
针对人物的肖像模式来说,Pixel 手机运用卷积神经网络(Convolutional Neural Network,CNN)预估影像中人物的每一个像素,背后是利用超过 100 万张标签过人物照片进行机器学习模型训练,并使用数学计算中的 Edge-aware Bilateral Solver 进行细化,让人物分割的影像边缘更加锐利。接着根据人物与背景的距离按比例模糊化,同时将人物所在位置前后一段距离的影像也保持锐利。
而物体并非人物,故无法使用机器学习的方式,而是透过拥有 Dual Pixel 的后置镜头完成。Dual Pixel 作法即是已运用在部分单反相机上的相位对焦(Phase Detection Auto-focus,PDAF)来判断景深距离。Pixel 3 系列的肖像模式更进一步优化,Google 训练机器学习借由红色、绿色、蓝色 3 色的左右输入直接计算深度图。
(Source:Google AI Blog)
高解析变焦
自 Pixel 3 系列推出高解析变焦(Super Res Zoom)功能,虽然背后并无搭载人工智能与机器学习的技术,但它可将多层影像合成更高像素的照片。
影像是由一个个像素所组成,每一个影像拥有红色、绿色、蓝色 3 种颜色资讯。高解析变焦以像素移位(Pixel Shifting)为基本原理,透过连续拍摄多帧照片,以弥补缺失的颜色资讯并合成出更高分辨率的照片,照片中三分之二的颜色资讯是重建出来的。不仅提升照片细节的呈现,分辨率与许多搭载 2x 光学变焦镜头的智能手机所拍的照片不相上下。
而当 Pixel 手机放置在三脚架上、不受手震影响时,仍可借由强制开启光学影像稳定(Optical Image Stabilization)制造镜头“摇晃”来模拟手震,如下图所示,此画面的摇晃幅度非常微小,并不会干扰拍摄的照片。
(Source:Google AI Blog)
夜视模式
最后,Pixel 3 / Pixel 3a 系列其一主打功能夜视模式(Night Sight),背后技术是在按下快门后,观景器将会静止不动几秒钟,同时高速捕捉最多 15 帧画面,接着结合高解析变焦(针对 Pixel 3 系列)或 HDR+(针对 Pixel 1 / Pixel 2 / Pixel 3a 系列)功能,并透过学习式白平衡(Learning-based White Balancing)调整影像,仍可保持景物最真实的色调。
▲ 使用夜视模式。(Source:Google Blog)
Marc Levoy 表示 Google 具备软件开发与机器学习的优势,在发展 Pixel 手机相机技术的过程中,Google 愿意公开、对外分享技术成果,不仅有助于驱动产业创新,也借此机会吸引更多人才加入 Google AI 研究团队。
(首图为 Google 杰出工程师 Marc Levoy;首图来源:科技新报)
延伸阅读:
- Google 推出中阶新机 Pixel 3a / 3a XL,台湾仍列首发名单、即日起线上开卖
- Google 正式启动 Pixel 2 内的隐藏芯片,进一步提升拍照能力
- 透过 AI 自学习,Google 让 Pixel 3 的人像模式更优秀
- Pixel 夜视模式:协助你在低光源环境拍出绝美相片
- Google 发文详解 Pixel 3 中的 Super Res Zoom 技术