iPhone 11 系列发表会时,苹果高级副总裁菲利普‧席勒(Philip W. Schiller)介绍 iPhone 11 Pro 系列的影像系统时,第一次将计算摄影概念引入,也是第一次与大众见面。
其实计算摄影概念并不新鲜,最早出现于 1994 年一篇公开论文,且认定机内合成 HDR、全景照片及模拟散景都属于计算摄影范畴。但当时照片主流载体还是底片,数码相机才刚起步,手机都还没有装相机。
▲ iPhone 11 Pro 发表会介绍计算摄影的菲利普‧席勒(Philip W. Schiller)(前)。(Source:Mike Deerkoski, CC BY 2.0, via Wikimedia Commons)
几十年后,影像纪录的载体从底片换成数位,手机拥有镜头,计算摄影也从理论里走出来,渐渐成为潮流。
不过这潮流跟相机关系不大,相机厂商依然按部就班提高画素、连拍速度和影片能力,似乎对计算摄影充耳不闻,拍出来的照片(直出)依旧很平庸,渐渐被智能手机“超越”。
相反的是,智能手机芯片的演算力越来越强,AI、算法、机器学习介入的范围也更广,图像演绎方法越来越多,最终经过一系列“算法”处理过的照片也愈发好看。
现在,很多人出门更愿意用手机记录分享,相机越来越少见,这也反应到两者市场表现,智能手机市场增速强劲,相机市场则连年萎缩,甚至 DC(卡片相机)都渐渐消失。
这时,就有人会问了,既然智能手机随手拍照片的观感这么好,为何传统相机厂商不跟随计算摄影的潮流,考虑提高照片直出品质呢?
相机演算力不够?
这个问题先从“核心”谈起。
手机核心是 SoC,整合 CPU、GPU、ISP、NPU 及基频等,让你打电话、拍照、看影片、玩游戏、上网等,也直接决定手机的性能。
而相机的核心部件是图像感测器(CMOS),除了元件面积外,跟手机差不多,负责成像与感光。控制整套相机系统的中央处理芯片叫图像处理器(Image Processor)。
以 Sony 的 BIONZ X 图像处理器为例(α7 系列御用),包括 SoC 和 ISP 芯片,并没有将 ISP 整合至 SoC,优点是 Sony 可自行根据 CMOS 的性能需求,自行增加 ISP 芯片的数量(α7RIII 的 BIONZ X 就配备双 ISP),缺点就是整合化程度没有手机那么高。
BIONZ X 中 SoC 的作用跟手机类似,控制操控界面与相机功能,性能要求并不高。拜尔转型、解马赛克、降噪、锐化等处理图像感测器采集的“数据”,多是依靠 ISP,最终把 CMOS 采集数据转换成相机即时取景。过程中相机 ISP 不涉及运算,只是把照片当成流水线产品,统一处理。
▲ Sony BIONZ X 图像处理器。(Source:Sony)
随着现在相机画素数、连拍速度及影片性能不断提升,相机图像处理器对图片处理的速度和吞吐量需求很高,单一数据量很庞大,不列入“计算”的前提下,相机图像处理器的处理能力远超过现在智能手机 ISP 的处理能力。
但说到计算摄影或说 AI 能力,就不太一样了。智能手机的成像过程类似相机,不过呈现最终画面前,还需要 ISP、DSP 计算,即时调整最佳化,尤其是在多镜头系统成主流后,手机的计算数据量成倍增长。
iPhone 11 Pro 系列推出多镜头系统后,能平滑无缝切换的背后是 A13 Bionic 新增的两个机器学习加速器庞大的数据处理能力,达到每秒 1 兆次,如此高频高效的数据处理能力,才算吃下三个镜头产生的庞大数据量。
相机的图像处理器多是预处理原始数据,几乎没有计算过程,而手机 SoC 包括数据采集预处理及后续计算,两者着重方向不同。
针对群体不同,市场细分的结果
手机计算摄影发展很快,还是因手机的图像感测器(CMOS)尺寸太小,以现在的技术,想在物理超过或接近相机只能透过算法最佳化,拼直出观感,如自动 HDR、超级夜景、模拟大光圈、魔法换天等功能。
▲ 拍摄一张照片 iPhone 花费的“计算”步骤。(Source:苹果)
但算法演绎做到“个性化”干预还是很难,如滤镜加到什么程度,HDR 高光暗部保留到什么程度等。不过对大众手机而言,尽可能让大多数人拍出不错的照片,会更符合手机的市场和族群定位。
自相机发明以来,就有绝对的“工具”属性,为了高效率,外观、操控、功能等均与效率妥协。针对更小众的职业族群,自然也会更符合需求,相机会尽可能记录色深、色彩、光线等资讯,以便使用者更自由后期调整,直出好不好看,并不在他们的需求里。
▲ RAW 档记录更多资讯,可进行更多调整。(Source:Ben Sandofsky)
对大多数没有摄影基础的人来说,随手获得一张观感不错的照片,远比得到一张资讯丰富的照片更重要。而对专业领域的相机厂商,提升 RAW 记录的色深要比提升 JPG 直出效果更符合市场定位。
不过事情都非绝对,相机也在尝试改变。富士(Fujifilm)就一直致力相机直出效果,引入“底片模拟”,透过不同算法,让照片更有味道,观感也更好看。但这过程并没有经过场景计算,而是需使用者自行选择,这与手机一些底片模拟 App 有点类似,还不到所谓的“计算摄影”。
AI 后期,才是相机的大方向?
摄影领域中,后制处理是必不可少的步骤,一方面后制软件可充分利用 RAW 格式记录的丰富资讯,另一方面也可借助 PC 的高性能和演算力快速处理照片。
与相机厂商不同,几乎主流专业后制软件都开始发力 AI,强调 AI 的处理能力。
▲ 后制软件 Luminar 4 支援 AI 自动换天空。(Source:Luminar)
Adobe 的 Photoshop 近几版更新,修复、磨皮等都加入自动辨识功能,操作越来越无脑,效果越来越精确。Mac 平台的 Pixelmator Pro 修图软件,早在 2018 年就开始借助苹果的 Core ML 机器学习辨识图像,调整选取色彩,甚至压缩输出时都运用 ML 机器学习引擎。
▲ Pixelmator Pro 2.0 的图像编辑支援机器学习引擎助力。(Source:Pixelmator)
现在相机厂商由于芯片 AI 演算力限制,和针对小众市场问题,几乎没在计算摄影着力。但后制软件 AI 爆发,也算侧面弥补相机计算摄影的短处。
即使运算后制软件 AI,相机依然没有摆脱传统流程,相机记录,软件处理,对大众来说依然繁琐。对专业的摄影玩家,后制软件 AI 介入,的确减少工作量,让原本繁复操作轻松不少,但依然无法扭转传统摄影业的照片处理(创作)流程,与手机截然不同。
▲ 2020 年 9 月全球数码相机出货量,远不及 2018 年。(Source:CIPA)
据 CIPA 数据,相机市场逐步萎缩,相反的是手机市场不断增长。智能手机成为潮流的“计算摄影”,并不会改变相机日趋专业的方向,也不会扭转相机市场逐步萎缩的局面。
换句话说,即使现在相机有与智能手机接近的“计算摄影”能力,就能挽救“江河日下”的相机市场吗?答案当然是否定。举个极端例子,直出可行的话,那富士相机就会有第一市场占比。事实上,现在无反相机第一的宝座,反而由直出并不好看的 Sony 占据。
▲ Sony 微单已成为不少工作室的工作用机。(Source:SmallRig)
面对来势汹汹的手机,相机只能向更专业的方向发展,不断向上细分市场,近年来全画幅的 4,000 万、6,000 万高画素,中画幅的过亿画素,以及微单影片能力不断接近专业摄录一体机,都是相机细分市场的产物。
相机专业化越来越强,也就意味着需要性能更佳的图像感测器(CMOS),但“计算摄影”倚重单独机器学习模组,众所周知,芯片研发成本高、风险大,相机厂商难以兼顾。计算摄影和发展专业化是两条不同的路,对专业用户用处不大的“计算摄影”、“AI 干预”等特性,相机厂商大概都因平衡研发费用,暂时战略性放弃。
现阶段或可见的未来,相机厂商要拥抱“计算摄影”风险高、投资大、成效慢,难上加难,更别说现在还有一众专业后制软件用 AI 修图为基础。
(本文由 爱范儿 授权转载;首图来源:pixabay)
延伸阅读:
- 创造计算摄影的男人,现在要为每支手机装上“Pixel 相机”