凭借著多镜头组合的优势,智能手机的拍照效果已经无限接近于入门传统单反相机。然而,真正让智能手机实现拍照技术飞跃的,还是要归功于 AI 技术的加持。作为在 AI 拍照领域有着较大领先优势的小米,近期在新近发布的全新版本 MIUI 12 中,已经将其 AI 相机升级至 2.0 版本。目前,AI 相机 2.0 版本已经适配小米10 系列以及小米10 青春版智能手机,此外根据小米官方的爆料,小米AI 相机2.0 还将持续地向更多机型适配,小米用家可以期待期待。
据悉,小米介绍称,传统的 AI 相机的做法,通常分成两个部分,一是识别,二是后制处理。前者通过神经网络来“认知”当前拍摄的场景,后者根据不同的场景,使用一些传统的方式来针对特定场景做一些优化,比如加一些特殊的滤镜。所谓“AI”,其实只有前面的识别部分跟 AI 挂钩。
这种方式最大的问题是只能针对特定的几个预设好的场景来做优化,并且针对同一个场景,只能采用一样的模板来处理,而没有针对当前的色彩,光影等做一些更有针对性的局部优化,效果会大打折扣。
AI 相机 2.0 详细技术详解:
1.为了解决传统 AI 相机只能使用固定模板、针对预设场景优化的问题,相机算法团队开创性的将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知。
2.小米还使用了深度神经网络对整个画面进行全局和局部的分析,获取到最优的画面效果,并且实时地对画质进行增强。所以,新一代的 AI 相机能够对所有的场景进行有针对性的画质提升,让同样的一片草地,在不同的光照,角度,甚至背景下,新的 AI 相机都会有不一样的优化效果。
3.小米把识别+处理技术合二为一,一站式的实现了 AI 修图师的效果。为了实现上述功能,小米在拍摄的数据生成、AI 的训练过程和处理速度进行了突破。
在数据生成方面,AI 相机 2.0 的目标是能够产生美的图片,这就包括要对原图做噪声,亮度,颜色,对比度,动态范围等多个维度进行调整。对于深度学习而言,这样的训练集很难获取。除了和团队中的设计师合作PS 了数万张手机拍张数据之外,小米也收集了很多网络上的高分图片作为目标,使用 GAN 网络( two path GAN,跟 cycle GAN 比较类似,能够保证生成网络生成的图片跟原图片的内容保持一致,仅仅去优化一些我们希望对原图进行优化的维度。)进行训练。
在 AI 的训练过程中,小米使用的 loss 主要有 consistency loss,similarity loss, total variance loss , adversarial loss,通过不同的 weight 来控制生成网络的优化方向和能力,从训练机制、帧间一致性处理、开关模块这三个方面进行升级。
而在处理速度上,2.0 的算法速度需要面对一个最大的技术挑战是计算量,针对图像像素处理的深度神经网络的计算量极高,对手机的计算能力是一个很大的考验,而小米目前向更高的像素进行进发,这对算法的速度要求更严峻。不过在小米团队的不懈努力下,AI 相机 2.0 给出的答卷是相当惊人的。
此外,小米官方还透露,团队已经紧锣密鼓的开始了下一代 AI 相机技术的研发工作,在新的一代中,争取在如下几个维度上取得突破:
1.更多风格: 在寻找一种可以通过比较有限的数据集来快速训练一种新的风格的技术,这样可以在很短的时间内增加很多用户喜欢的风格,最后可以完全替代滤镜功能,甚至可以允许用户自定义拍照风格。
2.更多维度: 除了色彩维度之外,计划用类似的技术来处理亮度、对比度等不同的维度,完美的复制一个专业修图师的大部分工作,全方位的提升拍照和录影的整体画质和观感。
3.进一步优化性能: 目前 8K 录影已经逐渐成为主流,因此对我们算法的处理时间和 RAM 占用提出了更高的要求,我们也在做进一步的优化,争取让用家体验到最舒服的 8K 录制体验。
此次的升级,让我们清楚一件事,小米在追求更高的镜头规格的同时也不忘打下基础,优化算法让镜头能火力全开,这将让小米设备的拍摄体验与效果根据优秀。