几个月前，显示屏幕霸主三星联合首尔大学，设计出超薄互动式全像显示屏幕。只要按方向键，屏幕里的海龟立即就朝特定方向游过去。
三星表示，这款屏幕可多角度提供高分辨率、真实度极高的 3D 影片，有朝一日还会整合至手机。而 Sony 资助下，MIT 研究人员宣称已用手机生成全像 3D 图。想对图片任意物体对焦，只需短短几毫秒。
（Source：影片截图）
3 月 10 日，相关研究成果发表于《Nature》，题为“Towards real-time photorealistic 3D holography with deep neural networks”（利用深度神经网络实现逼真的即时 3D 全像投影）。
何谓“全像投影”？
首先来了解一下全像投影。全像投影是 3D 技术，英文名称为 Holographic Projection，holo 源于希腊语，意为“完全讯息”。
“完全讯息”要传递，需要两步骤：
1. 拍摄：利用干涉原理（即两列或以上波在空间重叠时发生叠加，形成新波形），将被摄物体在激光辐照下形成的物光束和射到全像投影底片上的激光参考光束叠加，产生干涉并记录。经过一定处理后得到全像投影照。
2. 成像：利用绕射原理（即波遇到障碍物时会偏离原来的直线传播），利用相干激光光照射全像投影图，一张线性记录的正弦型全像投影图绕射光波可得出两个成像，图像立体感增强，也有真实视觉效果。
可简单理解：全像投影图每个画素散射光波，相互作用，就能产生深度错觉，呈现出立体感。基于此，全像投影又称虚拟成像。正如 IEEE Spectrum 所说：
全像投影图本质上就像观察 3D 场景的 2D 视窗。
人们观看 3D 全像投影图时不会觉得眼睛疲劳，这与传统 3D 显示（使用 2D 图像产生深度错觉）不同。
彩色 3D全像投影图即时生成
即便三星设计出全像投影显示屏幕，硬件有了重要突破，但不可否认，要在电子设备显示全像投影数据仍是重大挑战。
IEEE Spectrum 表示，每个全像投影图都意味着大量数据，只有这样才能打造出深度错觉。因此生成全像影片需要一台超算力电脑。以前有团队尝试解决，希望减少计算量，例如用简单查找表取代复杂的物理模拟──然而往往以牺牲画质为代价。
MIT 的思路则是设计卷积神经网络。
他们打造基于深度学习的 CGH（computer-generated holography，电脑生成全像投影术，可模拟绕射和干涉数值，达成高空间角度分辨率的 3D 投影）通道，能从单一 RGB 三色通道变化及相互叠加得到各样颜色，深度图像即时合成逼真的彩色 3D 全像投影图。
研究团队使用一系列可训练张量模拟人类处理视觉讯息的过程，建立含 4,000 对（每对都是一张 RGB 深度照片及对应 3D 全像投影图，如下图所示）电脑生成图像的数据库。
团队做到短短几毫秒内创建出无斑点、自然、高分辨率的 3D 全像投影图。卷积神经网络的内存不到 620KB，能保证单消费级图形处理单元平均每秒生成 60 幅分辨率 1,920×1,080 的全像投影图。
利用低功耗人工智能加速芯片，卷积神经网络能在行动设备（iPhone 11 Pro 每秒生成 1.1 张全像投影图）和边缘设备（Gpp edge TPU 每秒生成 2 张全像投影图）交互运行。
MIT 的方法究竟有何重要意义，可从下面比喻理解：
电脑生成全像投影图的过程就像切蛋糕。
使用查找表生成全像投影图，就像切蛋糕前标记每块蛋糕的边界。使用物理模拟计算空间每个点的外观，类似 8 次精确切出 8 块蛋糕。尽管省去计算切割位置的步骤可节省时间，但依然是耗时工程。MIT 利用深度学习，实现 3 次精确切割就将蛋糕切成 8 块。
未来，研究团队或许还将增加眼动追踪技术加快系统运行速度，这项成果后续也将在 VR、AR 耳机等领域应用。
论文来自 MIT 电脑科学与人工智能实验室（CSAIL）& 电子工程与电脑科学系，通讯作者为 Liang Shi 和 Wojciech Matusik。
Wojciech Matusik 为 MIT CSAIL & 电子工程与电脑科学系教授。
Wojciech Matusik 教授主要研究领域为电脑图形学、计算设计和制造。他于 1997 年获加州大学柏克莱分校 EECS（电子工程与电脑科学）学士学位，于 2001 年获 MIT EECS 硕士学位，于 2013 年获 MIT 电脑图形学博士学位。
Wojciech Matusik 教授表示：
这是巨大的跃进，可完全改变人们对全像投影的态度。我们觉得神经网络就是为此而生。
另一作者为 Liang Shi（史亮），由 Wojciech Matusik 教授指导的在读博士生，2014 年于北京航空航天大学获得光电子工程学士学位，2016 年于史丹佛大学获得电子工程硕士学位，主要研究领域包括 VR / AR、计算摄影／显示／制作、机器学习和电脑图形学。
- Deep Learning Enables Real-Time 3D Holograms On a Smartphone
（本文由 雷锋网 授权转载；首图来源：Flickr/Vu Hoang CC BY 2.0）
延伸阅读：
- 可嵌入手机，三星研发首个超薄互动全像显示屏幕，即时生成 4K 影片
