光雕投影（或称 3D 投影映射）是这几年来大型表演活动中常被运用的新兴技术，透过光雕可以改变建筑物或者任何物体的外观，把现实世界中平淡无奇的物体变得如梦如幻，大开观众的想像空间。不过，当前的光雕投影有些限制：被投射物必须是不会变形的刚体。而在上周，日本东京大学的石川渡边研究室突破了这项局限，发表了新成果──“以高速投影到动态变形非刚性表面的投影方法”。
在进入正题之前，先大略介绍一下光雕投影。简单说，就是准备很多很多台的投影机，围绕在一栋建筑物的四周，然后用电脑控制这一大堆投影机，在晚上投影到建筑物上，将建筑物当做画布，做出种种绚丽的表演。演出过程要考量到建筑物是立体的，必须考量投影到的表面不是平的，得用电脑把投影的画面事先针对每一台投影机要投射到的地方，算出对应的变形，才能投影出去。可以是在上面画东西，也可能是天马行空地把建筑物变成完全不同的东西等。关于实际的作品，笔者推荐非常经典的《2012 东京光之祭典》或者日本万代玩具公司出的这场表演的迷你版 HAKO VISION（用手机就可以欣赏）。
而这样的技术，仅限于事先做好的静态影片内容与静态投影环境，东京大学的石川渡边研究室不满足于此，企图克服这样的限制，进行了动态光雕投影的研究。动态光雕投影的困难，是要捕捉真实世界“布幕”的动态即时变形，随即低延迟地调整好要投影的虚拟影像，使投射出去以后，让我们的视觉感官觉得吻合、没有破绽。这最基本需要一台画面更新率高、低延迟的投影机，于是该实验室就自行开发了高速投影机“DynaFlash”，它在 8bit 色阶（一个点可以有 256 色）时更新率高达 1000FPS，最低延迟（latency）才 3 毫秒（ms）。
▲ DynaFlash 投影机（Source：石川渡边研究室）
有了这个基础以后，更进一步要处理最有挑战性的部分：如何正确投射影像到非刚性不断形变甚至有遮盖情形的“布幕”上呢？如果用即时影像辨识技术的话，是来不及的。石川渡边研究室提出了这样的新方法──“可变形点阵标记”（ Deformable Dot Cluster Marker，DDCM），这个做法类似 AR 扩增实境的概念，是用红外线才看得到的墨水（人眼看不到），在衣服上面事先印好特定的点阵标记图后，即使目标物发生大变形或者遮挡，DynaFlash 投影机的感应器也能稳定地在 1,000fps 下即时“看到”目标物上的点阵标记，以投射出正确的变形后画面。
使用这些基本技术，包括 DynaFlash 和 DDCM，就可以在变形非刚性表面上进行新式的动态投影映射了。在石川渡边研究室的展示影片中，可以发现翻转、扭曲、移动、伸缩都难不倒，由于投影和感测都是以 1,000fps 的速度在运作，就好像投影的图案本来就是印在衣服上般地自然。更特别的是，可变形点阵标记可以是复数的，也就是说这让投影机可以灵活地“辨识”出不同的目标物，而同时加以投影出不同的图案。
在应用上，可以想像演唱会表演时，偶像歌手穿着一件单色白净的衣服，不用实际的换装，就可以变换出一件又一件的不同衣装；不用拜师学数十年学习高难度的川剧变脸技术，脸上只要戴着一张纯白的面具，就可以一张又一张的不断翻脸。非娱乐的应用方面，不用开刀，投影出内脏器官到人体上，辅助医学院教学应该也是可预见的应用。真期待这项技术的后续发展呢！
- Dynamic projection mapping onto deforming non-rigid surface using a high-speed projector
（首图来源：石川渡边研究室）
