四年一度的世界杯足球赛正在激战,大部分球迷都不可能亲临现场,只能守在电视电脑屏幕前观看直播。试想一下,如果能透过 AR 技术,将世界杯的比赛以三度立体形式呈现在你的桌面上,你可以近距离观看每个精彩的瞬间,自由移动位置从各个角度看球,是不是非常过瘾?
研究人员正在努力将这个幻想变成现实,他们研发出一套“桌面足球”系统,可以将比赛的 2D 影像画面,透过 3D 形式再现,你只需要配戴类似 HoloLens 的扩增实境装置,就能在家里的桌面上观看比赛。
▲ “桌面足球”的观看效果。
具体实现上,研究人员会将比赛画面输入到“桌面足球”系统,该系统会仔细分析影片,并追踪每个球员和他们的动作,然后将球员的图像映射到“从足球赛影像中提取的”3D 模型上。由于分析来源是比赛影像数据,其分辨率低、球员一直在运动、且是二维的,所以想为每个球员逼真地重建 3D 姿势,是一项相当困难的工作。
目前实现的效果还有很多问题,包括球员的位置不够准确,导致在观看时会跳动,以及足球没有渲染出来,所以看起来球员在对着空气踢。
目前,该套系统还在不断优化中。该计划的研究人员之一 Konstantinos Rematas 表示,下一步会提高比赛画面重建的品质,包括精确估计球的位置,并更好地重建球员等。另外,研究人员还计划将这个算法框架扩展到其他运动中,如篮球、曲棍球和足球等。
该研究是 Facebook、Google 和华盛顿大学之间的合作计划,正在盐湖城 CVPR 会议上展示。
除了效果逼真的问题,笔者认为还有一个重要的问题──时效性。大多数球迷都追求直播看球的刺激、未知和变数,如果已经看了直播,想必很少会有人再看一遍“扩增实境版”。此项研究透过影像分析进行三度场景构建,如果分析速度够快,或许可以近乎达到“即时”的效果。
由于“桌面足球”系统的看球体验,在某些方面的体验甚至是超过现场的,例如距离更近、视角更灵活(现场只能坐在一个固定的地方看球),所以还可以应用在经典赛事重播、教练分析战术等。
- Football matches land on your table thanks to augmented reality
(本文由 36Kr 授权转载;首图来源:影片截图)