AI超级慢动作！NVIDIA用深度学习来加强慢动作补帧的自然表现 11月24日更新

AI超级慢动作！NVIDIA用深度学习来加强慢动作补帧的自然表现

2024-11-24 226

似乎只要牵扯到如何“更自然”，就会是深度学习的新发挥空间。针对 AI 与深度学习的应用，NVIDIA 又端出了一个新的应用范例。透过机器学习加上人工智能（当然还有 NVIDIA Tesla V100 显示芯片）的威能，该公司将以往很容易因为慢动作补帧技术的画面不自然问题，透过 AI 技术有了很大改善。得到的就是看起来似乎与真正用专业级高格率摄影机所拍出的慢动作一样的帅气 AI 超级慢动作影像。

▲图片来源：NVIDIA

AI 超级慢动作！NVIDIA 用深度学习来加强慢动作补帧的自然表现

姑且不论超级慢动作这种高格率的录影，其实是需要相当专业器材才能达成 — 即便是现在手机的 960fps 慢动作，其实在画质亦或是拍摄时间上都会有折衷，更别说高格率的影片也会需要更大的储存空间，这些都是麻烦之处。以往，会有人透过前后侦测内容的软件补帧方式来达成类似效果，但终究还是有些不自然感，很容易被看出事后制达成的。对此，NVIDIA 想到了利用深度学习各种动作影片的方式，加强前后格补帧的处理的自然程度。

▲图片来源：NVIDIA

NVIDIA 以超过 11,000 支的 240fps 高格率影片，训练这套应用 NVIDIA Tesla V100 GPU 透过基于 cuDNN 的 PyTorch 深度学习架构，达到更自然的慢动作软件补帧效果。基本上就示范影片中，看起来从 30fps 放慢到 240fps 或是 60fps 放慢到 480fps（应该就是在 4x 左右）都是处理的非常自然，并可得到相较以往技术更为流畅且更少动态模糊感 — 虽然室内的动态还是免不了会有较多动态模糊，但至少也还算自然。

有兴趣想看看 AI 能为慢动作补帧带来多惊人的进步，可以看看底下的影片，有些拍摄题材其实画面元件的尺寸与动态方向都是相当细微复杂的，但看起来 NVIDIA 训练的这个 AI 的确很有一套，真希望这种强大的后制技术可以早日来到你我手上啊。

引用来源

AI超级慢动作！NVIDIA用深度学习来加强慢动作补帧的自然表现