我们都看过好莱坞电影中的“动作捕捉”场景,透过贴满感测器的全身套装追踪动作,电脑能够将演员变成巨人或野兽,而在现实生活中,普林斯顿神经科学研究所(PNI)也已开发出一套 AI 工具,只需要几分钟的训练,便能像演员穿戴感测器一样,在现有影片中自动追踪动物的动作细节,协助动物肢体语言的研究进行。
这项被称为 LEAP 的工具只需要几分钟的训练,不需添加任何物理标记或标签,就能够以,以高精准度自动追踪影片中数百万帧动物各个身体部位的姿态,分子生物学副教授 Mala Murthy 表示,“这个方法可广泛用于动物模型系统,用来衡量有基因突变或药物治疗后动物的行为”。
尽管论文预计会发表在 2019 年 1 月出版的《自然-方法》(Nature Methods)期刊上,但因为 5 月已经发布开放版本,目前软件已经被被许多相关实验室采用。
论文第一作者、PNI 研究生 Talmo Pereira 表示,这个工具非常灵活,原则上可用于任何影像数据,“它的工作方式是在几个影片中标记几个点,接着神经网络会完成剩下的工作。我们提供了一个易于使用的界面,让任何人无需任何预先的编程知识,都可以将 LEAP 应用到自己的影片中。”
当被问及 LEAP 是否在大型哺乳动物的效果和在受试的苍蝇和老鼠一样好时,Pereira 立即使用肯亚 Mpala 研究中心的行走的长颈鹿影片进行示范,花了不到 1 个小时在 30 帧中标记了点,而 LEAP 随后便能立即追踪剩余影片中的长颈鹿动作姿态(大约 500 帧)。
过去类似的 AI 工具都仰赖大量的手动注释数据训练,使其能够在各种不同背景、光线的数据上工作,而在 LEAP 上因为开发团队建立的系统,使用者可以选择适合用户收集的数据类型的神经网络,而不会受到其他研究人员或公司进行项目的限制。”
在未参与研究英国皇家兽医学院(RVC)Monica Daley 看来,这项工作在神经科学之外也具有巨大的潜力。Daley 的多数研究都在了解动物如何在不同的地形环境下有效地移动,而这当中做大的挑战便是从影片片段中提取有意义的讯息,LEAP 有望让相关研究者的工作变得比以往更自动化,能够专注于研究更多种类的动物运动行为。
当研究者将 LEAP 与其他定量工具相结合后,便能透过观察动物身体运动模式来研究所谓的“肢体语言”,而团队内的神经科学家也就可以与背后的神经过程建立相关联系。
过去五年中,神经科学在观察和操纵大脑活动的技术上取得了巨大进步,而在 LEAP 的协助下,未来动物行为的自动分类也能够更加自动化,研究作者之一的 Joshua Shaevitz 认为,这不仅能使研究人员更好地了解大脑如何产生行为,也能够探索未来对于需求者的诊断和治疗方法。
- Translating the ‘language of behavior’ with artificially intelligent motion capture
(首图来源:Princeton University)