9 月 26 日温哥华举行的 IROS 大会，电脑视觉专家、史丹佛 AI Lab & Vision Lab 主任李飞飞发表“A Quest for Visual Intelligence”演讲，这也是李飞飞首次参加 IROS 机器人为主题的大会。值得注意的是，近日雷锋网在 Arxiv 发现了一篇讲述新型机器人学习框架的论文《Neural Task Programming: Learning to Generalize Across Hierarchical Tasks》，主要作者来自史丹佛，指导教授正是李飞飞及丈夫 Silvio Savarese。这也代表人工智能和机器人两个社群在视觉与感知方面的重叠度越来越大，之后的合作也会越来越紧密。
以下一起来看看这篇论文。
摘要：本论文提出一种名为神经任务程式设计（NTP）的新型机器人学习框架，可透过较少的示范和神经程式启动学习。NTP 可将汇入的规则性任务（例如任务的示范影片）递回地分解成更精细的子任务规则，这些规则传递到分级神经程式，透过可呼叫的底层子程式与环境互动。同时，我们从 3 个机器人操纵任务验证了我们的方法，试验中，NTP 展示了在显示分层架构和组合架构的顺序任务的强泛化能力。实验结果表明，NTP 在学习长度不定、可变拓墣和不断变化的学习和拓展未知任务有较好效果。
背景
越来越强调“人机协作”的今天，机器人通常在某些特定环境与人进行长时间互动，如物体分类、装配和清理等。但是以往机器人通常需要在固定场域才能与人互动，如何让机器人适应复杂的作业、新任务目标和周围环境，是机器人技术的重大挑战。
设想一个仓储中的物体分类任务，通常包括分类、检索、打包等具体任务，每个任务又可分解为若干个动作，如抓取、移动、放下等，这些动作构成了如抓取和放置等子任务。如果考虑到不同对象、排序、子任务的排列组合，变化会非常复杂。例如，将四类物品分类放到 4 个容器，组合会有 256 种之多。本文希望解决复杂任务规划的两个主要挑战，即（a）从新的概念化到新的任务目标学习策略，以及（b）与长期环境互动的基本原生程式码模组的组合。
神经任务程式设计（NTP）原理
NTP 的关键基本思想在是跨任务学习和共享领域的可重用表示。NTP 解释一个说明任务过程和最终目标时间序列的任务规则，并将分层策略实例转化为一个神经程式。NTP 从汇入规则中解码生成任务目标，并分解为子任务并与周边环境互动和回馈直至达成目标，每个程式呼叫环境观察和任务规格（汇入），并汇出下一个子程式和相应的子任务规则。
如上图所示，在给定汇入、任务规则和目前环境的情况下，NTP 模型预测需要执行什么样的子程式，并作为下一级子任务的汇入，并判断目前程式是否结束，否则将继续循环执行工作 。
测试
该研究团队透过模拟和实际机器人实验的单臂作业任务来评估 NTP。工作包括：堆叠方块，目标分类和清理桌子。
该研究的两个目标：1. 在同一个领域学习多项工作；2. 透过单一例子形成测试中的泛化能力。
如图所示，机器手可从模拟的 Demo 环境（包括图像、影片、VR 汇入）学习并完成堆叠积木；
NTP 程式设计：透过分级工作条件汇出策略归纳程式，呼叫 Robot API 作业。
上图展示了堆叠方块任务时 NTP 的样本执行轨迹图。任务是按指定要求堆叠字母方块，顶层程式作为汇入参与整个示范，预测下一个执行的子程式，并为特定汇入作为指定任务的一部分，底层 API 呼叫机器人做出相应的动作（如 Move_to (Blue)、Grasp (Blue) 等）。当程式结束符（EOP）为 True，目前程式停止并返回其呼叫程式。
如果环境发生变化（如人为破坏已完成的任务），机器人会探测环境的变化并重复任务。
任务架构的变化包括：改变完成条件（任务语义），可变子任务排列（任务拓墣）和更大的任务量（任务长度）。随着任务数量增加，NTP 可为新的任务示范及目标生成更好的结果。
完整影片：
类似的研究还有之前介绍过的 BAIR《One-Shot Visual Imitation Learning via Meta-Learning》论文，都是透过一次性学习形成的泛化能力让机器人快速掌握新技能。相比之下，BAIR 的论文更偏向算法的更新，而 Visual Lab 的研究则从任务架构出发，提出一种新的学习框架。虽然李飞飞团队之前的研究多在电脑视觉领域，但正是如此，才有可能从机器人领域研究者习惯的视角外思考问题，这篇论文提出的新思路也值得机器人研究者注意。
（本文由 雷锋网 授权转载；首图来源：影片截图）
