刚过去的周末，OpenAI 的人工智能只花 10 分钟就打败了人类 Dota 世界冠军。正如许多读者所知，游戏是许多研发人员用来训练人工智能的工具。
在 OpenAI 位于旧金山的办公室里，研究人员 Dario Amodei 正在透过《赛艇大亨》（Coast Runners）来训练人工智能。不过，这个人工智能好像有点失控了。
《赛艇大亨》的游戏规则很简单，如果想赢，选手必须得到最高分，然后跨过终点线。但 Amodei 的人工智能玩着玩着有点过火了，不断追求高分，非但毫无跨过终点线的意思，反倒为了要多转几个圈拿高分，开始和其他赛船碰撞，或是过程中自己撞墙爆炸了。
为了应对，Amodei 和 OpenAI 的同事 Paul Christiano 正在研发一套不仅可以自我学习，同时也愿意接受人工监控的算法。
在赛船游戏的训练中，Amodei 和同事不时透过按键指出人工智能的不当之处，告知人工智能，不仅分数要赢，同时也要跨过终点线。他们认为，这种包含人工干预成分的算法可确保系统的安全性。
Google 旗下 DeepMind 的研究人员也同意 Amodei 和同事的想法。两个团队，分别代表 OpenAI 和 DeepMind，最近罕见地合作发表了部分人工智能安全方面的研究论文。
除此之外，Google 旗下的 Google Brain，以及来自柏克莱大学和史丹佛大学的研究团队，都设有该方向研究课题，从不同方面考虑人工智能的安全问题。
除了这种在自我学习过程中“搞错重点”的潜在危险，另一个可预想的人工智能危险在于“为了完成工作，拒绝开发者关机”。
一般在设计人工智能时，研发人员都会给它设定“目标”，就像赛艇游戏的“得分”。一旦人工智能将获得“分数”视为终极目标，它可能会产生一个方法论──想要获得更多分数，其中一个方法就是不关闭自己，这样就能无止境地获得分数了。
柏克莱大学的研究人员 Dylan Hadfield-Menell 和团队最近发表了讨论这个问题的论文。他们认为，如果在设计算法时，让人工智能对目标保持一定的不确定性，它才有可能愿意保留自己的“关机键”。他们采用数位方式来尝试达成此设定，目前还处于理论阶段。
除了人工智能自我“失控”，研究人员还在考虑骇客对人工智能的影响。
现代电脑视觉基于深度神经网络（deep neural networks），它透过学习分析大量资料来形成对型态的了解。也就是说，如果要让电脑学会什么是“狗”，那就让它分析大量狗的图片，并从中搜寻规律。
但 Google 的 Ian Goodfellow 认为，这种型态可能会为骇客提供“蒙骗”人工智能的机会。Goodfellow 和其他研究人员曾展示，只要修改图片的几个特定画素，他们就能让神经网络相信图片中的大象是一辆汽车。
如果这个神经网络应用在监视镜头，问题就大了。
即便你用了数百万张标记为“人”的照片来训练一个对象辨识系统，你还是可以轻易拿出系统和人工辨识 100% 不同意的图片。我们需要认清这种现象。
Goodfellow 说。虽然这些研究大多仍处于理论阶段，但这群致力将意外止于摇篮里的研究人员坚信，越早开始考虑这个问题越好。DeepMind 人工智能安全的负责人 Shane Legg 说：
虽然我们还无法确定，人工智能将以多快速度发展，但我们的责任是试着理解并猜测，这种技术有可能以哪种方式误用，并尝试找出不同的应付方式。
- Teaching A.I. Systems to Behave Themselves
（本文由 爱范儿 授权转载；首图来源：shutterstock）
延伸阅读：
- 马斯克的 OpenAI 击败《Dota 2》职业电竞选手
- 为了培养下一个 AlphaGo，暴雪想把《星海争霸 II》变成 AI 实验室
