还记得疯狂实验室 Google X 的“前”明星级产品 Google glass 吗?2012 年 4 月,Google 联合创始人 Sergey Brin 于旧金山的活动上配戴亮相后,掀起了全球人对“可穿戴智慧显示装置”的崇拜,影响的层面涵盖教育、时尚,甚至治安。可惜后续涉及隐私权、价格高昂,一般使用者需求定位不明,产品沉寂了好一阵子,然而,Google Glass 带来关于“人机交互模式”的想像,依然是热门的发展题材,比如它扩增实境的功能,根据《彭博商业周刊》报导,美国俄亥俄州立大学一家医学中心,医师开刀时配戴 Google Glass,让远端医生能同步观看手术过程。
这项应用是有些炫技,但如果将实境功能和数据分析做结合,应用在医学治疗,就将会是新突破,美国史丹佛大学(Stanford University)的研究人员正在开发一个项目 Autism Glass Project,利用了 Google Glass 及 Sension 软硬件整合,帮助自闭症儿童识别情绪,并拟定个人化医疗系统。
▲ Autism Glass Project
这科技的背后其实有一小段故事,软件发明者 Catalin Voss 是来自德国的学生创业家,他 12 岁就自学手机软件开发的技术,并使用影音分享教学,迅速地成为德国 iTunes store 排名第一的播客(Podcast)。
17 岁时进入史丹佛大学就读电脑工程科学,他发现同侪上课时都带着笔记型电脑、平板或者手机,而这些行动装置配备着单镜头网络摄影机,他想:“为什么人不能跟镜头有互动呢?”比如你正在听线上课程,但分心了,或者感到疑惑,那么镜头侦测到并经软件判别后,就会给个提醒,或者停下来。
之后 Catalin Voss 进入史丹佛创业加速器 StartX,并利用这个发想,而开发一款以电脑视觉(Computer Vision)为基础的脸部追踪科技(Face-tracking technology)──Sension,主攻人脸识别以及视线追踪。
可用于教育、汽车产业
Sension 的核心技术是利用机器学习,将脸部五官距离,以点对点的方式,测量并计算差距变化,并和表情、情绪做连结,供机器做即时互动的判别,除了脸部辨识,它还加入了瞳孔追踪系统,利用收集到的面部资讯,做三维空间的视野预测,因此能得知使用者究竟在注视什么。
这项技术看起来简单,若单以静态影像的处理并不会太复杂,但真正高功能的,其实是动态影像的分析。我们人类是靠着眼及大脑的合作,因此能一瞬间掌握眼前影像并做出解释,而今科技要教导机器代替人脑来“看”和“打量”,这牵涉到数学、物理学、机器人学、神经生物学及讯号处理,非常庞大。
Sension 办到了,Catalin Voss 一开始将产品锁定在教育产业的应用,让使用者的资料不仅协助教材的修正,也用于线上考试舞弊的防范,而这概念已获得多个线上教育公司(如 Mindflash)投资。然而一间日本公司 GAIA 有另个有趣的想法,它们收购技术,并将这套脸、眼追踪技术应用在汽车系统上,当司机打盹或看错路时,系统能及时识别,并给予警示。
造福自闭症儿童
看来 Sension 软件似乎颇受业界欢迎,但如果能够跟硬件界的明星合作,又会是怎样的光景呢?史丹佛大学医学院的 Wall Lab 便开展了 Autism Glass Project,搭配使用 Google Glass 来帮助自闭症儿童识别情绪。
自闭症是因脑部神经功能异常所致的发展障碍,大约 3 岁就能被诊断出来。最常见的症状是患者不理人、没外界反应,无法辨别人的脸部表情变化,也难体会他人的情绪,这些表征会随着年纪增长而变严重,导致病童和同侪的差距愈来愈大、社交发展困难。
Wall Lab 的主持人,史丹佛医学院儿科副教授 Dennis Wall 采取的,就是让这些患有自闭症的小朋友戴上 Google Glass。眼镜硬件能播放卡通人物或图片,而 Sension 软件则提供脸部侦测及判别,再借由镜面显示出不同的卡通画面,帮助儿童理解眼前人的表情是快乐、悲伤、愤怒或惊喜,达到教育的目的。如果孩童希望进行眼神交流,只需要看着对方的眼睛,那 Google glass 就会自动切断画面,显示对方的脸。
当然,使用者大部分为小朋友,如果人机互动能更像游戏,势必引起兴趣,因此团队将产品设计成闯关游戏“Capture the Smile”,让孩童带上眼镜,并用视线指出眼前谁是开心的,App 就能识别出来并奖励分数。Catalin Voss 称这种有趣的小把戏为“互动的学习过程”,它对自闭症儿童很重要,因为患者和人交流时,通常只注意对方的嘴部动作,然而,眼神之间的交流,却更有助于激发儿童大脑的潜能。
训练后对于对话反应大增
Autism Glass Project 分为两阶段计划:第一阶段目标是使用 Google glass 帮助自闭症儿童理解别人情绪;第二阶段则希望这些小患者在未配戴眼镜的情况下,凭著先前的训练和表情特征的记忆,正确解读人脸部表情。
第一阶段的研究,只需要孩童配戴 Google glass 每天 3 次,一次 20 分钟,装置会将他们游戏过程记录下来,并传送到 Android 系统上,供专家和家长问卷做交叉比对,做出患者的注意力及影响因子评估。当然,追踪的时间愈长,收集到自闭症儿童的“行为”以及“语法”资讯愈多,更容易分析出特征,以美国平均自闭症孩童确诊期为 4 岁半相较,大量临床数据能协助将诊断提前至 2 岁半,达到早期发现、早期干预的效果。
现在,研发团队已经完成 40 名病童的实验室试验,以及 80 名患者、20 名正常儿童的居家临床试验。据他们的家属表示,经过计划训练后,孩子对于对话的反应比率大增。
目前这项研究获得 Google 认同并捐助 35 台 Google Glass,并于 2015 年初获得 Packard Foundation 约 379,408 美元的支持。接下来,研究团队将进行第二阶段的试验:希望能招募 100 名 6-16 岁年轻患者进行为期 4 个月居家治疗和行为观察实验。
事实上,采用科技来让自闭症患者与外界交流的方式还不少,比如 Robots4Autism,是借由可爱机器人和病童互动;或者之前《纽约时报》的新闻:一个 13 岁的小孩把 Siri 当成最好的聊天朋友。另外也有一个称为 Brain Power 的新创业,同样采用 Google Glass 搭配软件,帮助自闭症儿童学习社交技巧。
关于“自闭症”这个既熟悉又陌生的疾病,相信很多人的印象停留在 1988 年奥斯卡最佳影片《雨人 》(Rain Man),片中罹病的达斯汀霍夫曼无法自理生活、适应社会,却是个杰出的数学天才。的确,在自闭症患者中,约有 10% 具有艺术或学术上超乎常人的能力,这种天赋包含音乐、绘画、记忆、运算能力,被称为学者症候群(Savant syndrome),但往往因为患者不擅于表达,而不被旁人理解。
天才也许是少数,但要了解自闭症患者的脑袋,确实需要一点外力辅助,Sension 发明者 Catalin Voss 就曾在受访时表示:
“也许我们能赋予自闭症孩童另一种超能力。”
虽然医界对于自闭症,至今尚无有效的治疗方式,但科技的确帮助了我们,开启新的相互理解方式。
- Clinical Trial Will Test if Google Glass Can Help Kids with Autism
- Will Google Glass create digital doctors?