语音辨识是不少科技厂努力的方向,但是台湾处于尴尬的人口数,科技厂不大会特意花资源辨识台湾人的口语说话方式,而用政府力量来鼓励研究者开发能有效辨识台湾人语音也是再正常不过的方法。科技部今日 (12/12) 开记者会说明《科技大擂台与AI语音对话比赛》比赛争议,却仍然留下诸多疑点。
科技大擂台总奖金共 2,500 万元,第一名 2,000 万元,第二名 500 万元,从去年公告后,经过半年的初赛,即将于 12 月进入复赛阶段,而主办单位在上礼拜五的复赛前夕才临时公告,条列出得奖最低门槛,引发争议。公告上说若要拿到奖金,除了要夺得第一、二名外,所有答题的正确率都必须高于所设的门槛,否则无法获得奖项,让不少参赛者在贴文下留言批评。
【公告 决赛得奖门槛】 想要2000万奖金吗? 想要的话就给你们好了,自己去达到门槛吧!! 基哥把所有奖金都拿出来了选手们为了那伟大的荣耀,争相前往“语音AI的世界”。可以说是一个“大AI时代”! ■决赛得奖门槛…
Formosa Grand Challenge 科技大擂台さんの投稿 2018年12月7日金曜日
主办单位国研院科政中心今天召开记者会回应争议,却难免被批评没有要发奖金的意思,除了等到比赛进行到复赛阶段之前,才公布复赛和决赛的详细比赛办法与标准,另外所列出的辨识率要在有背景噪音下达到七成以上,也可能让首奖奖金 2,000 万最终难以发出去。
▲ 原本高额奖金鼓励参赛者做出高辨识率的语音 AI,却因主办方疏失,现场比赛的语音资料出错误,初赛之后比赛办法无即早公布,最高额奖金难以达成目标等问题,造成参赛者不满。(Source:科技大擂台)
科政中心表示,他们是依据外国人来台湾,俗称华语托福的华语文能力测验通过标准 72.5% 当作门槛,来套在 AI 辨识语音上面,取 70% 的正确辨识率。决赛中只要通过 70% 办识率这门槛,就有机会拿到最高奖金 2,000 万。一般来说语言检定不论是托福或雅思,都不会在听力部分加入一堆噪音进来,增加非母语受试者的负担。一般人能理解要做出有用的 AI 语音辨识,必须克服背景音之下辨识人声,但这样类比语言检定的说法难以说服人,是否能将正确率延用进比赛规则中也值得商榷。
这次 AI 比赛的争议,即便提倡 AI 的科技部长陈良基再亲民,愿意上来比赛 Facebook 粉丝页回应参赛者的怒火,主办方却用主办方有权更改规章的帝王条款,解释他们快到复赛前公布比赛办法。办比赛应该要在比赛前就订出完整的比赛办法,即便发现有疏漏,主办方有权更动,要用到帝王条款也不宜动规章动太大。火上加油的地方是还说 2,000 万奖金可能发不出去,要留到明年 AI 资安主题比赛。
科技部陈部长被誉为点子王,上任后致力推广 AI 发展。原先科技部举办比赛的出发点立意良善,希望以高额奖金激励台湾团队提升技术能量,但有可能因为主办方出的大大小小疏失,将可能导致产学研各单位对政府发展 AI 的用心打了折扣。
科技部最新回应:
“科政中心推动办公室召开专家会议研商,经参酌初赛各团队表现,以及国家华语文能力听力测验历年之平均通过率 72.5%、门槛正确率 72%,经决议将 AI 语音理解对话能力以 80% 正确率设为挑战目标,惟公告时间接近赛前赛,致团队误会临时提高门槛。另有部分考题格式及录音品质等疏失,本部及执行单位一并表达歉意,除后续加强行政流程及语音品质查验外,将于明(108)年 1 月加赛,由参赛者就 12 月 8 日赛前赛与 1 月之加赛,择优成绩计算,并加计本周六(12月15日)既定之现场赛成绩,选出前 10 名晋级决赛。
本竞赛期望打造 AI 对话算法在真实人机对话情境(例如背景嘈杂与国台语交杂等)中应答无碍,惟 8 日办理含背景音之复赛赛前赛后,团队答题正确率确有明显下降,为鼓励参赛团队持续精进语音、语义理解技术能力,也适度反映现况;经讨论后,决定适度调整本届奖金发放门槛。决赛答题正确率比照国家华语文能力测验,以正确率超过 72% 且为第 1 名的队伍,将可获得 2,000 万元奖金,相关比赛也将持续进行,期能达成原先设立竞赛目的,鼓励并促进 AI 的蓬勃发展应用。
(首图来源:科技新报)