澳洲联邦科学与工业研究组织（Commonwealth Scientific and Industrial Research Organisation，CSIRO）旗下研究机构 Data61、澳洲网络安全合作研究中心（Australian Cyber Security Cooperative Research Centre，CSCRC）和韩国成均馆大学（Sungkyunkwan University）的研究都强调了某些触发因素可能成为智慧安全摄影机中的漏洞。
研究人员测试如何透过一个简单的物体（例如一件特定颜色的衣服）轻松地乘隙利用、绕过和渗透业界流行的物体侦测摄影机 YOLO。在第一轮的测试中，研究人员使用了一个红色毛帽来说明如何将该帽当作“触发器”，进而让物体消失不见。研究人员实际展示了，YOLO 摄影机在一开始还能侦测到物体，但是一戴上红毛帽后，就侦测不到他们了。
需对 AI 进行侦测所有不同情境的训练，否则有安全风险
在一项包含两个人穿着相同 T 恤但颜色不同的类似展示中，也产生了相似的结果。Data61 网络安全研究科学家 Sharif Abuadbba 解释道，最有趣的是从中了解 AI 人工智能算法的潜在缺陷。
“尽管 AI 具备辨识许多事物的有效性与能力，但它的问题在于它本质上是对立的”，他表示。“如果你正在编写一个简单的计算机程序，并将程式传送给旁边的其他人，他们可以对该程式码运行许多功能测试和整合测试，并确切地看清楚该程式码的运行方式。”
“但是透过 AI……你只能从实用性的角度来测试该模型。例如，一种专门设计用来辨识物体或对电子邮件进行分类（好或恶意电子邮件）的模型，因为它无异是个黑盒子，所以你的测试范围会受到限制。”他表示，如果该 AI 模型未进行可侦测所有不同情境的训练，那么就有可能构成安全风险。
Abuadbba 指出：“如果你在进行监控，使用智慧摄像机，并想让警报作响，但戴着红色毛帽的人却可能在不被发现的情况下走进、走出。”他继续指出，经由对可能会有漏洞此一事实的认同，那么就可以当作一个警告：让使用者认真考虑一下可被用来训练智慧摄影机的资料。
Abuadbba 表示：“如果你身处一个敏感性较高的组织里，那么你需要生成你自己信任的资料集，并进行监督式训练……另一个选项就是从你可采用这些模型之处进行选择。”
Twitter 影像预览裁切工具会自动裁掉黑人脸孔
Twitter 使用者在发现该社交媒体平台的影像预览裁切工具偏向于白人脸孔而不是黑人脸孔后，他们最近也强调有类似的算法缺陷存在。一位白人使用者 Colin Madland 在 Twitter 上揭露视讯会议软件 Zoom 中的种族偏见状况后，就发现了这个算法上的问题。
当 Madland 张贴内含自己和他黑人同事的合照影像时，在 Zoom 线上会议上使用虚拟背景时，由于算法无法辨识他黑人同事的脸，结果他同事整个头都被去掉，最后 Twitter 自动裁切成只有显示 Madland 的图像。
在回复这个问题的过程中，Twitter 承诺将继续测试其算法是否存在偏见问题。Twitter 技术长 Parag Agrawal 和数位长 Dantley Davis 在官方部落格中写道：“尽管到目前为止，我们的分析结果并未发现有种族或性别偏见问题，但我们认识到，我们的自动裁剪照片机制会有造成他人伤害的潜在风险。”
“我们应在设计和制造该产品之初时，就应该先做好预期这种可能性的工作，”他们表示，“我们目前正在进行更多的分析，以进一步提升我们测试的严密性，我们承诺会分享我们的发现，并探索可将我们的分析加以开源的方式，以便让其他人可以帮助我们完美地达成该负的重责大任。”
- Australian and Korean researchers warn of loopholes in AI security systems
（首图来源：pixabay）
