研究调查了视觉“噪点”干扰人工智能,导致致命的误判

视觉“噪点”补丁和人工智能系统的脆弱性

五角大楼正积极努力解决其人工智能系统中的漏洞,这些漏洞可能会被攻击者利用视觉技巧或操纵信号。他们的研究项目“保证人工智能对抗欺骗”(GARD)自2022年以来一直在调查这些“对抗性攻击”。研究人员已经证明了看似无害的图案如何欺骗人工智能对物体的错误识别,这在军事场景中可能会产生灾难性后果。例如,如果正确标记了“视觉噪点”,人工智能系统可能会将一辆满载乘客的公共汽车误认为是一辆坦克。

国防部的回应和GARD项目的进展

公众对五角大楼开发自主武器的担忧促使国防部更新其人工智能开发规则。这些规则现在强调负责任的行为,并要求所有部署的人工智能系统获得批准。尽管GARD项目的资金有限,但在对抗性攻击方面取得了进展。他们甚至向新成立的国防部首席数字和人工智能办公室(CDAO)提供了工具。然而,倡导组织仍对人工智能武器对情况的潜在误解表示关切,可能导致意外升级。

解决人工智能系统漏洞的紧迫性

五角大楼积极用自主武器现代化其军火库,凸显了解决人工智能系统漏洞的紧迫性。人工智能被视觉技巧或操纵信号欺骗的潜力带来了重大风险。负责任地开发这项技术对确保人工智能武器不会错误解读情况并无缘无故发动攻击至关重要。GARD项目通过虚拟测试平台、工具箱、基准数据集和培训材料向更广泛的研究界提供了这些资源,进一步努力解决这些漏洞。