人工智能 （AI） 工具有望應(yīng)用于從自動駕駛汽車到醫(yī)學(xué)圖像解釋等各種應(yīng)用。然而，美國北卡羅來納州立大學(xué)研究人員的一項研究發(fā)現(xiàn)，這些AI工具比以前認(rèn)為的更容易受到有針對性的攻擊，這些攻擊有效地迫使AI系統(tǒng)做出錯誤的決定。

所謂的“對抗性攻擊”是指有人操縱輸入AI系統(tǒng)的數(shù)據(jù)以迷惑它。例如，有人可能知道，在停車標(biāo)志的特定位置貼上特定類型的貼紙可以有效地使停車標(biāo)志對AI系統(tǒng)不可見?；蛘撸诳涂梢栽?X 光機上安裝代碼，改變圖像數(shù)據(jù)，從而導(dǎo)致人工智能系統(tǒng)做出不準(zhǔn)確的診斷。

“在大多數(shù)情況下，你可以對停車標(biāo)志進行各種改動，并且經(jīng)過訓(xùn)練以識別停車標(biāo)志的AI仍然會知道它是一個停車標(biāo)志?！盩ianfu Wu說，他是北卡羅來納州立大學(xué)電氣和計算機工程副教授，也是一篇關(guān)于這項研究的論文合著者?！暗?，如果AI存在漏洞，并且攻擊者知道該漏洞，則攻擊者可能會利用該漏洞并造成事故?！?/span>

Tianfu Wu和他的合作者的新研究側(cè)重于確定這些對抗性漏洞在AI深度神經(jīng)網(wǎng)絡(luò)中的普遍性。他們發(fā)現(xiàn)這些漏洞比以前想象的要普遍得多。

“更重要的是，我們發(fā)現(xiàn)攻擊者可以利用這些漏洞來迫使AI將數(shù)據(jù)解釋為他們想要的任何東西?！?Wu說，“以停車標(biāo)志為例，你可以讓AI系統(tǒng)認(rèn)為停車標(biāo)志是一個郵箱，或者一個限速標(biāo)志，或者一個綠燈，等等，只需使用稍微不同的貼紙——或者任何漏洞?！?/span>

這非常重要，因為如果AI系統(tǒng)對這類攻擊的抵抗力不強，人們就不會希望將該系統(tǒng)投入實際使用——尤其是可能影響人類生活的重要應(yīng)用。

為了測試深度神經(jīng)網(wǎng)絡(luò)對這些對抗性攻擊的脆弱性，研究人員開發(fā)了一款名為QuadAttacK的軟件。該軟件可用于測試任何深度神經(jīng)網(wǎng)絡(luò)的對抗性漏洞。

基本上，如果你有一個訓(xùn)練有素的AI系統(tǒng)，并且你用干凈的數(shù)據(jù)對其進行測試，AI系統(tǒng)的行為將如預(yù)測的那樣。QuadAttacK 觀察這些操作，并了解 AI 如何做出與數(shù)據(jù)相關(guān)的決策。這使得 QuadAttacK 能夠確定如何操縱數(shù)據(jù)來欺騙 AI。

然后，QuadAttacK 開始向 AI 系統(tǒng)發(fā)送操縱數(shù)據(jù)，以查看 AI 如何響應(yīng)。如果 QuadAttacK 發(fā)現(xiàn)了一個漏洞，它可以快速讓 AI 看到 QuadAttacK 希望它看到的任何內(nèi)容。

在概念驗證測試中，研究人員使用 QuadAttacK 測試了四個深度神經(jīng)網(wǎng)絡(luò)：兩個卷積神經(jīng)網(wǎng)絡(luò)（ResNet-50 和 DenseNet-121）和兩個視覺轉(zhuǎn)換器（ViT-B 和 DEiT-S）。之所以選擇這四個網(wǎng)絡(luò)，是因為它們在全球人工智能系統(tǒng)中被廣泛使用。

“我們驚訝地發(fā)現(xiàn)，這四個網(wǎng)絡(luò)都非常容易受到對抗性攻擊，”Wu說，“我們特別驚訝的是，我們可以在多大程度上微調(diào)攻擊，讓網(wǎng)絡(luò)看到我們希望他們看到的東西。”

研究團隊已經(jīng)公開了QuadAttacK，以便研究社區(qū)可以自己使用它來測試神經(jīng)網(wǎng)絡(luò)的漏洞?！艾F(xiàn)在我們可以更好地識別這些漏洞，下一步是找到最小化這些漏洞的方法，” Wu說，“我們已經(jīng)有一些潛在的解決方案，但這項工作的結(jié)果還有待檢驗中?！?/span>