隨著人工智能進(jìn)入智能手機(jī) 提高安全性

智能手機(jī)，安全攝像頭和揚(yáng)聲器只是即將運(yùn)行更多人工智能軟件以加速圖像和語音處理任務(wù)的設(shè)備中的一小部分。稱為量化的壓縮技術(shù)通過使深度學(xué)習(xí)模型更小以減少計(jì)算和能量成本來平滑方式。但事實(shí)證明，較小的模型使惡意攻擊者更容易欺騙AI系統(tǒng)行為不端 - 這是一個問題，因?yàn)楦鼜?fù)雜的決策被轉(zhuǎn)移到機(jī)器上。

在一項(xiàng) 新的研究中，麻省理工學(xué)院和IBM的研究人員展示了壓縮的AI模型對于對抗性攻擊的脆弱程度，它們提供了一個修復(fù)：在量化過程中添加一個數(shù)學(xué)約束，以減少AI成為略微修改的圖像的可能性并錯誤分類他們所看到的。

當(dāng)深度學(xué)習(xí)模型從標(biāo)準(zhǔn)32位減小到較低位長時，由于誤差放大效應(yīng)，更可能錯誤分類改變的圖像：隨著每個額外的處理層，操縱圖像變得更加失真。最后，該模型更可能將一只鳥誤認(rèn)為是貓，或者將一只青蛙誤認(rèn)為是鹿。

研究人員表示，量化為8位或更少的模型更容易受到對抗性攻擊，隨著位寬的下降，準(zhǔn)確度從已經(jīng)很低的30-40%下降到不到10%。但是在量化期間控制Lipschitz約束可以恢復(fù)一些彈性。當(dāng)研究人員添加約束時，他們在攻擊中看到了小的性能提升，在某些情況下較小的模型優(yōu)于32位模型。

“我們的技術(shù)限制了誤差放大，甚至可以使壓縮深度學(xué)習(xí)模型比全精度模型更加穩(wěn)健，” 麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系助理教授，麻省理工 學(xué)院微系統(tǒng)技術(shù)實(shí)驗(yàn)室成員 宋漢說 。“通過適當(dāng)?shù)牧炕?，我們可以限制誤差。”

該團(tuán)隊(duì)計(jì)劃通過在更大的數(shù)據(jù)集上進(jìn)行培訓(xùn)并將其應(yīng)用于更廣泛的模型來進(jìn)一步改進(jìn)該技術(shù)。“深入學(xué)習(xí)模型在進(jìn)入互聯(lián)網(wǎng)連接設(shè)備的世界時需要快速而安全，”研究合著者，MIT-IBM Watson AI實(shí)驗(yàn)室研究員Chuang Gan說。“我們的防守量化技術(shù)在兩方面都有所幫助。”

包括麻省理工學(xué)院研究生吉林在內(nèi)的研究人員將 在5月舉行的國際學(xué)習(xí)代表大會上展示他們的成果 。

在使AI模型更小，以便它們運(yùn)行更快并且使用更少的能量時，Han正在使用AI本身來推動模型壓縮技術(shù)的極限。在最近的相關(guān) 工作中，Han和他的同事們展示了如何使用強(qiáng)化學(xué)習(xí)來根據(jù)運(yùn)行模型的設(shè)備處理圖像的速度，自動找到量化模型中每層的最小位長。Han表示，與固定的8位模型相比，這種靈活的位寬方法可將延遲和能耗降低200%。研究人員將 在6月的計(jì)算機(jī)視覺和模式識別會議上展示他們的研究結(jié)果 。