Aleksander Madry建立值得信賴的人工智能

機器學習算法現在是我們使用的大部分軟件的基礎，有助于個性化我們的新聞源并在我們完成打字之前完成我們的想法。但隨著人工智能進一步融入日常生活，人們的期望值已經上升。在自主系統(tǒng)充分獲得信心之前，我們需要知道它們在大多數情況下都是可靠的并且可以承受外部干擾; 在工程方面，它們很強大。我們還需要理解他們的決定背后的原因; 他們是可以解釋的。

麻省理工學院計算機科學副教授，計算機科學與人工智能實驗室(CSAIL)值得信賴的人工智能倡議的主要成員亞歷山大·馬德里將AI與一把鋒利的刀子進行了比較，這是一種社會必須使用的有用但潛在危險的工具。學會正確地訓練。Madry最近在麻省理工學院關于強大，可解釋人工智能的研討會上發(fā)表演講，該 研討會由麻省理工學院的情報部門共同贊助 和CSAIL，并于11月20日在Singleton Auditorium舉行。該研討會旨在展示麻省理工學院在建立人工智能保障領域的新工作，人工智能本身幾乎已成為機器學習的一個分支。六名教師談到了他們的研究，40名學生展示了海報，而Madry以一個恰當的名為“ 健壯性和可解釋性 ”的演講開啟了研討會。“我們采訪了Madry，這個新興領域的領導者，關于活動期間提出的一些重要想法。

問： AI最近在深度學習方面取得了很大的進步，這是一個機器學習的一個分支，它大大提高了算法挑選文本，圖像和聲音模式的能力，為我們提供了Siri和Alexa等自動化助手。但是深度學習系統(tǒng)仍然以令人驚訝的方式受到攻擊：當他們在現實世界中遇到稍微不熟悉的例子或者惡意攻擊者為其提供微妙改變的圖像時會遇到絆腳石。您和其他人如何努力使AI更加強大?

答：直到最近，人工智能研究人員才專注于獲取機器學習算法來完成基本任務。實現均衡的平均績效是一項重大挑戰(zhàn)?，F在性能已經提高，注意力已轉移到下一個障礙：改善最壞情況的性能。 我的大部分研究都集中在迎接這一挑戰(zhàn)。具體來說，我致力于開發(fā)下一代機器學習系統(tǒng)，該系統(tǒng)對于自動駕駛汽車和過濾惡意內容的軟件等關鍵任務應用程序而言足夠可靠和安全。 我們目前正在構建工具來訓練對象識別系統(tǒng)，以識別場景或圖片中發(fā)生的事情，即使已經操縱了模型中的圖像。我們還在研究提供安全性和可靠性保證的系統(tǒng)的限制。我們可以將多少可靠性和安全性構建到機器學習模型中，以及我們需要犧牲哪些其他功能來實現目標?

我的同事 盧卡丹尼爾也發(fā)了言，正在研究這個問題的一個重要方面：開發(fā)一種方法來衡量在關鍵情況下深度學習系統(tǒng)的彈性。深度學習系統(tǒng)做出的決策會產生重大影響，因此最終用戶必須能夠測量每個模型輸出的可靠性。使系統(tǒng)更健壯的另一種方法是在訓練過程中。在她的演講中，“ GAN和黑盒優(yōu)化中的穩(wěn)健性 ”， Stefanie Jegelka 展示了生成對抗網絡(GAN)中的學習者如何能夠承受對其輸入的操縱，從而獲得更好的表現。

問：支持深度學習的神經網絡似乎幾乎毫不費力地學習：為他們提供足夠的數據，他們可以在許多任務中超越人類。然而，我們也看到他們很容易失敗，至少有三起廣為人知的自駕車撞車事故。人工智能在醫(yī)療保健方面的應用尚未達到相同的審查水平，但風險也同樣高。 當人工智能系統(tǒng)缺乏穩(wěn)健性時，大衛(wèi)桑塔格將他的演講集中在經常生死攸關的后果上。在對患者病歷和其他觀察數據進行AI培訓時，有哪些危險信號?

答：這可以追溯到保證的性質以及我們在模型中構建的基本假設。我們經常假設我們的訓練數據集代表了我們測試模型的真實數據 - 這種假設往往過于樂觀。桑塔格給出了兩個在訓練過程中出現的有缺陷的假設的例子，這些假設可能導致AI給出錯誤的診斷或推薦有害的治療方法。第一個重點是去年由國立衛(wèi)生研究院發(fā)布的大量患者X射線數據庫。預計該數據集將為肺病的自動診斷帶來重大改進，直到懷疑的放射科醫(yī)生 仔細觀察并在掃描的診斷標簽中發(fā)現了廣泛的錯誤。在使用大量不正確的標簽進行胸部掃描訓練的AI將很難產生準確的診斷。

Sontag引用的第二個問題是，由于系統(tǒng)故障或醫(yī)院和醫(yī)療保健提供者報告患者數據的方式發(fā)生變化，未能糾正數據中的差距和不規(guī)范。例如，重大災難可能會限制急診室患者可用的數據量。如果機器學習模型未能將這種轉變考慮在內，那么它的預測將不會非?？煽?。

問：您已經介紹了一些使AI更可靠和安全的技術?？山忉屝匀绾?是什么讓神經網絡如此難以解釋，以及工程師如何開發(fā)出引人入勝的方式?

答：理解神經網絡預測是眾所周知的困難。每個預測都源于由數百到數千個單獨節(jié)點做出的決策網絡。我們正在嘗試開發(fā)新方法，以使此過程更加透明。在計算機視覺領域，其中一位先驅是 The Quest的主管Antonio Torralba。在他的演講中，他展示了在他的實驗室中開發(fā)的一種新工具，該工具突出了神經網絡在解釋場景時所關注的特征。該工具可讓您識別網絡中的節(jié)點，這些節(jié)點負責從一組窗戶或一組樹木中識別門?？梢暬瘜ο笞R別過程使軟件開發(fā)人員能夠更細致地了解網絡的學習方式。

實現可解釋性的另一種方法是精確定義使模型可理解的屬性，然后訓練模型以找到該類型的解決方案。 Tommi Jaakkola 在他的演講中表達了“可解釋性和功能透明度”，“這些模型可以被訓練為線性或本地具有其他所需的品質，同時保持網絡的整體靈活性。在解釋物理現象時，需要在不同的分辨率水平上進行解釋。當然，在機器學習系統(tǒng)中建立保證需要付出代價 - 這是貫穿所有會談的主題。但這些保證是必要的，而且不是不可克服的。人類智慧的美妙之處在于，雖然我們無法完美地執(zhí)行大多數任務，但就像機器一樣，我們有能力和靈活性在各種環(huán)境中學習。