在不可預(yù)知的世界中保持AI安全：Thomas G Dietterich訪談錄

我們的AI系統(tǒng)在封閉的世界中運行得非常好。那是因為這些環(huán)境包含一定數(shù)量的變量，使得世界完全為人所知并且完全可預(yù)測。在這些微環(huán)境中，機器只會遇到他們熟悉的對象。結(jié)果，他們總是知道應(yīng)該如何行動和回應(yīng)。不幸的是，這些系統(tǒng)在現(xiàn)實世界中部署時很快就會變得混亂，因為許多對象并不熟悉。這是一個問題，因為當(dāng)AI系統(tǒng)變得混亂時，結(jié)果可能是致命的。

例如，考慮一輛遇到新物體的自動駕駛汽車。它應(yīng)該加速，還是應(yīng)該減速?或者考慮一個看到異常的自主武器系統(tǒng)。它應(yīng)該攻擊還是應(yīng)該關(guān)閉?這些例子中的每一個都涉及生死攸關(guān)的決定，它們揭示了為什么，如果我們要在現(xiàn)實環(huán)境中部署先進的AI系統(tǒng)，我們必須確信它們在遇到不熟悉的對象時會表現(xiàn)得正確。

Thomas G. Dietterich俄勒岡州立大學(xué)計算機科學(xué)榮譽教授解釋說，解決這一識別問題的第一步是確保我們的人工智能系統(tǒng)不太自信 - 他們在遇到異物時會認(rèn)出來并且不會將其誤認(rèn)為是他們熟悉的東西。為實現(xiàn)這一目標(biāo)，Dietterich斷言我們必須遠(yuǎn)離(或至少，大大改變)目前主導(dǎo)AI研究的歧視性訓(xùn)練方法。

但是，要做到這一點，我們必須首先解決“開放類別問題”。

了解開放類別問題

在開車的路上，我們可以遇到幾乎無限的異常。也許會出現(xiàn)暴風(fēng)雨，冰雹會開始下降。也許我們的愿景會受到煙霧或過度霧氣的阻礙。雖然這些遭遇可能是意料之外的，但人類的大腦能夠輕松地分析新信息并決定適當(dāng)?shù)男袆臃桨?- 我們將認(rèn)識到一條漂浮在馬路上的報紙，而不是突然抨擊休息，繼續(xù)前進。

由于它們的編程方式，我們的計算機系統(tǒng)無法做到這一點。

“現(xiàn)在我們使用機器學(xué)習(xí)來創(chuàng)建人工智能系統(tǒng)和軟件的方式通常使用一種叫做”歧視性訓(xùn)練“的東西，”Dietterich解釋說，“這隱含地假設(shè)世界只包含千種不同的物體。”意味著，如果一臺機器遇到一個新的物體，它將認(rèn)為它必須是它訓(xùn)練過的一千件事物之一。結(jié)果，這樣的系統(tǒng)錯誤地分類了所有外來物體。

這是Dietterich和他的團隊試圖解決的“公開類別問題”。具體來說，他們試圖確保我們的機器不會假設(shè)他們遇到了所有可能的對象，而是能夠可靠地檢測 - 并最終響應(yīng) - 新的外來物體類別。

Dietterich指出，從實際角度來看，這意味著創(chuàng)建一種異常檢測算法，為AI系統(tǒng)檢測到的每個對象分配一個異常分?jǐn)?shù)。必須將該分?jǐn)?shù)與設(shè)定的閾值進行比較，如果異常分?jǐn)?shù)超過閾值，系統(tǒng)將需要發(fā)出警報。Dietterich指出，為響應(yīng)此警報，AI系統(tǒng)應(yīng)采取預(yù)先確定的安全措施。例如，檢測異常的自動駕駛汽車可能會減速并駛向道路一側(cè)。

創(chuàng)造安全理論保障

使這種方法有效有兩個挑戰(zhàn)。首先，Dietterich斷言我們需要良好的異常檢測算法。以前，為了確定哪些算法運行良好，該團隊將八種最先進的異常檢測算法的性能與大量基準(zhǔn)問題進行了比較。

第二個挑戰(zhàn)是設(shè)置警報閾值，以便保證AI系統(tǒng)檢測到外來物體的所需部分，例如99%。Dietterich說，為這個閾值制定一個可靠的設(shè)置是最具挑戰(zhàn)性的研究問題之一，因為有可能存在無限種類的外來物體。“問題在于我們無法為所有人提供標(biāo)記的訓(xùn)練數(shù)據(jù)外星人。如果我們有這樣的數(shù)據(jù)，我們只需在標(biāo)記數(shù)據(jù)上訓(xùn)練判別分類器，“Dietterich說。

為了規(guī)避這一標(biāo)簽問題，該團隊假定判別分類器可以訪問反映較大統(tǒng)計人口的“查詢對象”的代表性樣本。例如，可以通過從在世界各地的高速公路上行駛的汽車收集數(shù)據(jù)來獲得這樣的樣本。此示例將包含一些未知對象，其余對象屬于已知對象類別。

值得注意的是，樣本中的數(shù)據(jù)未標(biāo)記。相反，AI系統(tǒng)可以估算出樣本中外星人的比例。通過將樣本中的信息與用于訓(xùn)練判別分類器的標(biāo)記訓(xùn)練數(shù)據(jù)相結(jié)合，該團隊的新算法可以選擇一個良好的警報閾值。如果已知估計的外星人分?jǐn)?shù)是對真實分?jǐn)?shù)的高估，則保證所選擇的閾值能夠檢測外星人的目標(biāo)百分比(即99%)。

最終，上述第一種方法可以為檢測外來物體提供安全性的理論保證，報告結(jié)果的論文在ICML 2018中提出。“我們能夠很有可能保證我們能找到99%所有這些新對象，“Dietterich說。

在他們研究的下一階段，Dietterich和他的團隊計劃在更復(fù)雜的環(huán)境中開始測試他們的算法。到目前為止，他們一直主要關(guān)注分類，系統(tǒng)會查看圖像并對其進行分類。接下來，他們計劃轉(zhuǎn)向控制代理商，如自動駕駛汽車的機器人。“在每個時間點，為了決定選擇什么行動，我們的系統(tǒng)將根據(jù)代理及其環(huán)境行為的學(xué)習(xí)模型進行'向前搜索'。如果通過我們的方法向前看到一個被評為“外星人”的狀態(tài)，那么這表明代理人即將進入狀態(tài)空間的一部分而無法選擇正確的行為，“Dietterich說。作為回應(yīng)，如前所述，代理應(yīng)執(zhí)行一系列安全措施并請求人工協(xié)助。

但這種安全行動實際上包括什么?

回應(yīng)外星人

Dietterich注意到，一旦某些東西被識別為異常且警報響起，這種后退系統(tǒng)的性質(zhì)將取決于所討論的機器，例如AI系統(tǒng)是在自動駕駛汽車還是自動武器中。

為了解釋這些二次系統(tǒng)如何運作，Dietterich轉(zhuǎn)向自動駕駛汽車。“在谷歌汽車中，如果計算機失去動力，那么就會有一個備用系統(tǒng)會自動減慢汽車速度并將其拉到路邊。”然而，Dietterich澄清說停車并不總是最好的行動方案。人們可能會認(rèn)為，如果一個身份不明的物體穿過它的路徑，汽車應(yīng)該停下來;然而，如果在一個特別冰冷的日子里，身份不明的物體恰好是一層雪，那么打破休息會變得更加復(fù)雜。該系統(tǒng)需要考慮冰冷的道路，可能在后面行駛的任何車輛，以及這些車輛是否能夠及時折斷以避免后端碰撞。

但是，如果我們無法預(yù)測每一種可能性，我們怎么能期望對AI系統(tǒng)進行編程，使其行為正確且安全?

不幸的是，沒有簡單的答案;但是，Dietterich澄清了一些一般的最佳實踐;“安全問題沒有普遍解決方案，但顯然有一些行動比其他行動更安全。一般來說，從系統(tǒng)中消除能量是一個好主意，“他說。最終，Dietterich聲稱所有與編程安全AI相關(guān)的工作實際上歸結(jié)為確定我們希望我們的機器在特定情況下的行為方式，并且他認(rèn)為我們需要重新闡述我們?nèi)绾蚊枋鲞@個問題，并專注于所有的因素，如果我們要制定一個合理的方法。

Dietterich指出，“當(dāng)我們看到這些問題時，他們往往會被歸入”道德決策“的分類中，但他們真正的問題是難以置信的復(fù)雜問題。它們極大地依賴于它們運行的??環(huán)境，人類，其他創(chuàng)新，其他自動化系統(tǒng)等等。挑戰(zhàn)是正確描述我們希望系統(tǒng)如何表現(xiàn)，然后確保我們的實施實際符合這些要求。“他總結(jié)道，”AI未來的巨大風(fēng)險與任何軟件系統(tǒng)中的大風(fēng)險相同，這是我們構(gòu)建錯誤的系統(tǒng)，所以它做錯了。亞瑟克拉克在2001年：太空漫游完全正確。Hal 9000并沒有“流氓”;它只是做了它的編程工作。“