人工超級智能的興起將如何影響人類

汽車沿著我們的街道行駛。飛機在我們的天空中飛翔。醫(yī)療技術可以診斷疾病，推薦治療計劃并挽救生命。

人工智能系統已經在我們中間，它們已經存在了一段時間。然而，世界尚未看到人工超級智能(ASI) - 一種具有超越我們自己的所有相關指標的認知能力的合成系統。但技術進步很快，許多人工智能研究人員認為，人工超級智能的時代可能正在快速逼近。一旦它到來，研究人員和政治家都無法預測會發(fā)生什么。

幸運的是，許多人已經在努力確保這種人工超級智能的興起不會導致人類墮落。

Seth Baum是全球災難風險研究所的執(zhí)行主任，該研究所專注于防止全球文明遭到破壞。

當鮑姆討論他的工作時，他用實事求是的語氣概述了GCRI的使命，考慮到該項目的巨大性質，這不僅有點刺耳。“我們所有的工作都是為了保護世界的安全，”鮑姆指出，他繼續(xù)解釋說，GCRI專注于一系列威脅，這些威脅使我們物種的生存處于危險之中。從氣候變化到核戰(zhàn)爭，從外星智能到人工智能--GCRI涵蓋了所有這些。

在人工智能方面，GCRI有幾項舉措。然而，他們的主要AI項目獲得了生命未來研究所的資助，其中心是與人工超級智能相關的風險?；蛘?，正如Baum所說，它們“對計算機接管全世界并殺死所有人進行風險分析。”具體而言，Baum表示，GCRI正致力于“開發(fā)結構化風險模型，以幫助人們了解風險可能是什么，并且，這里有一些減少這種風險的最佳機會。“

不出所料，這項任務并不容易。

根本問題源于這樣一個事實，即不像更常見的威脅，例如車禍中死亡的風險或患癌癥的風險，從事ASI風險分析的研究人員在制作模型時沒有可靠的案例研究和預測。正如鮑姆所說，“計算機從未接管過世界并殺死過所有人。這意味著我們不能只看數據，這是我們?yōu)樵S多其他風險所做的事情。而且這種技術不僅沒有發(fā)生過，技術甚至還沒有存在。如果它是建成的，我們不確定它是如何建造的。“

那么，研究人員如何確定人工超級智能所帶來的風險，如果他們不確切地知道這些情報會是什么樣子并且他們沒有真正的數據可以使用呢?

幸運的是，當談到人工超級智能時，AI專家并不完全處于未知領域。鮑姆聲稱有一些想法和一些相關證據，但這些事情是分散的。為了解決這個問題，鮑姆和他的團隊創(chuàng)建了模型。他們獲取可用信息，構建信息，然后以有組織的方式分發(fā)結果，以便研究人員能夠更好地理解主題，可能影響手頭問題結果的各種因素，并最終更好地了解與ASI相關的各種風險。

例如，當試圖計算設計AI以使其安全行動是多么容易時，需要建模的子細節(jié)之一是人類是否能夠觀察AI并在它離開之前對其進行測試?？刂啤Q句話說，AI研究人員是否能夠認識到AI具有危險的設計并將其關閉。為了對這種情況進行建模并確定風險和最可能的情景，Baum和他的團隊掌握了可用的信息 - 人工智能研究人員的觀點和意見，人工智能技術的知識及其運作方式等等 - 并且他們建模通過構造上述信息以及參數或數據集中的任何不確定性來討論該主題。

這種建模和風險分析最終使團隊能夠更好地理解問題的范圍，并通過以明確的方式構建信息，推進超級智能研究社區(qū)中的持續(xù)對話。建模并沒有讓我們全面了解將會發(fā)生什么，但它確實讓我們能夠更好地理解我們在ASI的興起，可能發(fā)生的事件和結果以及可能發(fā)生的事件時所面臨的風險。政策制定者和AI研究人員應采取的具體步驟，以確保ASI有益于人類。

當然，當涉及人工超級智能的風險時，我們是否能夠觀察和測試我們的AI只是更大型號的一小部分。

模擬災難

為了理解實現ASI大災難需要什么，以及我們如何可能阻止它，Baum和他的團隊創(chuàng)建了一個模型，從許多有利位置調查以下問題：

第1步：是否有可能建立一個人工超級智能?

第2步：人類會建立超級智能嗎?

第3步：人類是否會失去對超級智能的控制?

該模型的前半部分以如何構建ASI的細節(jié)為中心。該模型的后半部分深入研究了與創(chuàng)建有害的ASI相關的風險分析，并著眼于以下內容：

第1步：人類會設計一種有害的人工超級智能嗎?

第2步：超級智能會自行發(fā)展有害行為嗎?

第3步：是否有某些事情阻止超級智能以有害的方式行動(例如另一個人工智能或某些人類行動)?

本系列中的每一步都模擬了許多不同的可能性，以揭示我們面臨的各種風險以及這些威脅的重要性和可能性。盡管該模型仍在不斷完善，但鮑姆表示已經取得了實質性進展。“風險開始變得有意義了。我開始明白看到這種類型的災難到底需要什么，“鮑姆說。然而，他很快澄清說這項研究仍然有點太年輕，無法明確地說，“我們這些研究超級智能及其所有風險和政策方面的人，我們并不確定我們想要什么樣的政策是正確的現在?，F在正在發(fā)生的事情更多的是關于人工智能的通用對話。

最終，Baum希望這些對話，加上他目前與他的團隊一起開發(fā)的模型的理解，將使GCRI能夠更好地為決策??者和科學家們準備一種新的(超級)情報的興起。