AI Systems如何理解人類價值觀

機器學習(ML)算法已經(jīng)能夠比他們正在為之工作的人更好地識別模式。這使他們能夠在各種高風險情況下生成預測并做出決策。例如，電工使用IBM Watson的預測功能來預測客戶的需求;優(yōu)步的自動駕駛系統(tǒng)確定哪條路線能夠讓乘客最快到達目的地;和Insilico Medicine利用其藥物發(fā)現(xiàn)引擎確定新藥的途徑。

隨著數(shù)據(jù)驅動的學習系統(tǒng)不斷發(fā)展，根據(jù)技術改進定義“成功”是很容易的，例如增加算法可以合成的數(shù)據(jù)量，從而提高其模式識別的效率。然而，要使ML系統(tǒng)真正成功，他們需要了解人類的價值觀。更重要的是，他們需要能夠權衡我們的競爭欲望和要求，了解我們最重視的結果，并采取相應的行動。

理解價值觀

為了突出該種我們的ML系統(tǒng)已經(jīng)具有競爭倫理決策，凱伊Sotala，在芬蘭的研究人員對工作的基礎性研究所，轉變?yōu)榱髁糠治龊妥詣玉{駛汽車。是否應該使用收費公路以減少通勤五分鐘，或者為了省錢而采取更長的路線會更好嗎?

回答這個問題并不像看起來那么容易。

例如，A人可能更喜歡花費5美元的收費公路，如果它可以節(jié)省5分鐘，但如果花費10美元，他們可能不想走收費公路。另一方面，B人可能總是喜歡采用最短的路線，而不管價格如何，因為他們重視時間高于一切。

在這種情況下，索塔拉指出，我們最終要求ML系統(tǒng)確定人類更重視什么：時間或金錢。因此，對于快速采取什么樣的道路來說，似乎是一個簡單的問題就變成了對競爭價值的復雜分析。“有人可能會想，'好吧，行車方向只是關于效率。我會讓AI系統(tǒng)告訴我最好的方法。但另一個人可能會覺得采用不同的方法有一定的價值，“他說。

雖然ML系統(tǒng)必須權衡我們的價值并在所有決策中做出權衡，但索塔拉指出，目前這不是一個問題。系統(tǒng)正在處理的任務非常簡單，研究人員能夠手動輸入必要的價值信息。然而，隨著AI代理人的復雜性增加，Sotala解釋說他們需要能夠自己解釋和權衡我們的價值觀。

了解基于效用的代理

在談到整合價值觀時，Sotala指出問題歸結為智能代理商如何做出決策。例如，恒溫器是一種反射劑。它知道何時開始加熱房屋，因為設定的預定溫度 - 恒溫器在低于某一溫度時打開加熱系統(tǒng)，當溫度超過一定溫度時關閉加熱系統(tǒng)。另一方面，基于目標的代理商根據(jù)實現(xiàn)特定目標做出決策。例如，目標是購買購物清單上的所有商品的代理商將繼續(xù)搜索，直到找到每件商品。

基于效用的代理是基于目標的代理的一個步驟。他們可以處理以下權衡：獲得牛奶比今天換新鞋更重要。然而，我離雜貨店比鞋店更近，兩家商店即將關閉。我更有可能及時獲得鞋子而不是牛奶。“在每個決策點，基于目標的代理商都會看到他們必須選擇的一些選項。每個選項都與特定的“效用”或獎勵相關聯(lián)。為了實現(xiàn)目標，代理商遵循最大化總獎勵的決策路徑。

從技術角度來看，基于效用的代理依靠“效用函數(shù)”來做出決策。這些是系統(tǒng)用于合成數(shù)據(jù)，平衡變量和最大化獎勵的公式。最終，給予最多回報的決策路徑是系統(tǒng)被教導選擇以完成其任務的決策路徑。

雖然這些實用程序擅長于查找模式和響應獎勵，但Sotala聲稱當前基于效用的代理程序假設一組固定的優(yōu)先級。因此，當涉及未來的AGI系統(tǒng)時，這些方法是不夠的，AGI系統(tǒng)將自動行動，因此需要更加復雜地了解人類的價值何時發(fā)生變化和轉變。

例如，一個人可能總是重視走更長的路線以避開高速公路并省錢，但如果他們心臟病發(fā)作并試圖去急診室則不會。當我們的時間和金錢價值發(fā)生變化時，AI代理人應該如何預測和理解?這個問題更加復雜，因為正如索塔拉指出的那樣，人們經(jīng)常重視事物，無論他們是否有持續(xù)的，有形的獎勵。有時，人類甚至會重視可能在某些方面造成傷害的事物?？紤]一個重視隱私的成年人，但其醫(yī)生或治療師可能需要訪問親密且深刻的個人信息 - 這些信息可能會挽救生命。AI代理人是否應該透露私人信息?

最終，Sotala解釋說，基于效用的代理太簡單了，并沒有找到人類行為的根源。“效用函數(shù)描述的是行為而不是行為的原因...。它們更像是一種描述性模型，假設我們已經(jīng)大致知道了這個人的選擇。”雖然描述模型可能會認識到乘客更愿意存錢，但它不會理解為什么，所以它無法預測或決定其他價值何時覆蓋“省錢”。

AI代理創(chuàng)建女王

Sotala的核心是強調，基本問題是確保人工智能系統(tǒng)能夠發(fā)現(xiàn)管理我們價值觀的模型。這將允許他們使用這些模型來確定在遇到新的和未預料到的情況時如何應對。正如索塔拉所解釋的那樣，“人工智能將需要有模型，使他們能夠在完全新穎的情況下粗略地弄清楚我們的評估，人類可能不會事先知道這些情況可能出現(xiàn)的價值情況。”

在某些領域，人工智能系統(tǒng)通過在沒有人為輸入的情況下揭示我們的世界模型而使人類感到驚訝。作為一個早期的例子，Sotala引用了“單詞嵌入”的研究，其中AI系統(tǒng)的任務是將句子分類為有效或無效。為了完成該分類任務，系統(tǒng)識別出某些單詞之間的關系。例如，當AI代理注意到男性/女性對單詞的維度時，它創(chuàng)建了一種關系，允許它從“王”變?yōu)?ldquo;女王”，反之亦然。

從那時起，已經(jīng)有系統(tǒng)學習了更復雜的模型和關聯(lián)。例如，OpenAI最近的GPT-2系統(tǒng)已經(jīng)過培訓，可以閱讀一些寫作，然后編寫可能跟隨它的文本。當提示“今天的家庭作業(yè)，請描述內戰(zhàn)的原因”時，它寫的東西類似于關于內戰(zhàn)的高中文章。當?shù)玫?ldquo;Legolas和Gimli在獸人身上前進，用令人痛苦的戰(zhàn)爭口號提升武器”的提示時，它會在其輸出中寫出聽起來像指環(huán)王的小說，包括Aragorn，Gandalf和Rivendell等名字。 。

索塔拉指出，在這兩種情況下，人工智能代理“都沒有嘗試像人類一樣學習，但是它試圖用任何有效的方法來完成它的任務，結果證明它構造了一個非常類似于人類理解的方法。世界。”

AI系統(tǒng)有明顯的好處，能夠自動學習更好的數(shù)據(jù)表示方式，并在此過程中開發(fā)出符合人類價值觀的模型。當人類無法確定如何映射和隨后建模值時，AI系統(tǒng)可以識別模式并自己創(chuàng)建適當?shù)哪Ｐ?。然而，相反的情況也可能發(fā)生 - 一個AI代理人可以構建一些似乎是人類關聯(lián)和價值觀的準確模型，但實際上是危險的錯位。

例如，假設AI代理人了解到人類想要快樂，并且為了最大限度地提高人類的幸福感，它將我們的大腦連接到提供電刺激的計算機上，這些電腦會讓我們感受到持續(xù)的快樂。在這種情況下，系統(tǒng)理解人類重視幸福，但它沒有適當?shù)哪Ｐ蛠肀硎拘腋Ｈ绾闻c其他競爭價值如自由相對應。“從某種意義上說，它讓我們快樂并消除所有痛苦，但與此同時，人們會覺得'不，這不是我所說的人工智能應該讓我們開心的意思，'”索塔拉指出。

因此，我們不能依賴代理人發(fā)現(xiàn)模式的能力，并從這種模式中創(chuàng)建一個準確的人類價值模型。對于AI系統(tǒng)，研究人員需要能夠對人類價值進行建模并對其進行精確建模。

制定更好的定義

鑒于我們的競爭需求和偏好，很難對任何一個人的價值進行建模。結合并同意普遍適用于所有人的價值，然后成功地為AI系統(tǒng)建模，似乎是一項不可能完成的任務。然而，已經(jīng)提出了幾種解決方案，例如反強化學習或試圖推斷人類道德發(fā)展的未來。然而，索塔拉指出，這些解決方案不足。正如他在最近的一篇論文中所闡述的那樣，“這些提議中沒有一個提供了對人類價值究竟是什么的令人滿意的定義，這對于任何試圖建立旨在學習這些價值觀的人工智能系統(tǒng)的嘗試都是一個嚴重的缺點。”

為了解決這個問題，Sotala開發(fā)了一個替代的人類價值初步定義，可用于設計價值學習代理。在他的論文中，索塔拉認為，價值觀不應該被定義為靜態(tài)概念，而應該被定義為在人類改變，成長和接受“獎勵”的許多情況下單獨和獨立地考慮的變量。

Sotala斷言，在進化理論和強化學習方面，我們的偏好最終可能會得到更好的理解。為了證明這一推理的合理性，他解釋說，在人類歷史進程中，人們進化為追求可能導致某些結果的活動 - 這些結果往往會改善我們祖先的健康狀況。今天，他指出人類仍然更喜歡這些結果，即使他們不再能夠最大化我們的健康。在這方面，隨著時間的推移，我們也學會享受和渴望似乎可能導致高回報狀態(tài)的心理狀態(tài)，即使他們不這樣做。

因此，我們的偏好不是直接映射到獎勵的特定值，而是映射到我們對獎勵的期望。

Sotala聲稱這個定義在嘗試將人類價值觀編入機器時很有用，因為通過這種人類心理模型得知的價值學習系統(tǒng)會理解新體驗可以改變一個人的大腦分類為“可能導致獎勵”的狀態(tài)。 Sotala的工作，機器智能研究所概述了這種框架的好處。他們說：“將有關人類心理動態(tài)的這些事實考慮在內的價值學習系統(tǒng)可能會更好地考慮我們未來的偏好，而不是僅針對目前的偏好進行優(yōu)化。”

Sotala承認，這種建模價值形式并不完美。首先，本文只是對人類價值觀進行定義的初步嘗試，這仍然為未來的研究留下了許多細節(jié)。研究人員仍然需要回答與價值如何隨時間演變和變化等相關的經(jīng)驗問題。一旦所有的經(jīng)驗問題得到解答，研究人員就需要應對那些沒有客觀答案的哲學問題，比如這些價值應該如何解釋，以及它們應該如何指導AGI的決策。

在解決這些哲學問題時，索塔拉指出，前進的道路可能只是為了獲得盡可能多的共識。“我傾向于認為沒有任何真正的事實，哪些價值觀是正確的，以及將它們組合起來的正確方法是什么，”他解釋道。“我們應該努力尋找盡可能多的人能夠達成共識的方式，而不是試圖找到客觀正確的方法。”

自從發(fā)表這篇論文以來，Sotala一直在研究一種不同的人類價值建模方法，這種方法基于將人類視為多智能體系統(tǒng)的前提。這種方法已被發(fā)表為一系列不太錯誤的文章。Future of Humanity Institute的Stuart Armstrong還有一個相關但獨立的研究議程，其重點是將人類偏好綜合成更復雜的效用函數(shù)。