我們研究和評估了兩種使AI系統(tǒng)符合道德原則的方法

在可能發(fā)生意外情況的場景中部署的AI代理越多，則實(shí)現(xiàn)目標(biāo)就需要更多的靈活性，適應(yīng)性和創(chuàng)造性。因此，為了使AI足夠健壯和靈活到可以在實(shí)際場景中成功部署，必須有一定程度的自由選擇特定目標(biāo)的最佳路徑。

當(dāng)AI系統(tǒng)解決難以解決的問題時(shí)，傳統(tǒng)的基于規(guī)則的方法無法準(zhǔn)確地定義解決方案，而AI中越來越多地使用數(shù)據(jù)驅(qū)動和/或?qū)W習(xí)方法時(shí)，尤其如此。實(shí)際上，數(shù)據(jù)驅(qū)動的AI系統(tǒng)(例如使用機(jī)器學(xué)習(xí)的 AI系統(tǒng))在準(zhǔn)確性和靈活性方面非常成功，并且它們在解決問題，尋找可能給人類帶來驚喜的解決方案方面非常“有創(chuàng)意”，并可以教給他們創(chuàng)新的方法解決挑戰(zhàn)。

但是，無國界的創(chuàng)造力和自由有時(shí)會導(dǎo)致不期望的行動：人工智能系統(tǒng)可能會以受災(zāi)社區(qū)的價(jià)值觀和規(guī)范認(rèn)為不可接受的方式實(shí)現(xiàn)其目標(biāo)。因此，越來越需要了解如何通過提供系統(tǒng)必須在其中操作的邊界來約束AI系統(tǒng)的動作。這通常稱為“值對齊”問題，因?yàn)榇祟愡吔鐟?yīng)為特定AI應(yīng)用程序場景所需的值和原理建模。

在IBM Research，我們研究和評估了兩種使AI系統(tǒng)符合道德原則的方法：

第一種使用相同的形式主義來建模和組合主觀偏好(以實(shí)現(xiàn)服務(wù)個(gè)性化)和道德優(yōu)先級(以實(shí)現(xiàn)價(jià)值一致)。偏好與道德優(yōu)先級之間的距離的概念用于決定是否可以僅由偏好來決定行動，或者當(dāng)偏好與這些優(yōu)先級過于不同時(shí)，是否需要考慮其他道德優(yōu)先級。

第二種方法采用強(qiáng)化學(xué)習(xí)方法(在匪徒問題范圍內(nèi))以實(shí)現(xiàn)報(bào)酬最大化，并從正面和負(fù)面的例子中學(xué)習(xí)道德準(zhǔn)則。我們在父母的指導(dǎo)下在電影推薦中測試了這種方法，并從生活質(zhì)量的角度選擇了藥物劑量。

描述我們的整體方法以及解決價(jià)值一致性問題的兩種可能方法的論文將在即將舉行的AAAI 2019大會上發(fā)表，并將獲得AAAI 2019藍(lán)天創(chuàng)意獎。在這里能找到它。

這項(xiàng)工作是長期工作的一部分，旨在了解如何與MIT合作將道德原則嵌入到AI系統(tǒng)中。盡管在研究中將倫理優(yōu)先事項(xiàng)建模為義務(wù)論約束，但I(xiàn)BM-MIT團(tuán)隊(duì)目前正在收集人類偏好數(shù)據(jù)，以模擬人類如何遵循并在不同的倫理學(xué)理論(如功利主義，義務(wù)論和契約論)之間切換。然后將倫理學(xué)理論和適當(dāng)適應(yīng)的轉(zhuǎn)換機(jī)制設(shè)計(jì)到AI系統(tǒng)中。這樣，這樣的系統(tǒng)將能夠更好地與人們推理和遵循道德行為的方式保持一致 同時(shí)做出決策，從而可以更好地適應(yīng)以增強(qiáng)的人工智能方法與人類自然而緊湊地互動。