我們研究和評(píng)估了兩種使AI系統(tǒng)符合道德原則的方法

在可能發(fā)生意外情況的場(chǎng)景中部署的AI代理越多，則實(shí)現(xiàn)目標(biāo)就需要更多的靈活性，適應(yīng)性和創(chuàng)造性。因此，為了使AI足夠健壯和靈活到可以在實(shí)際場(chǎng)景中成功部署，必須有一定程度的自由選擇特定目標(biāo)的最佳路徑。

當(dāng)AI系統(tǒng)解決難以解決的問(wèn)題時(shí)，傳統(tǒng)的基于規(guī)則的方法無(wú)法準(zhǔn)確地定義解決方案，而AI中越來(lái)越多地使用數(shù)據(jù)驅(qū)動(dòng)和/或?qū)W習(xí)方法時(shí)，尤其如此。實(shí)際上，數(shù)據(jù)驅(qū)動(dòng)的AI系統(tǒng)(例如使用機(jī)器學(xué)習(xí)的 AI系統(tǒng))在準(zhǔn)確性和靈活性方面非常成功，并且它們?cè)诮鉀Q問(wèn)題，尋找可能給人類(lèi)帶來(lái)驚喜的解決方案方面非常“有創(chuàng)意”，并可以教給他們創(chuàng)新的方法解決挑戰(zhàn)。

但是，無(wú)國(guó)界的創(chuàng)造力和自由有時(shí)會(huì)導(dǎo)致不期望的行動(dòng)：人工智能系統(tǒng)可能會(huì)以受災(zāi)社區(qū)的價(jià)值觀和規(guī)范認(rèn)為不可接受的方式實(shí)現(xiàn)其目標(biāo)。因此，越來(lái)越需要了解如何通過(guò)提供系統(tǒng)必須在其中操作的邊界來(lái)約束AI系統(tǒng)的動(dòng)作。這通常稱(chēng)為“值對(duì)齊”問(wèn)題，因?yàn)榇祟?lèi)邊界應(yīng)為特定AI應(yīng)用程序場(chǎng)景所需的值和原理建模。

在IBM Research，我們研究和評(píng)估了兩種使AI系統(tǒng)符合道德原則的方法：

第一種使用相同的形式主義來(lái)建模和組合主觀偏好(以實(shí)現(xiàn)服務(wù)個(gè)性化)和道德優(yōu)先級(jí)(以實(shí)現(xiàn)價(jià)值一致)。偏好與道德優(yōu)先級(jí)之間的距離的概念用于決定是否可以?xún)H由偏好來(lái)決定行動(dòng)，或者當(dāng)偏好與這些優(yōu)先級(jí)過(guò)于不同時(shí)，是否需要考慮其他道德優(yōu)先級(jí)。

第二種方法采用強(qiáng)化學(xué)習(xí)方法(在匪徒問(wèn)題范圍內(nèi))以實(shí)現(xiàn)報(bào)酬最大化，并從正面和負(fù)面的例子中學(xué)習(xí)道德準(zhǔn)則。我們?cè)诟改傅闹笇?dǎo)下在電影推薦中測(cè)試了這種方法，并從生活質(zhì)量的角度選擇了藥物劑量。

描述我們的整體方法以及解決價(jià)值一致性問(wèn)題的兩種可能方法的論文將在即將舉行的AAAI 2019大會(huì)上發(fā)表，并將獲得AAAI 2019藍(lán)天創(chuàng)意獎(jiǎng)。在這里能找到它。

這項(xiàng)工作是長(zhǎng)期工作的一部分，旨在了解如何與MIT合作將道德原則嵌入到AI系統(tǒng)中。盡管在研究中將倫理優(yōu)先事項(xiàng)建模為義務(wù)論約束，但I(xiàn)BM-MIT團(tuán)隊(duì)目前正在收集人類(lèi)偏好數(shù)據(jù)，以模擬人類(lèi)如何遵循并在不同的倫理學(xué)理論(如功利主義，義務(wù)論和契約論)之間切換。然后將倫理學(xué)理論和適當(dāng)適應(yīng)的轉(zhuǎn)換機(jī)制設(shè)計(jì)到AI系統(tǒng)中。這樣，這樣的系統(tǒng)將能夠更好地與人們推理和遵循道德行為的方式保持一致 同時(shí)做出決策，從而可以更好地適應(yīng)以增強(qiáng)的人工智能方法與人類(lèi)自然而緊湊地互動(dòng)。