AI代理使用日常語言提供理由來解釋其行為

佐治亞理工學(xué)院的研究人員與康奈爾大學(xué)和肯塔基大學(xué)合作開發(fā)了一種人工智能(AI)代理，可以實(shí)時(shí)自動(dòng)生成自然語言解釋，以傳達(dá)其行為背后的動(dòng)機(jī)。這項(xiàng)工作旨在讓人類與AI代理人或機(jī)器人合作，確信代理正在正確執(zhí)行任務(wù)，并可以解釋錯(cuò)誤或錯(cuò)誤行為。

代理人還使用非專家可以理解的日常用語。研究人員稱之為解釋或“基本原理”的目的是為了相互關(guān)聯(lián)，并激發(fā)對(duì)那些可能在工作場所使用人工智能機(jī)器或在社交場合與他們互動(dòng)的人的信任。

“如果人工智能的力量要實(shí)現(xiàn)民主化，那么無論技術(shù)能力如何，任何人都可以使用它，”Upol Ehsan博士說。喬治亞理工學(xué)院互動(dòng)計(jì)算學(xué)院的學(xué)生和首席研究員。

“由于人工智能遍及我們生活的方方面面，因此非常需要以人為本的人工智能設(shè)計(jì)，使日常用戶可以解釋黑盒子人工智能系統(tǒng)。我們的工作需要一個(gè)形成性的步驟來理解基于語言的解釋的作用以及如何人類認(rèn)識(shí)到它們。“

該研究得到了海軍研究辦公室(ONR)的支持。

研究人員開展了一項(xiàng)參與者研究，以確定他們的AI代理人是否可以提供模仿人類反應(yīng)的理由。觀眾觀看了AI代理人玩電子游戲Frogger，然后按照每個(gè)人描述AI游戲移動(dòng)的順序排列了三個(gè)屏幕上的理由。

在每次移動(dòng)的三個(gè)匿名理由中 - 人類生成的響應(yīng)，AI代理響應(yīng)和隨機(jī)生成的響應(yīng) - 參與者首先優(yōu)先選擇人工生成的理論，但AI生成的響應(yīng)緊隨其后。

Frogger為研究人員提供了在“順序決策環(huán)境”中培訓(xùn)AI的機(jī)會(huì)，這是一項(xiàng)重大的研究挑戰(zhàn)，因?yàn)榇砣艘呀?jīng)做出的決策影響了未來的決策。因此，向?qū)＜医忉屚评礞満芾щy，在與非專家交流時(shí)更是如此，據(jù)研究人員稱。

人類觀眾理解Frogger的目標(biāo)是讓青蛙安全回家，而不會(huì)被移動(dòng)的車輛撞到或淹死在河里。向上，向下，向左或向右移動(dòng)的簡單游戲機(jī)制允許參與者看到AI正在做什么，并評(píng)估屏幕上的基本原理是否清楚地證明了移動(dòng)的合理性。

觀眾根據(jù)以下因素判斷理由：

信心 - 這個(gè)人對(duì)AI執(zhí)行任務(wù)充滿信心

人像 - 看起來像是由人類制造的

充分的理由 - 充分證明采取的行動(dòng)是正確的

可理解性 - 幫助人們理解AI的行為

由參與者排名較高的AI產(chǎn)生的理論基礎(chǔ)是那些表現(xiàn)出對(duì)環(huán)境條件和適應(yīng)性的認(rèn)可的理論，以及那些傳達(dá)對(duì)未來危險(xiǎn)的認(rèn)識(shí)并為其規(guī)劃的理論。剛剛陳述明顯或錯(cuò)誤描述環(huán)境的冗余信息被發(fā)現(xiàn)會(huì)產(chǎn)生負(fù)面影響。

“這個(gè)項(xiàng)目更多的是了解人類對(duì)這些人工智能系統(tǒng)的認(rèn)知和偏好，而不是建立新技術(shù)，”Ehsan說。“可解釋性的核心是理智創(chuàng)造。我們?cè)噲D理解這個(gè)人為因素。”

第二項(xiàng)相關(guān)研究驗(yàn)證了研究人員設(shè)計(jì)AI代理的決定，以便能夠提供兩種不同類型的理由中的一種：

簡潔，“專注”的理由或

整體的，“完整的圖片”理由

在第二項(xiàng)研究中，參與者在觀看AI玩Frogger后才獲得AI生成的理由。他們被要求在人工智能出錯(cuò)或意外行為的情況下選擇他們喜歡的答案。他們不知道理由分為兩類。

參賽者以3比1的比例贊成分類為“完整圖片”類別的答案。回應(yīng)顯示，人們對(duì)AI考慮未來的步驟感到欣賞，而不僅僅是當(dāng)下的情況，這可能使他們更容易犯下另一個(gè)錯(cuò)誤。人們也想知道更多，以便他們可以直接幫助AI修復(fù)錯(cuò)誤的行為。

“對(duì)人工智能機(jī)器人的感知和偏好的理解能夠?yàn)槲覀兲峁┮惶讖?qiáng)大的可操作的見解，幫助我們?cè)O(shè)計(jì)出更好的以人為本，理性生成的自主代理人，”互動(dòng)計(jì)算教授馬克里德爾說。該項(xiàng)目的首席教員。

未來可能的研究方向?qū)蜒芯拷Y(jié)果應(yīng)用于各種類型的自主代理，例如伴侶代理，以及它們?nèi)绾胃鶕?jù)手頭的任務(wù)做出反應(yīng)。研究人員還將研究代理人如何在不同情況下做出反應(yīng)，例如在緊急響應(yīng)期間或在教室?guī)椭處煏r(shí)。

該研究于3月在計(jì)算機(jī)協(xié)會(huì)2019智能用戶界面會(huì)議上發(fā)布。該論文的標(biāo)題是“自動(dòng)生成基本原理：可解釋AI的技術(shù)及其對(duì)人類感知的影響”。Ehsan將在5月4日至9日在蘇格蘭格拉斯哥舉行的ACM CHI 2019會(huì)議上，在即將出現(xiàn)的以人為中心的機(jī)器學(xué)習(xí)研討會(huì)上發(fā)表一篇強(qiáng)調(diào)以人為本的可解釋人工智能系統(tǒng)的設(shè)計(jì)和評(píng)估挑戰(zhàn)的立場文件。