人群工作者 AI使會話代理變得更聰明

像Siri，Alexa和Cortana這樣的會話代理人非常善于為您提供天氣，但在被要求提供不尋常的信息或后續(xù)問題時會感到沮喪。通過將人類添加到循環(huán)中，卡內(nèi)基梅隆大學(xué)的研究人員創(chuàng)造了一種難以忍受的會話代理。

名為Evorus的聊天機器人系統(tǒng)不是第一個使用人類智能來回答廣泛問題的系統(tǒng)。人機交互研究所副教授杰夫•比格姆(Jeff Bigham)表示，人類正在同時訓(xùn)練系統(tǒng)的人工智能，使其逐漸減少對人的依賴。

就像早期的一個名為Chorus的CMU代理人一樣，Evorus根據(jù)亞馬遜機械土耳其人的要求招募人群工作人員來回答用戶提出的問題，群眾工作人員就最佳答案進(jìn)行投票。Evorus還會跟蹤詢問和回答的問題，并隨著時間的推移，開始為后續(xù)問題提出這些答案。研究人員還開發(fā)了一個流程，通過該流程，人工智能可以幫助批準(zhǔn)消息，減少工作人員的參與。

“由于設(shè)備的言論和主題有限，”公司已經(jīng)花了很多精力教人們?nèi)绾闻c會話代理人交談，“比格姆說。“現(xiàn)在，我們讓人們更自由地說話，而且必須學(xué)會容納他們。”

該系統(tǒng)不是最終形式，但可供任何愿意參與研究工作的人下載和使用：http：//talkingtothecrowd.org/。

今年晚些時候，Bigham的研究團(tuán)隊將在蒙特利爾舉行的計算機系統(tǒng)人類因素會議CHI 2018年上發(fā)表關(guān)于Evorus的研究論文。

完全自動化的會話代理可以很好地回答簡單，常見的問題和命令，并且當(dāng)主題相對較窄時可以深入交談，例如在公交時刻表上提供建議。Bigham說，人們在循環(huán)中可以回答各種各樣的問題，但除了用戶愿意支付的禮賓或旅行服務(wù)之外，依賴人類的代理人太昂貴而無法擴大規(guī)模以供廣泛使用。合唱會議費用平均為2.48美元。

“憑借Evorus，我們在機器和人群之間的合作中獲得了一席之地，”比格姆說。希望隨著系統(tǒng)的發(fā)展，人工智能能夠處理越來越多的問題，而響應(yīng)“長尾”問題所需的群眾工作者數(shù)量將保持相對穩(wěn)定。

保持人類進(jìn)入循環(huán)還可以降低惡意用戶不恰當(dāng)?shù)夭倏v會話代理的風(fēng)險，就像微軟在2016年短暫部署其Tay聊天機器人時所發(fā)生的那樣，Ting-Hao Huang博士說。語言技術(shù)學(xué)院(LTI)的學(xué)生。Huang與Bigham和Joseph Chee Chang合作開發(fā)了Evorus，同時也是博士。LTI的學(xué)生。

在Evorus的五個月部署期間，有80個用戶和181個對話，12%的時間選擇自動回答問題，人群投票減少了近14%，每個回復(fù)用戶消息的人群工作成本下降了33百分。

Evorus是一個文本聊天機器人，但是通過Google Hangouts部署，可以容納語音輸入，以及從計算機，手機和智能手表訪問。為了增強其可擴展性，Evorus使用的軟件架構(gòu)可以接受第三方開發(fā)的自動問答組件。