研究使機(jī)器人更好地遵循口頭指示

基于布朗大學(xué)計算機(jī)科學(xué)家研究的新系統(tǒng)使得機(jī)器人能夠更好地遵循口頭指令，無論這些指令有多抽象或具體。本周在波士頓舉行的機(jī)器人：科學(xué)與系統(tǒng)2017年會議上展示的這一發(fā)展是向機(jī)器人邁出的一步，這些機(jī)器人能夠與人類合作者進(jìn)行更加無縫的溝通。

這項研究由Dilip Arumugam和Siddharth Karamcheti領(lǐng)導(dǎo)，兩位都是布朗的本科生(Arumugam現(xiàn)在是布朗研究生)。他們與研究生 Nakul Gopalan和博士后研究員Lawson LS Wong一起在布朗的計算機(jī)科學(xué)教授Stefanie Tellex的實(shí)驗室工作。

“我們正在解決的問題是語言基礎(chǔ)，這意味著讓機(jī)器人采用自然語言命令并生成成功完成任務(wù)的行為，”Arumugam說。“問題在于命令可能具有不同的抽象級別，這可能導(dǎo)致機(jī)器人無法有效地規(guī)劃其行為或根本無法完成任務(wù)。”

例如，想象一個倉庫中有人與機(jī)器人叉車并排工作。這個人可能會對機(jī)器人伙伴說：“抓住托盤。” 這是一個高度抽象的命令，暗示了一些較小的子步驟 - 排列升降機(jī)，將叉子放在下面并將其吊起。但是，其他常見命令可能更細(xì)粒度，只涉及一個動作：例如，“將叉子向后傾斜一點(diǎn)”。

研究人員表示，這些不同的抽象層次可能會導(dǎo)致當(dāng)前機(jī)器人語言模型出現(xiàn)問題。大多數(shù)模型嘗試從命令中的單詞以及句子結(jié)構(gòu)中識別提示，然后從該語言推斷出所需的動作。然后，推斷結(jié)果觸發(fā)嘗試解決任務(wù)的計劃算法。但是，如果不考慮指令的特殊性，機(jī)器人可能會過度規(guī)劃簡單的指令，或者計劃更多涉及更多子步驟的抽象指令。在機(jī)器人采取行動之前，這可能導(dǎo)致不正確的操作或過長的計劃延遲。

但是這個新系統(tǒng)為現(xiàn)有模型增加了額外的復(fù)雜程度。除了簡單地從語言推斷出期望的任務(wù)之外，新系統(tǒng)還分析語言以推斷出不同的抽象級別。

“這使我們能夠?qū)⑽覀兊娜蝿?wù)推理以及推斷的特異性水平與層級規(guī)劃器相結(jié)合，因此我們可以在任何抽象層面進(jìn)行規(guī)劃，”Arumugam說。“反過來，與現(xiàn)有系統(tǒng)相比，我們可以在執(zhí)行任務(wù)時獲得顯著的性能提升。”

為了開發(fā)新模型，研究人員使用了亞馬遜的眾包市場Mechanical Turk和一個名為Cleanup World的虛擬任務(wù)域。在線域包括一些顏色編碼的房間，一個機(jī)器人代理和一個可以操作的對象 - 在這種情況下，一個可以從一個房間移動到另一個房間的椅子。

Mechanical Turk志愿者觀察機(jī)器人代理在清理世界領(lǐng)域執(zhí)行任務(wù) - 例如，將椅子從紅色房間移動到相鄰的藍(lán)色房間。然后，志愿者被要求說出他們給機(jī)器人的指示，讓他們執(zhí)行他們剛看到的任務(wù)。為志愿者提供指導(dǎo)，指導(dǎo)他們的指導(dǎo)應(yīng)具有的特異性。指示范圍從高級：“把椅子帶到藍(lán)色房間”到逐步級別：“向北走五步，向右轉(zhuǎn)，再走兩步，走到椅子上，左轉(zhuǎn)，左轉(zhuǎn)，走五向南走。“ 第三級抽象使用了這兩者之間的術(shù)語。

研究人員使用志愿者的口頭指示來訓(xùn)練他們的系統(tǒng)，以了解在每個抽象層次中使用了哪些詞。從那里，系統(tǒng)學(xué)會了不僅推斷所需的動作，而且推斷命令的抽象級別。知道這兩件事后，系統(tǒng)就可以觸發(fā)其分層規(guī)劃算法，從適當(dāng)?shù)募墑e解決任務(wù)。

在對系統(tǒng)進(jìn)行培訓(xùn)后，研究人員在虛擬清理世界和在類似于清理世界空間的物理世界中運(yùn)行的實(shí)際類似Roomba的機(jī)器人進(jìn)行了測試。他們表明，當(dāng)機(jī)器人能夠推斷出任務(wù)和指令的特殊性時，它會在90%的時間內(nèi)在一秒內(nèi)響應(yīng)命令。相比之下，當(dāng)沒有推斷出特異性水平時，所有任務(wù)中有一半需要20秒或更長的計劃時間。

“我們最終希望看到的是在我們的家庭和工作場所的有益合作伙伴機(jī)器人” Tellex，誰在人-說機(jī)器人協(xié)作。“這項工作是朝著讓人們與機(jī)器人進(jìn)行溝通的目標(biāo)邁出的一步，就像我們彼此溝通一樣。”