研究使機(jī)器人更好地遵循口頭指示

基于布朗大學(xué)計(jì)算機(jī)科學(xué)家研究的新系統(tǒng)使得機(jī)器人能夠更好地遵循口頭指令，無(wú)論這些指令有多抽象或具體。本周在波士頓舉行的機(jī)器人：科學(xué)與系統(tǒng)2017年會(huì)議上展示的這一發(fā)展是向機(jī)器人邁出的一步，這些機(jī)器人能夠與人類合作者進(jìn)行更加無(wú)縫的溝通。

這項(xiàng)研究由Dilip Arumugam和Siddharth Karamcheti領(lǐng)導(dǎo)，兩位都是布朗的本科生(Arumugam現(xiàn)在是布朗研究生)。他們與研究生 Nakul Gopalan和博士后研究員Lawson LS Wong一起在布朗的計(jì)算機(jī)科學(xué)教授Stefanie Tellex的實(shí)驗(yàn)室工作。

“我們正在解決的問(wèn)題是語(yǔ)言基礎(chǔ)，這意味著讓機(jī)器人采用自然語(yǔ)言命令并生成成功完成任務(wù)的行為，”Arumugam說(shuō)。“問(wèn)題在于命令可能具有不同的抽象級(jí)別，這可能導(dǎo)致機(jī)器人無(wú)法有效地規(guī)劃其行為或根本無(wú)法完成任務(wù)。”

例如，想象一個(gè)倉(cāng)庫(kù)中有人與機(jī)器人叉車(chē)并排工作。這個(gè)人可能會(huì)對(duì)機(jī)器人伙伴說(shuō)：“抓住托盤(pán)。” 這是一個(gè)高度抽象的命令，暗示了一些較小的子步驟 - 排列升降機(jī)，將叉子放在下面并將其吊起。但是，其他常見(jiàn)命令可能更細(xì)粒度，只涉及一個(gè)動(dòng)作：例如，“將叉子向后傾斜一點(diǎn)”。

研究人員表示，這些不同的抽象層次可能會(huì)導(dǎo)致當(dāng)前機(jī)器人語(yǔ)言模型出現(xiàn)問(wèn)題。大多數(shù)模型嘗試從命令中的單詞以及句子結(jié)構(gòu)中識(shí)別提示，然后從該語(yǔ)言推斷出所需的動(dòng)作。然后，推斷結(jié)果觸發(fā)嘗試解決任務(wù)的計(jì)劃算法。但是，如果不考慮指令的特殊性，機(jī)器人可能會(huì)過(guò)度規(guī)劃簡(jiǎn)單的指令，或者計(jì)劃更多涉及更多子步驟的抽象指令。在機(jī)器人采取行動(dòng)之前，這可能導(dǎo)致不正確的操作或過(guò)長(zhǎng)的計(jì)劃延遲。

但是這個(gè)新系統(tǒng)為現(xiàn)有模型增加了額外的復(fù)雜程度。除了簡(jiǎn)單地從語(yǔ)言推斷出期望的任務(wù)之外，新系統(tǒng)還分析語(yǔ)言以推斷出不同的抽象級(jí)別。

“這使我們能夠?qū)⑽覀兊娜蝿?wù)推理以及推斷的特異性水平與層級(jí)規(guī)劃器相結(jié)合，因此我們可以在任何抽象層面進(jìn)行規(guī)劃，”Arumugam說(shuō)。“反過(guò)來(lái)，與現(xiàn)有系統(tǒng)相比，我們可以在執(zhí)行任務(wù)時(shí)獲得顯著的性能提升。”

為了開(kāi)發(fā)新模型，研究人員使用了亞馬遜的眾包市場(chǎng)Mechanical Turk和一個(gè)名為Cleanup World的虛擬任務(wù)域。在線域包括一些顏色編碼的房間，一個(gè)機(jī)器人代理和一個(gè)可以操作的對(duì)象 - 在這種情況下，一個(gè)可以從一個(gè)房間移動(dòng)到另一個(gè)房間的椅子。

Mechanical Turk志愿者觀察機(jī)器人代理在清理世界領(lǐng)域執(zhí)行任務(wù) - 例如，將椅子從紅色房間移動(dòng)到相鄰的藍(lán)色房間。然后，志愿者被要求說(shuō)出他們給機(jī)器人的指示，讓他們執(zhí)行他們剛看到的任務(wù)。為志愿者提供指導(dǎo)，指導(dǎo)他們的指導(dǎo)應(yīng)具有的特異性。指示范圍從高級(jí)：“把椅子帶到藍(lán)色房間”到逐步級(jí)別：“向北走五步，向右轉(zhuǎn)，再走兩步，走到椅子上，左轉(zhuǎn)，左轉(zhuǎn)，走五向南走。“ 第三級(jí)抽象使用了這兩者之間的術(shù)語(yǔ)。

研究人員使用志愿者的口頭指示來(lái)訓(xùn)練他們的系統(tǒng)，以了解在每個(gè)抽象層次中使用了哪些詞。從那里，系統(tǒng)學(xué)會(huì)了不僅推斷所需的動(dòng)作，而且推斷命令的抽象級(jí)別。知道這兩件事后，系統(tǒng)就可以觸發(fā)其分層規(guī)劃算法，從適當(dāng)?shù)募?jí)別解決任務(wù)。

在對(duì)系統(tǒng)進(jìn)行培訓(xùn)后，研究人員在虛擬清理世界和在類似于清理世界空間的物理世界中運(yùn)行的實(shí)際類似Roomba的機(jī)器人進(jìn)行了測(cè)試。他們表明，當(dāng)機(jī)器人能夠推斷出任務(wù)和指令的特殊性時(shí)，它會(huì)在90%的時(shí)間內(nèi)在一秒內(nèi)響應(yīng)命令。相比之下，當(dāng)沒(méi)有推斷出特異性水平時(shí)，所有任務(wù)中有一半需要20秒或更長(zhǎng)的計(jì)劃時(shí)間。

“我們最終希望看到的是在我們的家庭和工作場(chǎng)所的有益合作伙伴機(jī)器人” Tellex，誰(shuí)在人-說(shuō)機(jī)器人協(xié)作。“這項(xiàng)工作是朝著讓人們與機(jī)器人進(jìn)行溝通的目標(biāo)邁出的一步，就像我們彼此溝通一樣。”