軟件可以在虛擬現(xiàn)實中控制機器人

即使自主機器人在自己做事方面做得更好，仍然會有很多情況下人類可能需要介入并控制。由布朗大學(xué)計算機科學(xué)家開發(fā)的新軟件使用戶能夠使用虛擬現(xiàn)實遠(yuǎn)程控制機器人，這可以幫助用戶沉浸在機器人周圍的環(huán)境中，盡管身體距離很遠(yuǎn)。

該軟件通過互聯(lián)網(wǎng)將機器人的手臂和夾具以及車載攝像頭和傳感器連接到現(xiàn)成的虛擬現(xiàn)實硬件。使用手持式控制器，用戶可以通過移動自己的手臂來控制機器人手臂的位置，以執(zhí)行復(fù)雜的操作任務(wù)。用戶可以進(jìn)入機器人的金屬皮膚并獲得第一人稱環(huán)境視圖，或者可以在機器人周圍走動以第三人稱測量場景 - 無論哪個更容易完成手頭的任務(wù)。在機器人和虛擬現(xiàn)實單元之間傳輸?shù)臄?shù)據(jù)足夠緊湊，可以通過互聯(lián)網(wǎng)以最小的延遲發(fā)送，使用戶可以遠(yuǎn)距離引導(dǎo)機器人。

“我們認(rèn)為這可能對我們需要做一些靈巧操作的任何情況都有用，但人們不應(yīng)該這樣做，”布朗的研究生大衛(wèi)惠特尼說，他是該系統(tǒng)開發(fā)的共同領(lǐng)導(dǎo)者。“我們特別想到的三個例子是拆除炸彈，在受損的核設(shè)施內(nèi)工作或在國際空間站上操作機器人手臂。”

惠特尼與布朗的本科學(xué)生埃里克羅森共同領(lǐng)導(dǎo)了這項工作。兩人都在Brown的人類到機器人實驗室工作，該實驗室由計算機科學(xué)助理教授Stefanie Tellex領(lǐng)導(dǎo)。本周在智利機器人研究國際研討會上發(fā)表了一篇描述該系統(tǒng)并評估其可用性的論文。

觀看使用中的系統(tǒng)視頻：https：//www.youtube.com/watch?v = e3jUbQKciC4

即使是高度復(fù)雜的機器人也經(jīng)常使用一些相當(dāng)簡單的手段進(jìn)行遠(yuǎn)程控制 - 通常是鍵盤或類似視頻游戲控制器和二維顯示器?；萏啬岷土_森說，這對于駕駛輪式機器人或駕駛無人機等任務(wù)很有效，但對于更復(fù)雜的任務(wù)可能會有問題。

“對于像操作具有很多自由度的機器人手臂這樣的東西，鍵盤和游戲控制器并不是非常直觀，”惠特尼說。將三維環(huán)境映射到二維屏幕上可能會限制人們對機器人居住空間的感知。

Whitney和Rosen認(rèn)為虛擬現(xiàn)實可能提供更直觀和沉浸式的選擇。他們的軟件將Baxter研究機器人與HTC Vive連接在一起，HTC Vive是一個帶有手動控制器的虛擬現(xiàn)實系統(tǒng)。該軟件使用機器人的傳感器創(chuàng)建機器人本身及其周圍環(huán)境的點云模型，并將其傳輸?shù)竭B接到Vive的遠(yuǎn)程計算機。用戶可以看到耳機中的空間，并在其內(nèi)部虛擬走動。同時，用戶可以從機器人的手腕攝像頭看到實時高清視頻，以獲取要執(zhí)行的操作任務(wù)的詳細(xì)視圖。

對于他們的研究，研究人員表明，他們可以為用戶創(chuàng)造身臨其境的體驗，同時保持?jǐn)?shù)據(jù)負(fù)載足夠小，以便可以通過互聯(lián)網(wǎng)傳輸，而不會產(chǎn)生分散注意力的延遲。例如，位于羅得島州普羅維登斯的用戶能夠使用位于馬薩諸塞州劍橋市41英里外的機器人執(zhí)行操作任務(wù) - 將塑料杯堆疊在另一個內(nèi)部。

在其他研究中，與傳統(tǒng)的鍵盤和顯示器界面相比，18位新手用戶能夠在虛擬現(xiàn)實中完成杯子堆疊任務(wù)66%的速度。用戶還報告說更多地享受虛擬界面，他們發(fā)現(xiàn)與鍵盤和顯示器相比，操作任務(wù)要求更低。

羅森認(rèn)為，執(zhí)行任務(wù)的速度提高是由于虛擬現(xiàn)實界面的直觀性。

“在虛擬現(xiàn)實中，人們可以像移動他們的身體一樣移動機器人，因此他們可以在不考慮它的情況下完成它，”羅森說。“這讓人們可以專注于手頭的問題或任務(wù)，而不會增加認(rèn)知負(fù)荷，試圖找出如何移動機器人。”

研究人員計劃繼續(xù)開發(fā)該系統(tǒng)。第一次迭代主要關(guān)注一個相當(dāng)簡單的操作任務(wù)，其中機器人在環(huán)境中是靜止的。他們想嘗試更復(fù)雜的任務(wù)，然后將操作與導(dǎo)航結(jié)合起來。他們還想嘗試混合自治，其中機器人自己完成一些任務(wù)，用戶接管其他任務(wù)。

研究人員已經(jīng)在網(wǎng)上免費提供該系統(tǒng)(github.com/h2r/ros_reality)。他們希望其他機器人研究人員可以試一試并將其帶入自己的新方向。