這款索尼proto VR控制器會隨著你的使用而變得更智能

索尼互動娛樂公司(SonyInteractive Entertainment)共享的一段視頻顯示了一個原型控制器，它跟蹤整個人的手。 該控制器是克服手勢控制系統(tǒng)和傳統(tǒng)控制器提出的限制的研究課題。 有了這個新系統(tǒng)，用戶就可以利用他們的手和手指，而不會打破他們所有的數(shù)字都被實時跟蹤的錯覺。

這種全手跟蹤使用機器學(xué)習和電容傳感器打破以前的跟蹤器失敗的點。 這個控制器不會假裝用戶不會與手持工具交互-控制器是穿越VR宇宙的一個組成部分，在這個宇宙中，一個人仍然被困在家里有限的環(huán)境中。

相反，正如研究論文所建議的，他們正在使用計算機視覺和既定的方式和方法與虛擬現(xiàn)實空間中的數(shù)字元素交互。 “我們引入了2.5D表示來將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像，并利用我們的數(shù)據(jù)集對基于計算機視覺領(lǐng)域最近成就的兩種類型的網(wǎng)絡(luò)體系結(jié)構(gòu)進行了評估，”論文說。

為了創(chuàng)建這個新的控制器系統(tǒng)，他們使用62個單獨的電極創(chuàng)建了一個原型。 他們記錄了訓(xùn)練數(shù)據(jù)集的許多方式，在游戲中，手通常移動使用光學(xué)跟蹤系統(tǒng)。 這些系統(tǒng)結(jié)合在一起，允許手跟蹤和虛擬表示手在游戲中增長更好，因為機器被提供更多的信息。

研究人員在論文中表示：“我們還使用原型實現(xiàn)了實時交互應(yīng)用，并展示了在虛擬現(xiàn)實應(yīng)用中使用手指進行直觀交互的可能性。 上面你會看到一個演示視頻由作者創(chuàng)建的論文，如下所示。