Facebook公開(kāi)有關(guān)為其Oculus虛擬現(xiàn)實(shí)耳機(jī)提供動(dòng)力的AI

對(duì)于虛擬現(xiàn)實(shí)耳機(jī)，透視是關(guān)鍵。當(dāng)用戶移動(dòng)視線或四處移動(dòng)時(shí)，頭戴式耳機(jī)需要在他們眼前重新對(duì)準(zhǔn)場(chǎng)景，以適應(yīng)新的視角。過(guò)渡還必須以閃電般的速度進(jìn)行，以避免破壞幻想。

由于有了一個(gè)名為Oculus Insight的系統(tǒng)，F(xiàn)acebook Inc.設(shè)法在其Oculus VR設(shè)備系列中實(shí)現(xiàn)了所有這些工作，并在 今天進(jìn)行了詳細(xì)公開(kāi)。Insight使用人工智能幫助Facebook的頭戴式耳機(jī)實(shí)時(shí)跟蹤佩戴者的位置和頭部方向。

首先，一些背景。Facebook今年推出了兩款VR頭戴設(shè)備：第一款被稱(chēng)為Oculus Rift S，必須與計(jì)算機(jī)捆綁在一起，第二款是Oculus Quest，可以無(wú)線工作。該公司為這兩種產(chǎn)品都提供了一對(duì)手持控制器，供穿戴者使用以與虛擬對(duì)象進(jìn)行交互。

Oculus Insight依靠控制器和頭戴式耳機(jī)中的傳感器來(lái)跟蹤用戶的位置。核心數(shù)據(jù)由所謂的慣性測(cè)量單元提供，這些慣性測(cè)量單元收集有關(guān)設(shè)備的線性加速度及其旋轉(zhuǎn)速度的信息。

洞察力可以使用這些讀數(shù)粗略了解用戶的位置和頭角，但僅靠這些信息是不夠的。這是因?yàn)閼T性測(cè)量單位容易出現(xiàn)微小的誤差，如果不加以檢查，會(huì)導(dǎo)致主要數(shù)據(jù)誤差的增加。Insight采用了兩種不同的方法來(lái)消除測(cè)量誤差，一種用于用戶的VR頭戴式耳機(jī)，另一種用于手中的控制器。

為了跟蹤耳機(jī)，系統(tǒng)利用了Oculus Rift S和Oculus Quest內(nèi)置的攝像頭。Insight將用戶環(huán)境的靜態(tài)功能用作位置指示器，以平衡慣性測(cè)量單位數(shù)據(jù)中的誤差

“來(lái)自頭戴式耳機(jī)中攝像頭的圖像數(shù)據(jù)有助于生成房間的3D地圖，精確定位地標(biāo)，例如家具的角落或地板上的圖案。Facebook的研究員Joel Hesch，Anna Kozminksi和Oskar Linde在博客文章中解釋道：“反復(fù)觀察這些標(biāo)志性建筑可以使Insight補(bǔ)償漂移。”

第二種糾錯(cuò)方法有助于跟蹤控制器在用戶手中的位置?？刂破魍獠康亩O管發(fā)出的肉眼看不到紅外光，但是可以被Oculus耳機(jī)拾取，然后用它確定手持配件的相對(duì)位置。

Oculus Insight每毫秒刷新一次位置測(cè)量值，以提供平穩(wěn)的過(guò)渡。作為額外的措施，F(xiàn)acebook的工程師在系統(tǒng)中內(nèi)置了一個(gè)預(yù)測(cè)引擎，該引擎可以預(yù)測(cè)用戶的頭和手在幾毫秒內(nèi)的位置，從而使內(nèi)置的AI算法可以進(jìn)一步優(yōu)化性能。

Oculus Insight的創(chuàng)新成果可能不僅對(duì)VR頭戴設(shè)備具有更大的價(jià)值。系統(tǒng)所基于的核心位置跟蹤技術(shù)，同時(shí)定位和地圖繪制(SLAM)也用于包括自動(dòng)駕駛在內(nèi)的其他領(lǐng)域。

Facebook的Joel Hesch，Anna Kozminksi和Oskar Linde寫(xiě)道：“這項(xiàng)工作可能對(duì)研究SLAM的研究人員以及受益于低資源，高精度房間映射的任何系統(tǒng)(例如數(shù)字助理和物理機(jī)器人)產(chǎn)生廣泛的影響。” 。他們補(bǔ)充說(shuō)，該技術(shù)將來(lái)可能有助于制造“具有空間意識(shí)的全天可穿戴式AR眼鏡”。