蘋(píng)果正在研究實(shí)時(shí)LiDAR表面跟蹤以及其他技術(shù)來(lái)記錄觸摸感

蘋(píng)果的增強(qiáng)現(xiàn)實(shí)耳機(jī)或未來(lái)的iPhone可以使用顯示器的光來(lái)跟蹤幾乎任何表面的運(yùn)動(dòng)，而手指設(shè)備可以向系統(tǒng)提供有關(guān)用戶可能觸摸的物體的詳細(xì)信息。

有傳言稱，蘋(píng)果正在開(kāi)發(fā)一種VR或AR頭戴式耳機(jī)已有相當(dāng)長(zhǎng)的一段時(shí)間，各種報(bào)告和專利申請(qǐng)都表明它可能會(huì)采取多種發(fā)展方向。在星期二專利和商標(biāo)局授予的一對(duì)專利中，揭示了該系統(tǒng)運(yùn)行的另外兩種方式。

輕型AR對(duì)象跟蹤

AR頭戴式耳機(jī)的優(yōu)點(diǎn)之一是在設(shè)置中包含了攝像頭。通常用于拍攝場(chǎng)景圖像并用于對(duì)象識(shí)別的相同硬件可用于執(zhí)行對(duì)象跟蹤，以查看物品相對(duì)于頭戴式耳機(jī)位置的實(shí)時(shí)位置變化。

針對(duì)AR的對(duì)象跟蹤的好處通常歸結(jié)為能夠?qū)?shù)字圖形覆蓋圖應(yīng)用于對(duì)象周?chē)囊曨l源。例如，這可能包括控制器上特定于應(yīng)用程序的狀態(tài)指示器，否則該指示器在現(xiàn)實(shí)世界的視圖中將不可見(jiàn)。

但是，對(duì)象識(shí)別和對(duì)象跟蹤所需的資源以及確定方向的資源在系統(tǒng)上可能會(huì)非常繁重。在需要大量處理才能提供最佳體驗(yàn)的區(qū)域中，歡迎使用任何減少資源使用的方法。

在名為“帶有事件攝像機(jī)的AV / VR控制器”的專利中，蘋(píng)果公司提出了這樣一種想法，即攝像機(jī)系統(tǒng)可能不一定需要始終跟蹤與被跟蹤對(duì)象有關(guān)的所有像素，而是可以減少像素?cái)?shù)量當(dāng)只需要粗略檢查時(shí)，就可以大大降低。

蘋(píng)果公司建議系統(tǒng)選擇圖像中與被跟蹤物體有關(guān)的特定像素，從而提供光強(qiáng)度和其他屬性的讀數(shù)。如果攝像機(jī)或物體移動(dòng)或改變位置，則這幾個(gè)像素的光強(qiáng)度將變化超過(guò)設(shè)置的限制，從而觸發(fā)整個(gè)系統(tǒng)開(kāi)始使用更多資源來(lái)搜索物體的變化方式。

假設(shè)系統(tǒng)使用光，則系統(tǒng)可以嘗試搜索相同的光點(diǎn)，而不是嘗試檢測(cè)物體，這也是可行的。如果對(duì)象上有多個(gè)亮點(diǎn)，并且系統(tǒng)僅跟蹤這些點(diǎn)，則它可能使用很少的資源來(lái)確定位置和方向的變化。

盡管這些光很容易成為物體外殼上環(huán)境照明的反射，但蘋(píng)果似乎正在考慮使用其他物體產(chǎn)生的光源，例如LED指示器或顯示圖案的顯示器。對(duì)于后者，只要屏幕可見(jiàn)，這將為系統(tǒng)提供足夠的定位和方向數(shù)據(jù)。

這樣的基于光的參考點(diǎn)不一定非要用于可見(jiàn)光，因?yàn)锳pple建議照明圖案可以包含不可見(jiàn)的波長(zhǎng)。這將提供一個(gè)用戶不會(huì)看到的不引人注目的系統(tǒng)，并且可能提供一個(gè)可以不可見(jiàn)地使用不同光波長(zhǎng)的系統(tǒng)，從而允許該系統(tǒng)與多個(gè)用戶或?qū)ο笠黄鸸ぷ鳌?/p>

鑒于它可以使用非人類可見(jiàn)光，因此蘋(píng)果采用另一種已經(jīng)熟悉的技術(shù)也是可行的。在TrueDepth相機(jī)和iPhone 12 Pro系列背面使用的LiDAR涉及發(fā)射紅外光的小點(diǎn)，這些小點(diǎn)反射回成像傳感器并用于繪制物體深度。

盡管對(duì)象本身不發(fā)出自己的光，但是光點(diǎn)反射將有效地處理相同的任務(wù)，并具有能夠跟蹤非電子或生物物品(例如用戶的手)的額外好處。

該專利將其發(fā)明人列為Peter Meier，并于2019年1月31日提交了專利。

對(duì)象屬性采樣

第二項(xiàng)專利涉及數(shù)據(jù)收集，特別涉及系統(tǒng)如何獲取有關(guān)用戶觸摸內(nèi)容的信息。

通常，視覺(jué)和聽(tīng)覺(jué)介質(zhì)，AR和VR可以從引入的其他元素中受益，從而向用戶出售真實(shí)的數(shù)字對(duì)象的幻覺(jué)。這樣的系統(tǒng)需要知道如何在觸摸現(xiàn)實(shí)世界的項(xiàng)目時(shí)重新創(chuàng)建用戶可能會(huì)感覺(jué)到的感覺(jué)，以使其能夠通過(guò)觸覺(jué)反饋工具模仿效果。

在名為“帶有手指設(shè)備的計(jì)算機(jī)系統(tǒng)來(lái)采樣對(duì)象屬性的計(jì)算機(jī)系統(tǒng)”的專利中，蘋(píng)果公司建議使用手指佩戴的設(shè)備，該設(shè)備有兩種使用方式。盡管它們可用于向用戶提供觸覺(jué)反饋，但該專利更為重要的要素是它能夠檢測(cè)用戶可能接觸的真實(shí)對(duì)象的特征。

每個(gè)手指設(shè)備中的傳感器都能夠讀取用戶觸摸的真實(shí)對(duì)象表面的效果，例如表面輪廓，紋理，對(duì)象顏色和圖案，聲學(xué)屬性和重量。當(dāng)與其他元素(如頭戴式顯示器上的攝像頭)結(jié)合使用時(shí)，該系統(tǒng)將能夠收集有關(guān)物體的大量數(shù)據(jù)，然后可以將其提供給用戶。

這些傳感器可以包括應(yīng)變儀，超聲傳感器，直接接觸傳感器，溫度計(jì)，光檢測(cè)器，測(cè)距傳感器，加速度計(jì)，陀螺儀，指南針和電容傳感器等。

當(dāng)戴在手指的末端時(shí)，該專利建議用戶仍然能夠體驗(yàn)觸摸物體的感覺(jué)，因?yàn)槭种笁|將保持暢通無(wú)阻。傳感器可以通過(guò)接觸延伸超出指尖的突起來(lái)檢測(cè)，或者通過(guò)檢測(cè)用戶的手指受到觸摸物體的影響方式的變化來(lái)進(jìn)行檢測(cè)。

然后可以收集有關(guān)對(duì)象的數(shù)據(jù)，并將其歸檔并歸檔，以備將來(lái)系統(tǒng)使用，并有可能作為更廣泛的數(shù)據(jù)庫(kù)的一部分進(jìn)行共享。然后，該信息可以與觸覺(jué)反饋元素一起使用，以模擬對(duì)象向用戶或其他用戶的觸摸。

該專利的發(fā)明人為Paul X.Wang，于2019年4月22日提交。

先前的發(fā)展

Apple每周都會(huì)提交許多專利申請(qǐng)，但是專利申請(qǐng)的存在表明Apple的研究和開(kāi)發(fā)工作是人們關(guān)注的領(lǐng)域，但它們不能保證這些想法會(huì)出現(xiàn)在未來(lái)的產(chǎn)品或服務(wù)中。

對(duì)象識(shí)別和跟蹤一直是Apple ARKit的重要組成部分，ARKit是面向希望向其應(yīng)用程序添加AR內(nèi)容的開(kāi)發(fā)人員的工具包。這已經(jīng)擴(kuò)展到跟蹤建筑物和其他不動(dòng)的固定物體，以使數(shù)字物品可以漂浮或安裝在相機(jī)的世界視野中。

ARKit還能夠執(zhí)行運(yùn)動(dòng)捕獲，這需要一定程度的對(duì)象跟蹤，并且世界視圖中的其他對(duì)象也可以遮擋虛擬對(duì)象。

戴在手指上的設(shè)備先前已出現(xiàn)在專利申請(qǐng)中，例如2019年的“在手指按下輸入事件期間修改手指感覺(jué)的系統(tǒng)”。作為該想法的一部分，設(shè)備將連接到手指的末端，但使指墊對(duì)元件保持打開(kāi)狀態(tài)。

為了在基于顯示器的鍵盤(pán)上打字時(shí)產(chǎn)生觸感，該設(shè)備在墊將要與顯示器接觸時(shí)會(huì)輕輕擠壓手指的側(cè)面。擠壓將指墊推到更引人注目的位置，從而在手指敲擊表面時(shí)增加了緩沖。