蘋果正在研究實時LiDAR表面跟蹤以及其他技術來記錄觸摸感

蘋果的增強現實耳機或未來的iPhone可以使用顯示器的光來跟蹤幾乎任何表面的運動，而手指設備可以向系統(tǒng)提供有關用戶可能觸摸的物體的詳細信息。

有傳言稱，蘋果正在開發(fā)一種VR或AR頭戴式耳機已有相當長的一段時間，各種報告和專利申請都表明它可能會采取多種發(fā)展方向。在星期二專利和商標局授予的一對專利中，揭示了該系統(tǒng)運行的另外兩種方式。

輕型AR對象跟蹤

AR頭戴式耳機的優(yōu)點之一是在設置中包含了攝像頭。通常用于拍攝場景圖像并用于對象識別的相同硬件可用于執(zhí)行對象跟蹤，以查看物品相對于頭戴式耳機位置的實時位置變化。

針對AR的對象跟蹤的好處通常歸結為能夠將數字圖形覆蓋圖應用于對象周圍的視頻源。例如，這可能包括控制器上特定于應用程序的狀態(tài)指示器，否則該指示器在現實世界的視圖中將不可見。

但是，對象識別和對象跟蹤所需的資源以及確定方向的資源在系統(tǒng)上可能會非常繁重。在需要大量處理才能提供最佳體驗的區(qū)域中，歡迎使用任何減少資源使用的方法。

在名為“帶有事件攝像機的AV / VR控制器”的專利中，蘋果公司提出了這樣一種想法，即攝像機系統(tǒng)可能不一定需要始終跟蹤與被跟蹤對象有關的所有像素，而是可以減少像素數量當只需要粗略檢查時，就可以大大降低。

蘋果公司建議系統(tǒng)選擇圖像中與被跟蹤物體有關的特定像素，從而提供光強度和其他屬性的讀數。如果攝像機或物體移動或改變位置，則這幾個像素的光強度將變化超過設置的限制，從而觸發(fā)整個系統(tǒng)開始使用更多資源來搜索物體的變化方式。

假設系統(tǒng)使用光，則系統(tǒng)可以嘗試搜索相同的光點，而不是嘗試檢測物體，這也是可行的。如果對象上有多個亮點，并且系統(tǒng)僅跟蹤這些點，則它可能使用很少的資源來確定位置和方向的變化。

盡管這些光很容易成為物體外殼上環(huán)境照明的反射，但蘋果似乎正在考慮使用其他物體產生的光源，例如LED指示器或顯示圖案的顯示器。對于后者，只要屏幕可見，這將為系統(tǒng)提供足夠的定位和方向數據。

這樣的基于光的參考點不一定非要用于可見光，因為Apple建議照明圖案可以包含不可見的波長。這將提供一個用戶不會看到的不引人注目的系統(tǒng)，并且可能提供一個可以不可見地使用不同光波長的系統(tǒng)，從而允許該系統(tǒng)與多個用戶或對象一起工作。

鑒于它可以使用非人類可見光，因此蘋果采用另一種已經熟悉的技術也是可行的。在TrueDepth相機和iPhone 12 Pro系列背面使用的LiDAR涉及發(fā)射紅外光的小點，這些小點反射回成像傳感器并用于繪制物體深度。

盡管對象本身不發(fā)出自己的光，但是光點反射將有效地處理相同的任務，并具有能夠跟蹤非電子或生物物品(例如用戶的手)的額外好處。

該專利將其發(fā)明人列為Peter Meier，并于2019年1月31日提交了專利。

對象屬性采樣

第二項專利涉及數據收集，特別涉及系統(tǒng)如何獲取有關用戶觸摸內容的信息。

通常，視覺和聽覺介質，AR和VR可以從引入的其他元素中受益，從而向用戶出售真實的數字對象的幻覺。這樣的系統(tǒng)需要知道如何在觸摸現實世界的項目時重新創(chuàng)建用戶可能會感覺到的感覺，以使其能夠通過觸覺反饋工具模仿效果。

在名為“帶有手指設備的計算機系統(tǒng)來采樣對象屬性的計算機系統(tǒng)”的專利中，蘋果公司建議使用手指佩戴的設備，該設備有兩種使用方式。盡管它們可用于向用戶提供觸覺反饋，但該專利更為重要的要素是它能夠檢測用戶可能接觸的真實對象的特征。

每個手指設備中的傳感器都能夠讀取用戶觸摸的真實對象表面的效果，例如表面輪廓，紋理，對象顏色和圖案，聲學屬性和重量。當與其他元素(如頭戴式顯示器上的攝像頭)結合使用時，該系統(tǒng)將能夠收集有關物體的大量數據，然后可以將其提供給用戶。

這些傳感器可以包括應變儀，超聲傳感器，直接接觸傳感器，溫度計，光檢測器，測距傳感器，加速度計，陀螺儀，指南針和電容傳感器等。

當戴在手指的末端時，該專利建議用戶仍然能夠體驗觸摸物體的感覺，因為手指墊將保持暢通無阻。傳感器可以通過接觸延伸超出指尖的突起來檢測，或者通過檢測用戶的手指受到觸摸物體的影響方式的變化來進行檢測。

然后可以收集有關對象的數據，并將其歸檔并歸檔，以備將來系統(tǒng)使用，并有可能作為更廣泛的數據庫的一部分進行共享。然后，該信息可以與觸覺反饋元素一起使用，以模擬對象向用戶或其他用戶的觸摸。

該專利的發(fā)明人為Paul X.Wang，于2019年4月22日提交。

先前的發(fā)展

Apple每周都會提交許多專利申請，但是專利申請的存在表明Apple的研究和開發(fā)工作是人們關注的領域，但它們不能保證這些想法會出現在未來的產品或服務中。

對象識別和跟蹤一直是Apple ARKit的重要組成部分，ARKit是面向希望向其應用程序添加AR內容的開發(fā)人員的工具包。這已經擴展到跟蹤建筑物和其他不動的固定物體，以使數字物品可以漂浮或安裝在相機的世界視野中。

ARKit還能夠執(zhí)行運動捕獲，這需要一定程度的對象跟蹤，并且世界視圖中的其他對象也可以遮擋虛擬對象。

戴在手指上的設備先前已出現在專利申請中，例如2019年的“在手指按下輸入事件期間修改手指感覺的系統(tǒng)”。作為該想法的一部分，設備將連接到手指的末端，但使指墊對元件保持打開狀態(tài)。

為了在基于顯示器的鍵盤上打字時產生觸感，該設備在墊將要與顯示器接觸時會輕輕擠壓手指的側面。擠壓將指墊推到更引人注目的位置，從而在手指敲擊表面時增加了緩沖。