這就是蘋果如何使AR對象更加可信

Apple正在使用機器學(xué)習(xí)，通過可預(yù)測反射，照明等的智能環(huán)境紋理，使增強現(xiàn)實對象在iOS 12中更加逼真。ARKit 2.0中增加了這項新功能，它使用設(shè)備上的處理功能將虛擬對象與真實對象更好地集成在一起，從而模糊了計算機生成的內(nèi)容與真實的內(nèi)容之間的界線。

“在金屬AR碗旁邊放一個真正的香蕉，會有黃色反射”

當(dāng)前，如果您在現(xiàn)實世界場景中有一個虛擬對象，例如木桌上的金屬碗，則木材的紋理不會反映在金屬碗中。環(huán)境紋理的作用是在周圍的物理紋理中拾取細節(jié)，然后將其映射到虛擬對象。因此，金屬碗會稍微反射它所坐的木質(zhì)表面。如果您在碗旁邊放一個香蕉，也會有黃色反射。

環(huán)境紋理收集場景紋理信息，通常(盡管并非總是)將其表示為立方體的六個面。然后，開發(fā)人員可以將其用作其虛擬對象的紋理信息。使用計算機視覺，ARKit 2.0提取紋理信息以填充其立方體貼圖，然后-填充立方體貼圖時-可以使用每個方面來了解AR對象的每個部分所反映的內(nèi)容。

但是，這將需要對空間進行完整的360度掃描，然后才能填充立方體貼圖。由于這是不切實際的，ARKit 2.0可以通過預(yù)測缺少的紋理，使用機器學(xué)習(xí)來填補立方體貼圖中的空白。所有這些都是實時完成的，并且完全在設(shè)備上進行。

“很少有AR體驗需要完全靜止不動”

當(dāng)然，很少有AR體驗需要完全靜止不動。結(jié)果，ARKit 2.0的環(huán)境紋理可以跟蹤物理運動并相應(yīng)地調(diào)整其對缺少紋理的預(yù)測。同樣，隨著虛擬對象的移動，它們的立方體貼圖也會移動以更改應(yīng)用于其虛擬表面的反射。

令人驚訝的是，它與增強現(xiàn)實對象在其真實環(huán)境中的嵌入程度有多大不同。當(dāng)然，從數(shù)字生成的圖形與真實圖形無法區(qū)分的方面，我們還有一定距離：由于Apple在本地而不是在云中進行所有渲染，因此需要考慮iPhone或iPad GPU的凈空。盡管如此，作為現(xiàn)實世界參與者的AR對象看起來比以前更加真實。

與更廣泛的ARKit一樣，使這種新環(huán)境紋理特別強大的原因是，第三方應(yīng)用程序開發(fā)人員實際上幾乎不需要做多少工作就能將反射，陰影等元素整合到增強現(xiàn)實體驗中。多維數(shù)據(jù)集貼圖是自動生成的，并且隨著用戶在空間中移動而保持最新。在許多情況下，僅需幾行代碼即可使用該紋理數(shù)據(jù)。

蘋果公司在WWDC 2018上的大型AR演示是一款多人游戲，涉及“通過” iPad顯示屏看，并以數(shù)字方式將木塊推倒到真實桌子上。盡管如此，我不禁想到這種紋理映射將對明天的增強現(xiàn)實設(shè)備(例如蘋果公司正在研發(fā)的智能眼鏡)產(chǎn)生什么影響。

然后，虛擬對象的真實程度將變得更加重要。畢竟，與iPhone或iPad的屏幕相比，當(dāng)您戴著AR眼鏡時，任何看起來不正常的東西都將變得更加刺耳。蘋果公司今天可能并沒有在談?wù)撨@個問題，但是不難看出，這種通向更逼真的虛擬對象的途徑-與諸如持久性，共享的AR空間共享之類的東西相結(jié)合-將有助于創(chuàng)造更加沉浸式的增強現(xiàn)實體驗，中間沒有iPhone。