新的虛擬現(xiàn)實體驗可提供極高質(zhì)量的圖像

科學(xué)家們推出了一種新的虛擬現(xiàn)實(VR)沉浸式體驗，該體驗基于一種新穎的系統(tǒng)，該系統(tǒng)使用光場捕捉并渲染來自現(xiàn)實世界的高質(zhì)量逼真圖像。

谷歌公司推出了基于新系統(tǒng)的全新虛擬現(xiàn)實(VR)沉浸式體驗，該系統(tǒng)使用光場捕捉并呈現(xiàn)來自現(xiàn)實世界的高質(zhì)量逼真圖像。由Google領(lǐng)先的研究人員組成的團隊，歡迎來到Light Fields，這是科技巨頭闖入新興的光場VR體驗舞臺，這是VR視頻技術(shù)的一個令人興奮的角落，因為它承諾提供極高質(zhì)量的圖像和體驗在虛擬世界中。

谷歌今年早些時候發(fā)布了歡迎使用Light Fields作為Steam VR上的免費應(yīng)用程序，用于HTC Vive，Oculus Rift和Windows混合現(xiàn)實耳機。創(chuàng)作者將在今年會議的新空間Immersive Pavilion的SIGGRAPH 2018展示VR體驗。該館專門用于虛擬，增強和混合現(xiàn)實，并將包含：Vrcade，VR，AR和MR游戲或體驗的空間;VR Theatre，一個講故事的盛會，是計算機動畫節(jié)的一部分;和著名的村莊，用于展示大型項目。SIGGRAPH 2018年8月12日至16日在不列顛哥倫比亞省溫哥華舉行，是一年一度的聚會，展示了世界領(lǐng)先的專業(yè)人士，學(xué)者和創(chuàng)意人才，他們處于計算機圖形學(xué)和互動技術(shù)的最前沿。

歡迎來到光場的目的地包括美國國家航空航天局的航天飛機發(fā)現(xiàn)號，向觀眾提供飛行甲板內(nèi)的宇航員視圖，該視圖從未向公眾開放;Gamble House的原始柚木和桃花心木內(nèi)飾，加利福尼亞州帕薩迪納的建筑瑰寶;以及位于加利福尼亞州格拉納達山的輝煌的圣斯蒂芬教堂，這里有超過14,000件閃閃發(fā)光的彩色玻璃墻。

“我喜歡VR中的光場可以將你傳送到現(xiàn)實世界中的異國情調(diào)，真正讓你相信自己就在那里，”Google的軟件工程師Ryan Overbeck說。“對我來說，這很神奇。”

為了將這種體驗變?yōu)楝F(xiàn)實，Overbeck與一個團隊合作，其中包括Google的高級工程師Paul Debevec，他負責(zé)管理該項目并領(lǐng)導(dǎo)工程師薛明宇，Jay Busch和Graham Fyffe的硬件部分。有了Overbeck，Daniel Erickson和Daniel Evangelakos專注于軟件終端。研究人員設(shè)計了一個全面的系統(tǒng)，用于從現(xiàn)實世界中捕獲的鏡頭中捕獲和渲染高質(zhì)量的球形光場靜止圖像。他們開發(fā)了兩款易于使用的光場攝像機裝置，基于GoPro Hero4action運動相機，可有效捕捉球體表面的數(shù)千張圖像。然后，這些圖像通過基于云的光場處理管道。

除此之外，Overbeck解釋道，“處理管道使用計算機視覺將圖像放置在3D中并生成深度圖，我們使用vp9視頻編解碼器[視頻格式化]的修改版本將光場數(shù)據(jù)壓縮到可管理的尺寸。”他指出，為了渲染光場數(shù)據(jù)集，團隊使用了一種渲染算法，可以實時混合數(shù)千個光場圖像。

該團隊依靠Google在計算機視覺，圖形，視頻壓縮和機器學(xué)習(xí)方面的優(yōu)秀工程師庫來克服光場技術(shù)帶來的獨特挑戰(zhàn)。他們還與WebM團隊(制作vp9視頻編解碼器)密切合作，開發(fā)出融入其系統(tǒng)的高質(zhì)量光場壓縮格式，并充分利用Jump VR團隊的專業(yè)知識，幫助制作圖像并生成深度地圖。(Jump是Google的專業(yè)VR系統(tǒng)，用于大規(guī)模實現(xiàn)3D-360視頻制作。)

事實上，通過Welcome to Light Fields，Google團隊展示了光場VR技術(shù)的潛力和前景，展示了該技術(shù)能夠以無與倫比的真實感提供真正身臨其境的體驗。盡管光場技術(shù)已經(jīng)在計算機圖形學(xué)中研究和探索了30多年，但實際提供高質(zhì)量光場經(jīng)驗的實際系統(tǒng)尚未成為可能。

團隊創(chuàng)建VR光場體驗背后的一部分動力是激發(fā)新生的領(lǐng)域。

“歡迎來到Light Fields，證明現(xiàn)在有可能制造一個引人注目的光場VR瀏覽器，它運行在消費級硬件上，我們希望這些知識能夠鼓勵其他人參與構(gòu)建光場技術(shù)和媒體，”Overbeck說道。 。“我們理解，為了最終制作基于光場的引人注目的消費產(chǎn)品，我們需要一個蓬勃發(fā)展的光場生態(tài)系統(tǒng)。我們需要開放式光場編解碼器，我們需要藝術(shù)家創(chuàng)造美麗的光場圖像，我們需要人們使用VR以便搞光場。“