Holostream允許高質量的無線3-D視頻通信

新平臺可在使用現(xiàn)有標準無線網絡的智能手機和平板電腦等移動設備上實現(xiàn)高質量的3-D視頻通信。

“據我們所知，這個系統(tǒng)是第一個能夠通過標準無線網絡實時提供密集和準確的3D視頻內容到智能手機和平板電腦等遠程移動設備的系統(tǒng)，”張松說。普渡大學機械工程學院。

他說，這個稱為Holostream的平臺大大減少了3-D視頻的數(shù)據大小，而基本上不會犧牲數(shù)據質量，允許在現(xiàn)有無線網絡提供的帶寬范圍內進行傳輸。

它提高了質量，擴展了已經利用實時三維數(shù)據傳輸?shù)牧餍袘贸绦虻墓δ?，例如電話會議和“遠程呈現(xiàn)”，它使用虛擬現(xiàn)實和其他交互技術，讓人們感覺或看起來好像存在在一個偏遠的地方。

“該技術還可以實現(xiàn)可能需要高分辨率，高精度3D視頻數(shù)據傳輸?shù)男屡d應用，例如遠程機器人手術和遠程醫(yī)療，”普渡大學XYZT實驗室主任張說。

研究報告詳細介紹了將于 1月28日至2月2日舉行的電子影像2018年會議期間提交的研究論文。這篇論文由博士生Tyler Bell撰寫;該論文由加州伯林蓋姆撰寫。普渡大學惠普電氣與計算機工程杰出教授Jan P. Allebach; 和張。

現(xiàn)有的3-D視頻通信技術具有有限的應用，部分原因在于它們需要專門且通常昂貴的硬件，復雜的系統(tǒng)設置以及用于實時操作或無延遲的高要求的計算資源。在傳輸3-D視頻之前，必須對其進行壓縮。然而，使用傳統(tǒng)方法難以實時壓縮3-D視頻以進行傳輸。新平臺首先將3-D視頻轉換為2-D格式，從而解決了這一問題。

“標準的2-D圖像和視頻壓縮技術相當成熟，可以通過標準無線網絡實現(xiàn)當今的現(xiàn)代2-D視頻通信，”Zhang說。“如果可以將三維幾何結構高效精確地轉換為標準二維圖像，現(xiàn)有的二維視頻通信平臺可以立即用于低帶寬三維視頻通信。”

三維對象由形成三角形的交叉線網格表示。在這個幾何體的頂部是一個特征的“紋理”，使對象看起來真實。

“本文介紹了一種將3-D視頻數(shù)據和顏色紋理高效精確地編碼為常規(guī)2-D視頻格式的新方法，”張說。“我們開發(fā)了一種新穎的3-D視頻壓縮方法，可以在不顯著犧牲數(shù)據質量的情況下大幅降低3-D視頻數(shù)據的尺寸。”

該框架使用標準中等帶寬網絡進行測試，以同時向多個移動設備提供高質量的3-D視頻。

通過用于3D視頻錄制，壓縮，傳輸，解壓縮和可視化的新管道實現(xiàn)Holostream。

該團隊開發(fā)了管道的硬件和軟件，包括3-D視頻捕獲系統(tǒng)。三維相機捕獲圖像，使用LED燈將條紋的結構圖案投影到被掃描的物體上。這些條紋允許系統(tǒng)確定物體的深度和形狀。

該平臺可以實現(xiàn)高分辨率，高精度三維視頻數(shù)據的實時傳輸特別關鍵的應用，例如協(xié)作設計和在線“面部行為分析”，這可以揭示一個人的心理狀態(tài)和醫(yī)療條件，如作為抑郁癥和創(chuàng)傷后應激障礙。