用于預(yù)測(cè)單眼序列的深度和自我運(yùn)動(dòng)的雙視圖網(wǎng)絡(luò)

TCS Research&Innovation的嵌入式系統(tǒng)和機(jī)器人小組的研究人員最近開發(fā)了一種雙視深度網(wǎng)絡(luò)，用于推斷連續(xù)單眼序列的深度和自我運(yùn)動(dòng)。他們的方法在預(yù)先發(fā)布在arXiv上的論文中提出，也包含了極線約束，這增強(qiáng)了網(wǎng)絡(luò)的幾何理解。

“我們的主要想法是嘗試直接從單個(gè)圖像序列預(yù)測(cè)像素深度和相機(jī)運(yùn)動(dòng)，”開展這項(xiàng)研究的研究人員Brojeshwar Bhowmick博士告訴TechXplore。“傳統(tǒng)上，基于運(yùn)動(dòng)的重建算法的結(jié)構(gòu)為圖像中的顯著興趣點(diǎn)提供稀疏深度輸出，使用多視圖幾何體在多個(gè)圖像上進(jìn)行跟蹤。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)中越來越受歡迎，我們考慮利用現(xiàn)有的通過使用極線幾何和深度學(xué)習(xí)的概念組合，以更基本的方式解決問題，從而幫助我們的事業(yè)。“

大多數(shù)現(xiàn)有的用于預(yù)測(cè)單眼深度和自我運(yùn)動(dòng)的深度學(xué)習(xí)方法通??過將一個(gè)視圖扭曲成另一個(gè)視圖來優(yōu)化圖像序列中的光度一致性。然而，通過從單個(gè)視圖推斷深度，這些方法可能無法捕獲像素之間的關(guān)系，從而提供適當(dāng)?shù)南袼貙?duì)應(yīng)。

為了解決這些方法的局限性，Bhowmick和他的同事開發(fā)了一種結(jié)合了幾何計(jì)算機(jī)視覺和深度學(xué)習(xí)范例的新方法。他們的方法使用兩個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)用于預(yù)測(cè)單個(gè)參考視圖的深度，一個(gè)用于預(yù)測(cè)一組視圖相對(duì)于參考視圖的相對(duì)姿勢(shì)。

“目標(biāo)圖像場(chǎng)景可以通過基于深度和相對(duì)姿勢(shì)對(duì)它們進(jìn)行翹曲來從任何給定姿勢(shì)重建，”Bhowmick解釋說。“鑒于這個(gè)重建的圖像和參考圖像，我們計(jì)算像素強(qiáng)度中的誤差，這是我們的主要損失。我們?cè)谡w上增加了使用每像素極線損失的概念，這是一種來自多視圖幾何的概念。損失，這確保了更好的對(duì)應(yīng)關(guān)系，并具有在場(chǎng)景中折扣移動(dòng)物體的額外優(yōu)勢(shì)，否則會(huì)惡化學(xué)習(xí)。“

這種新方法不是通過分析單個(gè)圖像來預(yù)測(cè)深度??，而是通過分析來自視頻的一對(duì)圖像并學(xué)習(xí)像素間關(guān)系來預(yù)測(cè)深度??。它有點(diǎn)類似于傳統(tǒng)的SLAM / SfM算法，它可以隨時(shí)間觀察像素運(yùn)動(dòng)。

“我們研究中最有意義的發(fā)現(xiàn)是使用兩個(gè)視圖來預(yù)測(cè)深度??比單個(gè)圖像效果更好，并且即使通過極線約束執(zhí)行像素級(jí)別對(duì)應(yīng)也很有效，”Bhowmick說。“一旦這些方法成熟并且在普遍性方面有所提高，我們就可以將它們應(yīng)用于無人機(jī)的感知，其中人們希望通過消耗盡可能少的能量來提取最大的感官信息，這可以通過使用單個(gè)相機(jī)來實(shí)現(xiàn)。”

在初步評(píng)估中，研究人員發(fā)現(xiàn)他們的方法可以比現(xiàn)有方法更準(zhǔn)確地預(yù)測(cè)深度，從而產(chǎn)生更清晰的深度估計(jì)和增強(qiáng)的姿態(tài)估計(jì)。但是，目前，他們的方法只能執(zhí)行像素級(jí)推斷。未來的工作可以通過將場(chǎng)景的語義集成到模型中來解決這種限制，這可能導(dǎo)致場(chǎng)景中的對(duì)象與深度和自我運(yùn)動(dòng)估計(jì)之間的更好的相關(guān)性。

“我們正在進(jìn)一步探討這種方法和其他類似方法在室內(nèi)和室外各種場(chǎng)景中的普遍性，”Bhowmick說。“目前，大多數(shù)作品在室外數(shù)據(jù)上表現(xiàn)良好，例如駕駛數(shù)據(jù)，但在任意運(yùn)動(dòng)的室內(nèi)序列上表現(xiàn)非常差。”