看到拐角處的系統(tǒng)可以改善自動駕駛汽車和搜索和救援

光能讓我們看到周圍的事物，但是如果我們也可以用它來看到隱藏在角落周圍的東西呢?

這聽起來像是科幻小說，但這是麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)新算法背后的理念 - 它的發(fā)現(xiàn)對從應(yīng)急響應(yīng)到自動駕駛汽車等各方面都有影響。

CSAIL團(tuán)隊(duì)的成像系統(tǒng)可與智能手機(jī)相機(jī)配合使用，使用有關(guān)光反射的信息來檢測隱藏場景中的物體或人物，并實(shí)時(shí)測量其速度和軌跡。

要解釋一下，想象一下，你走在一個(gè)L形的走廊上，在你和拐角處的一些物體之間有一堵墻。這些物體在你的視線中反射出地面上的少量光線，產(chǎn)生一種被稱為“半影”的模糊陰影。

使用半影的視頻，該團(tuán)隊(duì)稱之為“CornerCameras”的系統(tǒng)可以拼接一系列一維圖像，揭示角落周圍物體的信息。

“即使這些物體實(shí)際上對相機(jī)不可見，我們也可以看看它們的運(yùn)動如何影響半影，以確定它們的位置和它們的去向，”Katherine Bouman SM '13博士說，他是17歲。關(guān)于該系統(tǒng)的新論文的主要作者。“通過這種方式，我們可以看出墻壁和其他帶有邊緣的障礙物可以被用作自然發(fā)生的'相機(jī)'，從而揭示出它們之外的隱藏場景。”

布曼說，能夠看到障礙物周圍的能力對于許多任務(wù)都是有用的，從消防員在燃燒建筑物中尋找人員到檢測盲人行人的司機(jī)。

她與麻省理工學(xué)院教授比爾·弗里曼，安東尼奧·托拉爾巴，格雷格·沃內(nèi)爾和弗雷多·杜蘭德共同撰寫了這篇論文。碩士生Vickie Ye; 和博士生Adam Yedidia。她將于本月晚些時(shí)候在意大利威尼斯舉行的計(jì)算機(jī)視覺國際會議上展示這項(xiàng)工作。

這個(gè)怎么運(yùn)作

觀察周圍障礙的大多數(shù)方法都涉及特殊的激光器。具體而言，研究人員將攝像機(jī)照射在可觀察和隱藏場景可見的特定點(diǎn)上，然后測量光線返回所需的時(shí)間。

然而，這些所謂的“飛行??時(shí)間相機(jī)”是昂貴的并且很容易被環(huán)境光，尤其是室外光線拋棄。

相比之下，CSAIL團(tuán)隊(duì)的技術(shù)不需要將光線主動投射到空間，并且可以在更廣泛的室內(nèi)和室外環(huán)境以及現(xiàn)成的消費(fèi)者相機(jī)中工作。

通過觀看半影的視頻，CornerCameras生成隱藏場景的一維圖像。單個(gè)圖像不是特別有用，因?yàn)樗喈?dāng)數(shù)量的“噪聲”數(shù)據(jù)。但是通過在幾秒鐘內(nèi)觀察場景并將數(shù)十個(gè)不同的圖像拼接在一起，系統(tǒng)可以區(qū)分運(yùn)動中的不同物體并確定它們的速度和軌跡。

“甚至試圖實(shí)現(xiàn)這一目標(biāo)的想法本身就具有創(chuàng)新性，但讓它在實(shí)踐中發(fā)揮作用顯示出創(chuàng)造力和熟練度，”南方衛(wèi)理公會大學(xué)萊爾工程學(xué)院院長馬克·克里斯滕森教授說。沒有參與這項(xiàng)研究。“這項(xiàng)工作是開發(fā)革命性成像能力的更廣泛嘗試中的重要一步，這些能力不僅限于視線觀察。”

該團(tuán)隊(duì)驚訝地發(fā)現(xiàn)CornerCameras在一系列具有挑戰(zhàn)性的情況下工作，包括雨天等天氣狀況。

“鑒于下雨確實(shí)改變了地面的顏色，我認(rèn)為我們無法在十分之一的數(shù)量級上看到光線的細(xì)微差別，”Bouman說。“但是因?yàn)橄到y(tǒng)在數(shù)十個(gè)圖像中集成了如此多的信息，所以雨滴的效果平均，所以即使在所有活動的中間，你也可以看到物體的運(yùn)動。”

該系統(tǒng)仍有一些局限性。由于顯而易見的原因，如果場景中沒有光線，它就不起作用，如果隱藏場景本身的光線很暗，則會出現(xiàn)問題。如果光線條件發(fā)生變化，它也會被絆倒，就像場景在室外，云層不斷在陽光下移動一樣。使用智能手機(jī)品質(zhì)的相機(jī)，當(dāng)您離角落越來越遠(yuǎn)時(shí)，信號也會變?nèi)酢?/p>

研究人員計(jì)劃在未來的論文中解決其中的一些挑戰(zhàn)，并試圖在運(yùn)動中使其發(fā)揮作用。該團(tuán)隊(duì)很快將在輪椅上進(jìn)行測試，目標(biāo)是最終將其用于汽車和其他車輛。

“如果一個(gè)小孩飛到街上，司機(jī)可能無法及時(shí)做出反應(yīng)，”鮑曼說。“雖然我們還沒有，但是有一天這樣的技術(shù)可以用來給司機(jī)幾秒鐘的警告時(shí)間，并幫助他們在很多生死攸關(guān)的情況下工作。”