iOS 12將解鎖TrueDepth相機(jī)應(yīng)用魔術(shù)

第三方照片和視頻應(yīng)用程序有望在iOS 12上獲得更多的肖像模式和與深度相關(guān)的效果，因?yàn)锳pple極大地完善了從其iPhone相機(jī)陣列共享的數(shù)據(jù)。該功能于本周在加利福尼亞州圣何塞舉行的WWDC 2018會(huì)議上進(jìn)行了預(yù)覽，該功能基于iOS 12的新Portrait Matte功能，相對(duì)于第三方應(yīng)用程序當(dāng)前可以訪問(wèn)的當(dāng)前深度數(shù)據(jù)有了顯著改進(jìn)。

iOS 11為開(kāi)發(fā)人員提供了從iPhone 8 Plus和iPhone X上的雙后置攝像頭以及iPhone X前面的TrueDepth攝像頭陣列獲取原始深度數(shù)據(jù)的功能。這將深度數(shù)據(jù)及其顏色和顏色添加到像素中。亮度。想要復(fù)制諸如Apple的人像模式攝影之類(lèi)的應(yīng)用程序的應(yīng)用程序可以使用該深度數(shù)據(jù)將前景與背景分離，該攝影機(jī)可以在保持主體清晰的同時(shí)模糊背景。

人像遮罩與深度數(shù)據(jù)

但是實(shí)際上，原始深度數(shù)據(jù)的結(jié)果可能是中等的。開(kāi)發(fā)人員只能自己弄清楚主題邊緣在哪里結(jié)束以及背景在哪里開(kāi)始。圍繞該線條進(jìn)行羽化可以幫助捕獲較小的細(xì)節(jié)，例如肖像對(duì)象的頭發(fā)，但通常會(huì)在此過(guò)程中包含不需要的背景細(xì)節(jié)。導(dǎo)致該問(wèn)題的原因還在于深度圖數(shù)據(jù)的分辨率相對(duì)較低：接近0.5兆像素，距離圖像的實(shí)際分辨率還有很長(zhǎng)的路要走。

即將推出iOS 12，Apple提供了第二種途徑。原始深度數(shù)據(jù)仍可從靜止圖像捕獲中獲得。但是，如果在框架中檢測(cè)到人，則還將為開(kāi)發(fā)人員提供人像遮罩：在那些麻煩的邊緣周?chē)哂懈嗉?xì)節(jié)的遮罩。在Apple的演示中，肖像啞光能夠?qū)|西分解成幾乎每根頭發(fā)。

這不僅比使用原始深度數(shù)據(jù)周?chē)挠鸹_得多，而且肖像遮罩本身具有更高的分辨率。實(shí)際上，后置攝像頭是2016 x 1512，TrueDepth攝像頭是1544 x 1160。仍低于實(shí)際圖像，但分辨率僅降低一半左右。

使用人像遮罩，開(kāi)發(fā)人員將可以更加靈活地制作更具趣味的人像風(fēng)格照片。例如，您可以在不飽和的背景上使用明亮的主題，或者將背景完全替換為其他內(nèi)容。但是，iOS 12不會(huì)將其限制為僅靜止不動(dòng)。

進(jìn)入綠屏

實(shí)際上，它還將使開(kāi)發(fā)人員可以訪問(wèn)iPhone X正面的TrueDepth攝像頭陣列-預(yù)計(jì)這將成為Apple計(jì)劃在今年晚些時(shí)候推出的所有新iPhone的一部分，并且實(shí)際上將在即將推出的iPad上–用于視頻。將為它們提供更高的保真度深度圖，該圖將最近的像素編碼為紅色，最遠(yuǎn)的像素編碼為藍(lán)色，并將其間的顏色光譜編碼。沒(méi)有深度數(shù)據(jù)的像素(例如發(fā)亮表面的反射)將為黑色。

與人像遮罩一樣，TrueDepth視頻的深度圖將與相機(jī)可以捕獲的最大全高清分辨率不同。相反，對(duì)于4：3寬高比視頻，它將為640 x 480;對(duì)于16：9，則為640 x 360;無(wú)論哪種方式，它都會(huì)覆蓋整個(gè)框架。開(kāi)發(fā)人員將能夠?qū)俾蕪?0fps調(diào)低：由于這會(huì)占用大量系統(tǒng)資源，因此他們將負(fù)責(zé)確保幀速率設(shè)置得不會(huì)太高，以至于iPhone變慢或應(yīng)用完全崩潰。

RGB-D(紅色/綠色/藍(lán)色和深度)數(shù)據(jù)將打開(kāi)許多效果的大門(mén)。例如，在Apple的演示應(yīng)用程序中，可能會(huì)出現(xiàn)綠屏效果：用不同的圖像實(shí)時(shí)替換框架的背景，從而使您可以在其他屏幕前錄制自己的視頻。我們之前已經(jīng)看到Apple在自己的Clips 2.0應(yīng)用程序中使用了該功能。

點(diǎn)云的力量

但是，由于Apple還從TrueDepth相機(jī)提供3D點(diǎn)云數(shù)據(jù)，因此視頻應(yīng)用程序?qū)嶋H上可以改變拍攝角度，而iPhone本身保持固定。在點(diǎn)云上沒(méi)有大的空白之前，那里只有一定程度的自由度-無(wú)法獲得深度數(shù)據(jù)，因?yàn)門(mén)rueDepth無(wú)法看到空間的那部分-但是效果仍然是驚人的。

盡管Apple有幾個(gè)供開(kāi)發(fā)人員使用的示例應(yīng)用程序，但由編碼人員自己來(lái)制作最終在App Store中使用的軟件。盡管如此，考慮到已有可用的應(yīng)用程序提供了不同的肖像模式效果，iOS 12似乎很可能會(huì)帶來(lái)大量利用新的肖像遮罩和視頻3D深度圖的新計(jì)算攝影應(yīng)用程序。