了解Apple iPhone 11新攝像頭功能背后的技術(shù)

“簡而言之，Deep Fusion是一種先進(jìn)的計(jì)算攝影形式，可以進(jìn)行排列，為您挑選最佳照片”

Apple非常喜歡夸張，以至于沒有像“絕對(duì)驚人”，“之前沒有任何東西”和“真正令人難以置信”這樣的短語，沒有Apple活動(dòng)感覺完整?？蛻艉图夹g(shù)新聞界同樣已經(jīng)習(xí)慣了蘋果公司的自我拍照 - 畢竟，即使該品牌確實(shí)具有將現(xiàn)有技術(shù)的重新版本作為革命性的炫耀趨勢，它仍然只是有效。在最近結(jié)束的iPhone 11然而，事件，庫比蒂諾巨人本身有點(diǎn)不同，從一次發(fā)射轉(zhuǎn)移到另一次以輕快的速度，沒有任何勞動(dòng)。不過，這并沒有阻止Phil Schiller將他們的新相機(jī)技術(shù)標(biāo)記為“計(jì)算機(jī)攝影瘋狂科學(xué)”。我們在這里談?wù)摰氖茿pple的Deep Fusion技術(shù)，如果您想知道它是什么以及您為什么要關(guān)心，請繼續(xù)閱讀。

它是什么?

在各種可能的方式中，Deep Fusion完全符合計(jì)算攝影的既定定義。為了重新記憶，計(jì)算攝影可以定義為一個(gè)系統(tǒng)，其中處理單元的算法主要負(fù)責(zé)在拍攝一張照片后產(chǎn)生合成照片。在典型情況下，它使用智能手機(jī)內(nèi)部的圖像信號(hào)處理器(ISP)來增強(qiáng)傳感器和鏡頭在無數(shù)數(shù)學(xué)計(jì)算中捕獲的圖像，以產(chǎn)生現(xiàn)有光學(xué)設(shè)置本來不可能的圖像。

借助Deep Fusion，Apple正在進(jìn)一步推動(dòng)計(jì)算攝影。蘋果公司的大賭注不僅僅依賴于互聯(lián)網(wǎng)服務(wù)供應(yīng)商，而是放棄了對(duì)神經(jīng)引擎或神經(jīng)處理單元(NPU)的大部分責(zé)任，以便在拍攝照片時(shí)使用更多的計(jì)算能力。通過這樣做，在Apple的新iPhone上拍攝的任何圖像都將被拍攝多張照片，然后Deep Fusion將采用并增強(qiáng)元素以創(chuàng)建具有最佳平衡色彩，豐富細(xì)節(jié)，紋理，白平衡和噪點(diǎn)的照片。鑒于Apple通常在其相機(jī)中使用頂級(jí)硬件，結(jié)果，至少在紙面上，應(yīng)該是出色的。

它是如何工作的?

在新款iPhone 11，iPhone 11 Pro和iPhone 11 Pro Max中，一系列算法可在打開相機(jī)應(yīng)用程序時(shí)指示成像系統(tǒng)采取行動(dòng)。這將其設(shè)置為其操作的關(guān)鍵位，其中相機(jī)準(zhǔn)備好在您實(shí)際按下快門按鈕之前拍攝一組拍攝對(duì)象。這樣做的主要原因是ISP本身，它被編程為在按下快門時(shí)總共拍攝9張照片 - 四張快速曝光照片，四張次要照片和一張長曝光照片。

在按下快門按鈕之前實(shí)際點(diǎn)擊了前8個(gè)鏡頭，并且在點(diǎn)擊快門時(shí)，所討論的iPhone將拍攝主體的長時(shí)間曝光照片。重要的是要注意，這里的“長時(shí)間曝光”對(duì)于普通智能手機(jī)照片的標(biāo)準(zhǔn)快門速度是主觀的，并且可能低于1/2或1/6秒。一旦拍攝完這些圖像，這就是Apple A13 Bionic SoC上的新神經(jīng)引擎的開始，參考該技術(shù)的Deep Fusion部分。

在這里，神經(jīng)引擎從24百萬像素或2400萬像素的組合數(shù)據(jù)創(chuàng)建整個(gè)圖像幀，以在照片的每個(gè)部分中拍攝的九個(gè)鏡頭中選擇最佳。在更精細(xì)的術(shù)語中，對(duì)于最終照片中的每個(gè)最終像素，訓(xùn)練神經(jīng)引擎的算法以從拍攝的九個(gè)圖像中挑選出最佳像素。即使在現(xiàn)代系統(tǒng)級(jí)芯片處理單位的說法中，也就是在超過一秒的范圍內(nèi)處理相當(dāng)大量的數(shù)據(jù) - 從按下快門到查看照片之前。

由于Deep Fusion的基本任務(wù)是改變所有拍攝的曝光時(shí)間，因此神經(jīng)引擎可為每個(gè)像素提供多種指標(biāo)供您選擇。基本上，一旦您點(diǎn)擊圖像，A13 SoC的神經(jīng)引擎就可以決定最佳對(duì)比度，清晰度，保真度，動(dòng)態(tài)范圍，色彩準(zhǔn)確度，白平衡，亮度以及與圖像相關(guān)的所有其他因素。與相機(jī)基本上由具有更寬范圍的可變因素玩弄，深融合技術(shù)應(yīng)理想地產(chǎn)生具有更高的動(dòng)態(tài)范圍，令人難以置信的高水平的復(fù)雜的細(xì)節(jié)，優(yōu)異的低光成像，噪聲水平低和色彩的非常準(zhǔn)確的圖像。

另一個(gè)應(yīng)該受益的領(lǐng)域是低光攝影，蘋果公司通過自己的夜間模式宣傳。在低光照條件下，Apple將長曝光圖像的亮度優(yōu)勢與短曝光圖像的穩(wěn)定性，細(xì)節(jié)和精確度相結(jié)合，創(chuàng)造出各種各樣的超級(jí)圖像，在黑暗中提供出色的拍攝對(duì)象，同時(shí)保持穩(wěn)定性和不會(huì)造成模糊的鏡頭。在這種情況下，Deep Fusion可能會(huì)顯示其功能最多，因?yàn)樵诎滋?，它將取決于Apple是否獲得其算法來正確判斷顏色。

它與其他技術(shù)有何不同?

說實(shí)話，Deep Fusion并不完全是開創(chuàng)性的，甚至不是新的。三年前，索尼在其昔日的旗艦產(chǎn)品索尼Xperia Z5上推出了預(yù)測性拍攝，該拍品過去總共拍攝了四張照片 - 三張照片是在拍打快門之前拍攝的，另一張是按下它。這個(gè)想法是為了幫助用戶拍攝穩(wěn)定，穩(wěn)定的快速移動(dòng)物體照片，或者快速移動(dòng)自己 - 例如賽道上的超速賽車，或者在快速車內(nèi)的路上獨(dú)特的樹。

預(yù)計(jì)Google Pixel 4將進(jìn)一步改進(jìn)計(jì)算攝影。

索尼著名的搖搖欲墜的界面意味著該功能太遲鈍和錯(cuò)誤，并且通常會(huì)在按下快門時(shí)凍結(jié)相機(jī)應(yīng)用程序。因此，盡管是智能手機(jī)上最早的計(jì)算人工智能攝影制造商之一，但索尼卻未能充分利用它，就像480和960fps的超慢動(dòng)作視頻一樣。另一方面，谷歌使用突發(fā)HDR成像更加智能。它使用輕量級(jí)界面，資源友好的相機(jī)應(yīng)用程序和優(yōu)秀的ISP，在Google Pixel 3上提供15次HDR +計(jì)算攝影。這與Schiller聲稱的iPhone 11獨(dú)有的“瘋狂科學(xué)”完全相同 - 從按下快門到觀看照片之前，這一切都需要大約一秒鐘，其中Pixel 3相機(jī)在HDR +中拍攝同一主題的15張圖像，

坦率地說，Deep Fusion唯一獨(dú)特的游戲，就像它到目前為止所看到的那樣，在于它點(diǎn)擊的額外長曝光圖像。長曝光幀可以在選擇正確的亮度和亮度級(jí)別時(shí)為神經(jīng)引擎提供良??好的杠桿作用，尤其是在昏暗的設(shè)置中。也就是說，在拍攝速度，整體細(xì)節(jié)等方面，看看Apple的計(jì)算攝影是否真的具有Google對(duì)其算法的影響力肯定會(huì)很有趣。

那么，這是一個(gè)大問題嗎?

對(duì)于Apple來說，Deep Fusion是對(duì)備受矚目的Google Pixel相機(jī)的回應(yīng)。Android的制造商已經(jīng)在過去幾代Pixel智能手機(jī)上進(jìn)行了計(jì)算攝影，雖然許多報(bào)道稱蘋果已落后，但現(xiàn)在iPhone上有責(zé)任展示其所有神經(jīng)引擎和軟件可以做什么。

然而，就目前而言，很難說Deep Fusion是否真的是一種值得被稱為“瘋狂科學(xué)”的技術(shù)，或者會(huì)逐漸淡出另一種蘋果的夸張。