了解Apple iPhone 11新攝像頭功能背后的技術(shù)

“簡而言之，Deep Fusion是一種先進的計算攝影形式，可以進行排列，為您挑選最佳照片”

Apple非常喜歡夸張，以至于沒有像“絕對驚人”，“之前沒有任何東西”和“真正令人難以置信”這樣的短語，沒有Apple活動感覺完整?？蛻艉图夹g(shù)新聞界同樣已經(jīng)習(xí)慣了蘋果公司的自我拍照 - 畢竟，即使該品牌確實具有將現(xiàn)有技術(shù)的重新版本作為革命性的炫耀趨勢，它仍然只是有效。在最近結(jié)束的iPhone 11然而，事件，庫比蒂諾巨人本身有點不同，從一次發(fā)射轉(zhuǎn)移到另一次以輕快的速度，沒有任何勞動。不過，這并沒有阻止Phil Schiller將他們的新相機技術(shù)標(biāo)記為“計算機攝影瘋狂科學(xué)”。我們在這里談?wù)摰氖茿pple的Deep Fusion技術(shù)，如果您想知道它是什么以及您為什么要關(guān)心，請繼續(xù)閱讀。

它是什么?

在各種可能的方式中，Deep Fusion完全符合計算攝影的既定定義。為了重新記憶，計算攝影可以定義為一個系統(tǒng)，其中處理單元的算法主要負(fù)責(zé)在拍攝一張照片后產(chǎn)生合成照片。在典型情況下，它使用智能手機內(nèi)部的圖像信號處理器(ISP)來增強傳感器和鏡頭在無數(shù)數(shù)學(xué)計算中捕獲的圖像，以產(chǎn)生現(xiàn)有光學(xué)設(shè)置本來不可能的圖像。

借助Deep Fusion，Apple正在進一步推動計算攝影。蘋果公司的大賭注不僅僅依賴于互聯(lián)網(wǎng)服務(wù)供應(yīng)商，而是放棄了對神經(jīng)引擎或神經(jīng)處理單元(NPU)的大部分責(zé)任，以便在拍攝照片時使用更多的計算能力。通過這樣做，在Apple的新iPhone上拍攝的任何圖像都將被拍攝多張照片，然后Deep Fusion將采用并增強元素以創(chuàng)建具有最佳平衡色彩，豐富細(xì)節(jié)，紋理，白平衡和噪點的照片。鑒于Apple通常在其相機中使用頂級硬件，結(jié)果，至少在紙面上，應(yīng)該是出色的。

它是如何工作的?

在新款iPhone 11，iPhone 11 Pro和iPhone 11 Pro Max中，一系列算法可在打開相機應(yīng)用程序時指示成像系統(tǒng)采取行動。這將其設(shè)置為其操作的關(guān)鍵位，其中相機準(zhǔn)備好在您實際按下快門按鈕之前拍攝一組拍攝對象。這樣做的主要原因是ISP本身，它被編程為在按下快門時總共拍攝9張照片 - 四張快速曝光照片，四張次要照片和一張長曝光照片。

在按下快門按鈕之前實際點擊了前8個鏡頭，并且在點擊快門時，所討論的iPhone將拍攝主體的長時間曝光照片。重要的是要注意，這里的“長時間曝光”對于普通智能手機照片的標(biāo)準(zhǔn)快門速度是主觀的，并且可能低于1/2或1/6秒。一旦拍攝完這些圖像，這就是Apple A13 Bionic SoC上的新神經(jīng)引擎的開始，參考該技術(shù)的Deep Fusion部分。

在這里，神經(jīng)引擎從24百萬像素或2400萬像素的組合數(shù)據(jù)創(chuàng)建整個圖像幀，以在照片的每個部分中拍攝的九個鏡頭中選擇最佳。在更精細(xì)的術(shù)語中，對于最終照片中的每個最終像素，訓(xùn)練神經(jīng)引擎的算法以從拍攝的九個圖像中挑選出最佳像素。即使在現(xiàn)代系統(tǒng)級芯片處理單位的說法中，也就是在超過一秒的范圍內(nèi)處理相當(dāng)大量的數(shù)據(jù) - 從按下快門到查看照片之前。

由于Deep Fusion的基本任務(wù)是改變所有拍攝的曝光時間，因此神經(jīng)引擎可為每個像素提供多種指標(biāo)供您選擇?；旧希坏┠c擊圖像，A13 SoC的神經(jīng)引擎就可以決定最佳對比度，清晰度，保真度，動態(tài)范圍，色彩準(zhǔn)確度，白平衡，亮度以及與圖像相關(guān)的所有其他因素。與相機基本上由具有更寬范圍的可變因素玩弄，深融合技術(shù)應(yīng)理想地產(chǎn)生具有更高的動態(tài)范圍，令人難以置信的高水平的復(fù)雜的細(xì)節(jié)，優(yōu)異的低光成像，噪聲水平低和色彩的非常準(zhǔn)確的圖像。

另一個應(yīng)該受益的領(lǐng)域是低光攝影，蘋果公司通過自己的夜間模式宣傳。在低光照條件下，Apple將長曝光圖像的亮度優(yōu)勢與短曝光圖像的穩(wěn)定性，細(xì)節(jié)和精確度相結(jié)合，創(chuàng)造出各種各樣的超級圖像，在黑暗中提供出色的拍攝對象，同時保持穩(wěn)定性和不會造成模糊的鏡頭。在這種情況下，Deep Fusion可能會顯示其功能最多，因為在白天，它將取決于Apple是否獲得其算法來正確判斷顏色。

它與其他技術(shù)有何不同?

說實話，Deep Fusion并不完全是開創(chuàng)性的，甚至不是新的。三年前，索尼在其昔日的旗艦產(chǎn)品索尼Xperia Z5上推出了預(yù)測性拍攝，該拍品過去總共拍攝了四張照片 - 三張照片是在拍打快門之前拍攝的，另一張是按下它。這個想法是為了幫助用戶拍攝穩(wěn)定，穩(wěn)定的快速移動物體照片，或者快速移動自己 - 例如賽道上的超速賽車，或者在快速車內(nèi)的路上獨特的樹。

預(yù)計Google Pixel 4將進一步改進計算攝影。

索尼著名的搖搖欲墜的界面意味著該功能太遲鈍和錯誤，并且通常會在按下快門時凍結(jié)相機應(yīng)用程序。因此，盡管是智能手機上最早的計算人工智能攝影制造商之一，但索尼卻未能充分利用它，就像480和960fps的超慢動作視頻一樣。另一方面，谷歌使用突發(fā)HDR成像更加智能。它使用輕量級界面，資源友好的相機應(yīng)用程序和優(yōu)秀的ISP，在Google Pixel 3上提供15次HDR +計算攝影。這與Schiller聲稱的iPhone 11獨有的“瘋狂科學(xué)”完全相同 - 從按下快門到觀看照片之前，這一切都需要大約一秒鐘，其中Pixel 3相機在HDR +中拍攝同一主題的15張圖像，

坦率地說，Deep Fusion唯一獨特的游戲，就像它到目前為止所看到的那樣，在于它點擊的額外長曝光圖像。長曝光幀可以在選擇正確的亮度和亮度級別時為神經(jīng)引擎提供良??好的杠桿作用，尤其是在昏暗的設(shè)置中。也就是說，在拍攝速度，整體細(xì)節(jié)等方面，看看Apple的計算攝影是否真的具有Google對其算法的影響力肯定會很有趣。

那么，這是一個大問題嗎?

對于Apple來說，Deep Fusion是對備受矚目的Google Pixel相機的回應(yīng)。Android的制造商已經(jīng)在過去幾代Pixel智能手機上進行了計算攝影，雖然許多報道稱蘋果已落后，但現(xiàn)在iPhone上有責(zé)任展示其所有神經(jīng)引擎和軟件可以做什么。

然而，就目前而言，很難說Deep Fusion是否真的是一種值得被稱為“瘋狂科學(xué)”的技術(shù)，或者會逐漸淡出另一種蘋果的夸張。