OPPO Reno5 Pro 5G智能手機上的FDF縱向視頻系統(tǒng)如何工作

視頻一直是我們生活中的重要組成部分，隨著智能手機變得越來越快，越來越智能，這些手持式通用設(shè)備可以潛在地取代您專用的數(shù)碼單反相機，傻瓜相機和傻瓜相機，甚至可以滿足您的攝影需求。

正如我們在智能手機成像部門所取得的進步一樣，視頻通常在Android智能手機(甚至在旗艦手機)上也被忽略。但是，近年來，各品牌最終意識到智能手機作為攝像機的重要性，并致力于改善整體攝影體驗。

OPPO一直處于優(yōu)化智能手機攝像頭的最前沿，我們已經(jīng)看到了該品牌的一些有趣技術(shù)，例如RFB-ERSGAN神經(jīng)網(wǎng)絡(luò)，它可以將原始的低分辨率圖像升級為高分辨率圖像而又不丟失細(xì)節(jié)，甚至具有混合縮放技術(shù)。堆疊式潛望鏡變焦鏡頭結(jié)構(gòu)。

在即將到來的Reno5Pro 5G中，OPPO將使用其全新的全尺寸融合(FDF)人像視頻系統(tǒng)。這是一組在后工作的成像算法，用于優(yōu)化新設(shè)備上的視頻。在最近的一次簡報中，OPPO解釋了該系統(tǒng)如何工作以及如何根據(jù)多個參數(shù)優(yōu)化視頻以實現(xiàn)最佳輸出。

因此，快速瀏覽一下OPPO Reno5Pro 5G上OPPO的FDF縱向視頻系統(tǒng)是如何工作的。本文并不旨在深入探討該系統(tǒng)。相反，它是您使用手機拍攝視頻時幕后發(fā)生情況的快速概述。

如上所述，OPPO的攝像頭系統(tǒng)是不同算法的集合，這些算法可以協(xié)同工作以優(yōu)化在OPPO Reno5Pro 5G上錄制的視頻。該系統(tǒng)由兩個主要引擎組成：

人像視頻系統(tǒng)

1.質(zhì)量增強引擎

顧名思義，質(zhì)量增強引擎通過許多不同的參數(shù)(例如亮度，動態(tài)范圍和降噪)改善了視頻質(zhì)量。該引擎在后運行，以提高所錄制視頻的整體質(zhì)量。

2.人像感知引擎

另一方面，人像感知引擎專注于場景識別。它在后工作，以識別場景中的人物并根據(jù)環(huán)境有效地優(yōu)化人物。該特定引擎還負(fù)責(zé)啟用視頻中的創(chuàng)意濾鏡，例如AI Color Portrait模式。

為了更好地理解它，此流程圖將為您快速概述系統(tǒng)的工作方式。

系統(tǒng)如何運作

這兩個引擎一起工作以優(yōu)化Reno5Pro 5G上的視頻。每個引擎都有自己的一組優(yōu)化在后進行處理。現(xiàn)在讓我們快速看一下這些過程。

質(zhì)量增強引擎

質(zhì)量增強引擎由兩種AI算法架構(gòu)組成-AI Highlight Video和Ultra Steady 3.0。

AI Highlight Video

OPPO揭示了AI Highlight Video是其專有的算法架構(gòu)，該架構(gòu)結(jié)合了Ultra Night Video算法和Live HDR算法，以優(yōu)化視頻的亮度，色彩和清晰度，而不論其亮度如何。OPPO還指出，這是他們第一次能夠同時使用其Night和Live HDR算法。這意味著AI Highlight Video可在日光和弱光條件下工作，并且在前后攝像頭上均可用。您只需在相機用戶界面中按一個按鈕即可啟用此功能。

融合算法框架AI Highlight Video通過三個不同的參數(shù)優(yōu)化視頻。

AI自適應(yīng)亮度增強：該算法使用自適應(yīng)增益來控制曝光時間，以確保視頻中的圖像明亮但不會過度曝光。自適應(yīng)亮度增強

AI自適應(yīng)動態(tài)范圍：自適應(yīng)動態(tài)范圍使用動態(tài)范圍轉(zhuǎn)換和電影色調(diào)映射(FTM)技術(shù)調(diào)整視頻中每個幀的動態(tài)范圍。OPPO聲稱，此過程可將丟失的顏色，亮度和暗度恢復(fù)到圖像的自然水平。此過程還包括多幀HDR，以在整個視頻中實現(xiàn)更好的動態(tài)范圍。自適應(yīng)動態(tài)范圍2

AI自適應(yīng)降噪：此過程添加了幀間融合以降低時間噪聲(兩個幀之間)，并添加了幀內(nèi)融合(幀內(nèi))以降低空間噪聲。OPPO聲稱，此過程與其他常規(guī)降噪算法不同，它可以消除圖像的噪點而不消除必要的細(xì)節(jié)。

顯然，OPPO對其AI Highlight Video算法非常重視。實際上，該公司分享了一些有關(guān)如何改善智能手機上攝像頭的整體質(zhì)量和性能的關(guān)鍵數(shù)據(jù)。

OPPO透露，與常規(guī)視頻模式相比，AI Highlight視頻將夜間視頻的亮度提高了74.4%，清晰度為33.7%。Reno5Pro 5G只需20毫秒即可完成整個過程，而功耗也比其前代產(chǎn)品降低了40%。

Ultra Steady 3.0

OPPO的質(zhì)量增強引擎還依賴于其新一代Ultra Steady 3.0技術(shù)，該技術(shù)可為跑步，跳躍甚至極限運動等各種場景提供穩(wěn)定技術(shù)。

接下來是肖像感知引擎。你們中的許多人可能已經(jīng)熟悉此引擎。這組算法負(fù)責(zé)啟用以肖像為中心的功能，例如酷炫的AI Color Portrait視頻，而與人的背景或狀態(tài)無關(guān)。

人像感知引擎

拍攝視頻時，Portrait Perception Engine將經(jīng)歷三個典型過程。

場景設(shè)計經(jīng)理：第一步是定義肖像場景并處理其所需的條件。使用OPPO自己的數(shù)據(jù)庫，其中包含超過1000萬個數(shù)據(jù)，場景設(shè)計管理器可以分析不同場景下的真實人像場景，并根據(jù)一組固定參數(shù)對視頻進行所需的調(diào)整。這是引擎準(zhǔn)備視頻進行進一步處理的第一階段。

AI建模：一旦對場景進行評估，AI模型和深度神經(jīng)網(wǎng)絡(luò)便開始發(fā)揮作用，從本質(zhì)上將肖像與背景分離開來。這是OPPO肖像視頻處理中非常重要的部分。為了提高識別人像的AI模型的速度和準(zhǔn)確性，該公司正在使用自己的數(shù)據(jù)庫來訓(xùn)練SOTA AI模型。它有助于進一步壓縮這些模型，使其適合于智能手機等較小的設(shè)備。OPPO聲稱，整個人像識別過程可以在不到一毫秒的時間內(nèi)完成，這對于實現(xiàn)無縫且即時的攝影體驗極為重要。

人像處理：當(dāng)您查看現(xiàn)實應(yīng)用時，人像感知引擎構(gòu)成了OPPO FDF人像視頻系統(tǒng)的基礎(chǔ)。最終的肖像處理算法從三個方面優(yōu)化了視頻：

1.面部優(yōu)化

2.運動跟蹤

3.實例分割

借助包括肖像識別和肖像處理在內(nèi)的肖像感知引擎，OPPO帶有FDF肖像視頻系統(tǒng)的智能手機可以：

即使被攝對象是側(cè)面照相機或部分被遮擋，也可以準(zhǔn)確識別每個人及其臉部的特征。

將AI高光視頻優(yōu)化(例如顏色，亮度或?qū)Ρ榷日{(diào)整)應(yīng)用于肖像。

為圖像中的每個主題添加個性化優(yōu)化(實例分割)

為肖像添加特殊功能，例如AI Color Portrait

很明顯，OPPO相信視頻將在未來幾年中成為智能手機的重要組成部分。該公司的FDF縱向視頻系統(tǒng)只是在視頻方面向用戶提供更多內(nèi)容的又一努力。

該公司透露，截至2020年9月，它已在全球范圍內(nèi)申請了7,300項與成像相關(guān)的專利，其中2,350項已獲授權(quán)。

OPPO Reno5 Pro 5G是配備其新型FDF縱向視頻系統(tǒng)的最新型號。該手機將于1月18日在推出，因此我們很快就會知道這款新引擎為視頻體驗帶來了多大的改變。