光州科學技術研究所的研究人員開發(fā)出一種新的圖像去噪方法

使用“路徑追蹤”算法渲染的高質量視覺顯示通常很嘈雜。最近的基于監(jiān)督學習的去噪算法依賴于外部訓練數(shù)據(jù)集，訓練時間長，并且在訓練和測試圖像不同時效果不佳?，F(xiàn)在，來自光州科技學院、VinAI Research 和滑鐵盧大學的研究人員提出了一種新穎的自我監(jiān)督后校正網絡，該網絡可以在不依賴參考的情況下提高去噪性能。

高質量的計算機圖形在游戲、插圖和可視化中無處不在，被認為是視覺顯示技術的最先進技術。用于渲染高質量和逼真圖像的方法稱為“路徑跟蹤”，它利用基于監(jiān)督機器學習的蒙特卡洛(MC) 去噪方法。在這個學習框架中，機器學習模型首先用噪聲和干凈的圖像對進行預訓練，然后應用于要渲染的實際噪聲圖像(測試圖像)。雖然被認為是圖像質量方面的最佳方法，但如果測試圖像與用于訓練的圖像明顯不同，則此方法可能效果不佳。

為了解決這個問題，包括博士在內的一組研究人員。韓國光州科學技術學院的學生Jonghee Back和Bochang Moon副教授、越南VinAI Research 的研究科學家Binh-Son Hua和加拿大滑鐵盧大學的Toshiya Hachisuka副教授在一項新研究中提出新的不依賴參考的 MC 去噪方法。他們的研究于2022 年 7 月 24 日在線發(fā)布，并發(fā)表在ACM SIGGRAPH 2022 會議論文集上。

“現(xiàn)有方法不僅在測試和訓練數(shù)據(jù)集非常不同時失敗，而且需要很長時間來準備訓練數(shù)據(jù)集以對網絡進行預訓練。需要的是一個神經網絡，可以只使用動態(tài)測試圖像進??行訓練，而無需用于預訓練，” Moon 博士解釋了他們研究背后的動機。

為了實現(xiàn)這一點，該團隊提出了一種新的去噪圖像后校正方法，該方法包括一個自我監(jiān)督的機器學習框架和一個用于圖像處理的后校正網絡，基本上是一個卷積神經網絡。后校正網絡不依賴于預訓練的網絡，并且可以使用自我監(jiān)督學習概念進行優(yōu)化，而不依賴于參考。此外，自監(jiān)督模型補充并提升了傳統(tǒng)的去噪監(jiān)督模型。

為了測試提議的網絡的有效性，該團隊將他們的方法應用于現(xiàn)有的最先進的去噪方法。所提出的模型通過保留更精細的細節(jié)，證明了相對于輸入圖像的渲染圖像質量提高了三倍。而且，整個on-fly訓練和最終推理的過程只用了12秒!

“我們的方法是第一個不依賴于使用外部數(shù)據(jù)集進行預訓練的方法。這實際上將縮短制作時間并提高動畫和電影等基于離線渲染的內容的質量，” Moon 博士評論道，推測他們工作的潛在應用。

事實上，這種技術可能很快就會在視頻游戲、增強現(xiàn)實、虛擬現(xiàn)實和虛擬世界中的高質量圖形渲染中得到應用!