英偉達(dá)的研究人員提高了繪畫(huà)圖像的標(biāo)準(zhǔn)

對(duì)于那些還不熟悉照片重建工具的人來(lái)說(shuō)，這篇關(guān)于ar Xiv的論文的標(biāo)題可能完全令人費(fèi)解：“使用部分卷積對(duì)不規(guī)則孔進(jìn)行圖像修復(fù)?！比欢?，這項(xiàng)來(lái)自NVIDIA團(tuán)隊(duì)的研究為那些必須進(jìn)行圖像編輯并希望取得好結(jié)果的人指出了令人興奮的改進(jìn)方法。

圖像修補(bǔ)就是在圖像中填充孔。它可以用來(lái)取出不需要的圖像內(nèi)容，同時(shí)在空間中填充可信的圖像。回到他們論文的標(biāo)題，小組探索了他們采取的一個(gè)改進(jìn)的過(guò)程，可以在照片編輯軟件中實(shí)現(xiàn)。

在NVIDIA開(kāi)發(fā)人員新聞中心，對(duì)他們的研究進(jìn)行了概述。他們想出了一種方法，用來(lái)（1）編輯圖像或（2）重建損壞的圖像，一個(gè)有洞或缺少像素的圖像。當(dāng)他們說(shuō)“編輯”時(shí)，包括刪除內(nèi)容和填充洞。

視頻清楚地顯示了這是多么有趣，展示了一組照片之前和之后的鱈魚(yú)處理開(kāi)始。一個(gè)場(chǎng)景是室外的巖石，另一個(gè)場(chǎng)景是室內(nèi)的圖書(shū)館。還有一組展示了人類的臉，包括一個(gè)女人，年輕的男性和一個(gè)年長(zhǎng)的男人。

他們的工作是什么？

由劉貴林領(lǐng)導(dǎo)的NVIDIA研究人員介紹了一種最先進(jìn)的深度學(xué)習(xí)方法，它可以編輯圖像或重建損壞的圖像，一種有洞或缺少像素的圖像。該方法還可以通過(guò)刪除內(nèi)容和填充產(chǎn)生的孔來(lái)編輯圖像。這是根據(jù)視頻筆記。

起作用的是兩個(gè)階段，訓(xùn)練階段和測(cè)試階段。

據(jù)新聞中心報(bào)道，為了準(zhǔn)備訓(xùn)練他們的神經(jīng)網(wǎng)絡(luò)，該小組首先制作了隨機(jī)條紋和任意形狀和大小的洞的面具來(lái)訓(xùn)練。根據(jù)相對(duì)于輸入圖像的大小來(lái)設(shè)計(jì)類別，以提高重建精度。神經(jīng)網(wǎng)絡(luò)訓(xùn)練包括從Image Net、Places2和Celeba-HQ數(shù)據(jù)集生成的圖像掩碼。

”在訓(xùn)練階段，從上述數(shù)據(jù)集將漏洞或缺失部分引入完整的訓(xùn)練圖像，使網(wǎng)絡(luò)能夠?qū)W習(xí)重建缺失的像素。在測(cè)試階段，在數(shù)據(jù)集中的測(cè)試圖像中引入不同的孔或缺失部分，而不是在訓(xùn)練期間應(yīng)用，以便對(duì)重建精度進(jìn)行無(wú)偏的驗(yàn)證。

為什么他們的工作突出：“據(jù)我們所知，我們是第一個(gè)證明深度學(xué)習(xí)圖像繪制模型對(duì)不規(guī)則形狀的孔的有效性?！?/p>

研究人員意識(shí)到了現(xiàn)有的基于深度學(xué)習(xí)的圖像修復(fù)方法。這些都是使用“標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)對(duì)損壞的圖像，使用卷積濾波器響應(yīng)的條件是有效像素以及替代值在掩蔽孔（通常是平均值）。他們說(shuō)，“這往往會(huì)導(dǎo)致諸如顏色差異和模糊等人工制品。”后處理通常用于減少此類工件，但價(jià)格昂貴，可能會(huì)失敗。

他們說(shuō)，他們提出了部分卷積-通過(guò)“卷積被掩蔽和重新歸一化，只以有效像素為條件”。

他們與其他方法進(jìn)行了定性和定量比較，以驗(yàn)證其方法，并指出，他們的模型“優(yōu)于其他不規(guī)則面具的方法”。

本文的作者是劉桂林、雷達(dá)、施凱文、王廷春、陶安德和卡坦扎羅。

進(jìn)一步探索

現(xiàn)有的基于深度學(xué)習(xí)的圖像修復(fù)方法在損壞的圖像上使用標(biāo)準(zhǔn)的卷積網(wǎng)絡(luò)，使用基于有效像素以及掩蔽孔中的替代值（通常是平均值）的卷積濾波器響應(yīng)。這往往導(dǎo)致偽影，如顏色差異和模糊。后處理通常用于減少此類工件，但價(jià)格昂貴，可能會(huì)失敗。我們建議使用部分卷積，其中卷積被屏蔽和重整化，僅以有效像素為條件。我們進(jìn)一步包括一種機(jī)制，作為前傳的一部分，為下一層自動(dòng)生成更新的掩碼。我們的模型優(yōu)于其他方法的不規(guī)則面具。我們展示了定性和定量比較與其他方法，以驗(yàn)證我們的方法。