使用顏色分量中的差異識別深度網(wǎng)絡(luò)生成的圖像

深圳大學(xué)的研究人員最近設(shè)計了一種檢測深度神經(jīng)網(wǎng)絡(luò)生成的圖像的方法。他們的研究預(yù)先發(fā)布在arXiv上，確定了一組捕獲彩色圖像統(tǒng)計數(shù)據(jù)的功能，可以檢測使用當(dāng)前人工智能工具生成的圖像。

“我們的研究受到圖像生成模型的快速發(fā)展和生成的假圖像的傳播的啟發(fā)，”進(jìn)行這項研究的研究人員之一Bin Li告訴Tech Xplore。“隨著先進(jìn)圖像生成模型(如生成對抗網(wǎng)絡(luò)(GAN)和變分自動編碼器)的興起，深度網(wǎng)絡(luò)生成的圖像變得越來越逼真，用人眼識別它們已經(jīng)不再容易了，這需要嚴(yán)格的安全性。風(fēng)險“。

最近，一些研究人員和全球媒體平臺已經(jīng)表達(dá)了他們對人工神經(jīng)網(wǎng)絡(luò)培養(yǎng)生成圖像所帶來的風(fēng)險的擔(dān)憂。例如，諸如生成對抗網(wǎng)絡(luò)(GAN)和變分自動編碼器之類的深度學(xué)習(xí)算法可以用于生成虛假新聞的真實圖像和視頻，或者可以促進(jìn)在線欺詐和在社交媒體上偽造個人信息。

通過試驗和錯誤過程訓(xùn)練GAN算法以產(chǎn)生越來越逼真的圖像，其中一個算法生成圖像，另一個算法，鑒別器，提供反饋以使這些圖像更逼真。假設(shè)，該鑒別器也可以被訓(xùn)練以檢測來自真實圖像的假圖像。然而，這些算法主要使用RGB圖像作為輸入，并且不考慮顏色分量的差異，因此它們的性能很可能不令人滿意。

在他們的研究中，Li和他的同事們分析了GAN生成的圖像與真實圖像之間的差異，提出了一系列可以有效幫助對其進(jìn)行分類的特征。結(jié)果方法通過分析真實圖像和生成圖像之間的顏色分量的差異來工作。

“我們的基本想法是，真實圖像和生成圖像的生成管道是完全不同的，因此這兩類圖像應(yīng)該具有一些不同的屬性，”研究人員之一的Haodong Li說。“事實上，它們來自不同的管道。例如，真實圖像是由成像設(shè)備(如相機(jī)和掃描儀)生成以捕獲真實場景，而生成的圖像是以完全不同的方式創(chuàng)建的，其中卷積，連接和激活來自神經(jīng)網(wǎng)絡(luò)，差異可能導(dǎo)致不同的統(tǒng)計特性。在這項研究中，我們主要考慮顏色分量的統(tǒng)計特性“。

研究人員發(fā)現(xiàn)，盡管生成的圖像和真實圖像在RGB色彩空間中看起來相似，但它們在HSV和YCbCr的色度分量中具有明顯不同的統(tǒng)計特性。他們還觀察到將R，G和B顏色組分組裝在一起時的差異。

他們提出的特征集，包括從幾個顏色分量的圖像高通濾波殘差中提取的共現(xiàn)矩陣，利用這些差異，捕獲真實和生成圖像之間的顏色差異。此功能集尺寸較小，即使在小圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練也可以很好地執(zhí)行。

Li和他的同事在三個圖像數(shù)據(jù)集上測試了他們的方法的性能：CelebFaces屬性，高品質(zhì)CelebA和野外Labeled Faces。他們的研究結(jié)果非常有希望，這些特征在所有三個數(shù)據(jù)集上都表現(xiàn)良好。

“我們研究中最有意義的發(fā)現(xiàn)是，通過從某些顏色成分中提取特征，可以很容易地檢測到深層網(wǎng)絡(luò)生成的圖像，盡管生成的圖像在視覺上可能與人眼無法區(qū)分，”Haodong Li說。“當(dāng)生成的圖像樣本或生成模型可用時，所提出的配備二元分類器的特征可以有效地區(qū)分生成的圖像和真實的圖像。當(dāng)生成模型未知時，所提出的特征與一類分類器一起也可以達(dá)到令人滿意的性能。”

該研究可能具有許多實際意義。首先，該方法可以幫助在線識別假圖像。

提出的方法的總體框架。首先將輸入圖像分解成不同的顏色分量，然后計算每個顏色分量的殘差。為了計算共現(xiàn)，組裝R，G和B分量，而獨立地處理H，S，Cb和Cr分量。最后，將所有同現(xiàn)矢量連接起來并饋送到分類器以獲得判定結(jié)果。圖片來源：李等人。

他們的發(fā)現(xiàn)也暗示了現(xiàn)有生成模型尚未有效復(fù)制真實圖像的幾種固有顏色特性。將來，這些知識可用于構(gòu)建能夠生成更逼真圖像的新模型。

最后，他們的研究證明，用于產(chǎn)生真實圖像和生成圖像的不同生成管道反映在所生成圖像的屬性中。顏色分量僅包括這兩種圖像的不同方式之一，因此進(jìn)一步的研究可以集中于其他屬性。

“未來，我們計劃通過將這項研究成果應(yīng)用于圖像生成模型來提高圖像生成性能，”其中一位研究人員表示。“例如，將真實和生成圖像的顏色分量的視差度量包括在GAN模型的目標(biāo)函數(shù)中可以產(chǎn)生更逼真的圖像。我們還將嘗試?yán)脕碜哉鎸崍D像生成管道的其他固有信息，例如傳感器模式噪聲或濾色器陣列的特性，以開發(fā)更有效和穩(wěn)健的方法來識別生成的圖像。“