使用顏色分量中的差異識(shí)別深度網(wǎng)絡(luò)生成的圖像

深圳大學(xué)的研究人員最近設(shè)計(jì)了一種檢測(cè)深度神經(jīng)網(wǎng)絡(luò)生成的圖像的方法。他們的研究預(yù)先發(fā)布在arXiv上，確定了一組捕獲彩色圖像統(tǒng)計(jì)數(shù)據(jù)的功能，可以檢測(cè)使用當(dāng)前人工智能工具生成的圖像。

“我們的研究受到圖像生成模型的快速發(fā)展和生成的假圖像的傳播的啟發(fā)，”進(jìn)行這項(xiàng)研究的研究人員之一Bin Li告訴Tech Xplore。“隨著先進(jìn)圖像生成模型(如生成對(duì)抗網(wǎng)絡(luò)(GAN)和變分自動(dòng)編碼器)的興起，深度網(wǎng)絡(luò)生成的圖像變得越來(lái)越逼真，用人眼識(shí)別它們已經(jīng)不再容易了，這需要嚴(yán)格的安全性。風(fēng)險(xiǎn)“。

最近，一些研究人員和全球媒體平臺(tái)已經(jīng)表達(dá)了他們對(duì)人工神經(jīng)網(wǎng)絡(luò)培養(yǎng)生成圖像所帶來(lái)的風(fēng)險(xiǎn)的擔(dān)憂。例如，諸如生成對(duì)抗網(wǎng)絡(luò)(GAN)和變分自動(dòng)編碼器之類的深度學(xué)習(xí)算法可以用于生成虛假新聞的真實(shí)圖像和視頻，或者可以促進(jìn)在線欺詐和在社交媒體上偽造個(gè)人信息。

通過(guò)試驗(yàn)和錯(cuò)誤過(guò)程訓(xùn)練GAN算法以產(chǎn)生越來(lái)越逼真的圖像，其中一個(gè)算法生成圖像，另一個(gè)算法，鑒別器，提供反饋以使這些圖像更逼真。假設(shè)，該鑒別器也可以被訓(xùn)練以檢測(cè)來(lái)自真實(shí)圖像的假圖像。然而，這些算法主要使用RGB圖像作為輸入，并且不考慮顏色分量的差異，因此它們的性能很可能不令人滿意。

在他們的研究中，Li和他的同事們分析了GAN生成的圖像與真實(shí)圖像之間的差異，提出了一系列可以有效幫助對(duì)其進(jìn)行分類的特征。結(jié)果方法通過(guò)分析真實(shí)圖像和生成圖像之間的顏色分量的差異來(lái)工作。

“我們的基本想法是，真實(shí)圖像和生成圖像的生成管道是完全不同的，因此這兩類圖像應(yīng)該具有一些不同的屬性，”研究人員之一的Haodong Li說(shuō)。“事實(shí)上，它們來(lái)自不同的管道。例如，真實(shí)圖像是由成像設(shè)備(如相機(jī)和掃描儀)生成以捕獲真實(shí)場(chǎng)景，而生成的圖像是以完全不同的方式創(chuàng)建的，其中卷積，連接和激活來(lái)自神經(jīng)網(wǎng)絡(luò)，差異可能導(dǎo)致不同的統(tǒng)計(jì)特性。在這項(xiàng)研究中，我們主要考慮顏色分量的統(tǒng)計(jì)特性“。

研究人員發(fā)現(xiàn)，盡管生成的圖像和真實(shí)圖像在RGB色彩空間中看起來(lái)相似，但它們?cè)贖SV和YCbCr的色度分量中具有明顯不同的統(tǒng)計(jì)特性。他們還觀察到將R，G和B顏色組分組裝在一起時(shí)的差異。

他們提出的特征集，包括從幾個(gè)顏色分量的圖像高通濾波殘差中提取的共現(xiàn)矩陣，利用這些差異，捕獲真實(shí)和生成圖像之間的顏色差異。此功能集尺寸較小，即使在小圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練也可以很好地執(zhí)行。

Li和他的同事在三個(gè)圖像數(shù)據(jù)集上測(cè)試了他們的方法的性能：CelebFaces屬性，高品質(zhì)CelebA和野外Labeled Faces。他們的研究結(jié)果非常有希望，這些特征在所有三個(gè)數(shù)據(jù)集上都表現(xiàn)良好。

“我們研究中最有意義的發(fā)現(xiàn)是，通過(guò)從某些顏色成分中提取特征，可以很容易地檢測(cè)到深層網(wǎng)絡(luò)生成的圖像，盡管生成的圖像在視覺(jué)上可能與人眼無(wú)法區(qū)分，”Haodong Li說(shuō)。“當(dāng)生成的圖像樣本或生成模型可用時(shí)，所提出的配備二元分類器的特征可以有效地區(qū)分生成的圖像和真實(shí)的圖像。當(dāng)生成模型未知時(shí)，所提出的特征與一類分類器一起也可以達(dá)到令人滿意的性能。”

該研究可能具有許多實(shí)際意義。首先，該方法可以幫助在線識(shí)別假圖像。

提出的方法的總體框架。首先將輸入圖像分解成不同的顏色分量，然后計(jì)算每個(gè)顏色分量的殘差。為了計(jì)算共現(xiàn)，組裝R，G和B分量，而獨(dú)立地處理H，S，Cb和Cr分量。最后，將所有同現(xiàn)矢量連接起來(lái)并饋送到分類器以獲得判定結(jié)果。圖片來(lái)源：李等人。

他們的發(fā)現(xiàn)也暗示了現(xiàn)有生成模型尚未有效復(fù)制真實(shí)圖像的幾種固有顏色特性。將來(lái)，這些知識(shí)可用于構(gòu)建能夠生成更逼真圖像的新模型。

最后，他們的研究證明，用于產(chǎn)生真實(shí)圖像和生成圖像的不同生成管道反映在所生成圖像的屬性中。顏色分量?jī)H包括這兩種圖像的不同方式之一，因此進(jìn)一步的研究可以集中于其他屬性。

“未來(lái)，我們計(jì)劃通過(guò)將這項(xiàng)研究成果應(yīng)用于圖像生成模型來(lái)提高圖像生成性能，”其中一位研究人員表示。“例如，將真實(shí)和生成圖像的顏色分量的視差度量包括在GAN模型的目標(biāo)函數(shù)中可以產(chǎn)生更逼真的圖像。我們還將嘗試?yán)脕?lái)自真實(shí)圖像生成管道的其他固有信息，例如傳感器模式噪聲或?yàn)V色器陣列的特性，以開發(fā)更有效和穩(wěn)健的方法來(lái)識(shí)別生成的圖像。“