使用機(jī)器學(xué)習(xí)為廣告生成有說(shuō)服力的面孔

匹茲堡大學(xué)的研究人員最近開發(fā)了一種條件變分自動(dòng)編碼器，可以為廣告制作獨(dú)特的面孔。他們的研究以他們以前的工作為基礎(chǔ)，探索了更好地理解廣告的自動(dòng)化方法。

“在我們過(guò)去的項(xiàng)目中，我們想看看機(jī)器是否可以解碼廣告中發(fā)現(xiàn)的復(fù)雜的視覺(jué)修辭，”進(jìn)行這項(xiàng)研究的研究人員之一Christopher Thomas告訴Tech Xplore。“廣告包含雙關(guān)語(yǔ)，隱喻和其他有說(shuō)服力的修辭設(shè)備，這些都很難讓機(jī)器理解。在本文中，我們不僅想了解廣告，而且還希望了解這些有說(shuō)服力的內(nèi)容是否可以由計(jì)算機(jī)自動(dòng)生成。 “

廣告業(yè)的主要任務(wù)是使用有說(shuō)服力的語(yǔ)言和圖像來(lái)宣傳產(chǎn)品或傳達(dá)想法。面孔是廣告的一個(gè)關(guān)鍵方面，通常根據(jù)所宣傳的產(chǎn)品和傳達(dá)的信息進(jìn)行不同的描繪。

托馬斯與他的同事阿德里亞娜·科瓦什卡(Adriana Kovashka)合作，利用機(jī)器學(xué)習(xí)來(lái)產(chǎn)生有說(shuō)服力的面孔，這些面孔適用于不同類型的廣告。他們使用條件變分自動(dòng)編碼器，或“生成模型”，機(jī)器學(xué)習(xí)模型，學(xué)習(xí)生成類似于它訓(xùn)練的合成數(shù)據(jù)。

“在計(jì)算機(jī)視覺(jué)中，自動(dòng)編碼器通過(guò)拍攝圖像并學(xué)習(xí)將圖像表示為少數(shù)數(shù)字來(lái)工作，”托馬斯說(shuō)。“然后，模型的第二部分，即解碼器，學(xué)習(xí)如何獲取這些數(shù)字并從中再現(xiàn)原始圖像。您幾乎可以將其視為一種壓縮形式，其中大圖像由幾個(gè)數(shù)字表示。 “

當(dāng)這種類型的機(jī)器學(xué)習(xí)模型在足夠大的數(shù)據(jù)集上訓(xùn)練時(shí)，它開始表示數(shù)字內(nèi)的語(yǔ)義方面。例如，在Thomas和Kovashka開發(fā)的模型中，一個(gè)數(shù)字可以控制面部的形狀，另一個(gè)數(shù)字可以控制皮膚的陰影，以及其他語(yǔ)義特征。

但是，如果研究人員希望該模型能夠捕獲一個(gè)人是否戴著眼鏡，但是訓(xùn)練數(shù)據(jù)集中沒(méi)有足夠的帶眼鏡的人的照片，那么在重建圖像時(shí)這個(gè)屬性就會(huì)丟失。因此，他們開發(fā)了一個(gè)條件自動(dòng)編碼器，這意味著他們可以將其他數(shù)字添加到它沒(méi)有單獨(dú)獲取的模型中，表示可能與特定廣告相關(guān)的語(yǔ)義特征。

“這很酷的部分是，一旦我們訓(xùn)練模型代表100個(gè)數(shù)字的面孔，如果我們改變其中一些數(shù)字并”解碼“它們，我們就可以改變面貌，”托馬斯說(shuō)。“因此，我們可以改變現(xiàn)有的面部，使它們看起來(lái)相同，但具有不同的屬性，例如眼鏡，微笑或不微笑等，只需改變我們的模型用來(lái)表示它們的一些數(shù)字。”

訓(xùn)練計(jì)算機(jī)視覺(jué)的生成模型可能是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，需要大型圖像數(shù)據(jù)集，并且在對(duì)諸如廣告等非常多樣化的數(shù)據(jù)進(jìn)行培訓(xùn)時(shí)經(jīng)常會(huì)失敗。Thomas和Kovashka通過(guò)使用需要較少數(shù)據(jù)的自動(dòng)編碼器來(lái)克服這些限制，并且可以應(yīng)對(duì)廣告中發(fā)現(xiàn)的相當(dāng)大的差異。

“盡管如此，因?yàn)闆](méi)有足夠的數(shù)據(jù)，它并不總能捕捉我們想要的概念，”托馬斯說(shuō)。“因此，我們故意將語(yǔ)義注入其表示中，從而顯著改善了結(jié)果。”

他們的調(diào)查結(jié)果表明，未來(lái)廣告客戶將能夠制作針對(duì)個(gè)人客戶量身定制的定制廣告。例如，他們可以生成具有與觀看者的面部特征匹配的面部特征的面部，以便他們與主體識(shí)別更多。

“這種自動(dòng)，細(xì)粒度的廣告定制可能對(duì)在線廣告商產(chǎn)生巨大影響，”托馬斯說(shuō)。“此外，不希望為廣告投放額外模型或進(jìn)行手動(dòng)編輯的廣告客戶可以將現(xiàn)有面孔從其他廣告轉(zhuǎn)換為適合其廣告類型的面孔。”

研究人員現(xiàn)在正在探索如何改進(jìn)生成的圖像，使其與使用大量數(shù)據(jù)生成的圖像質(zhì)量相匹配。要做到這一點(diǎn)，他們需要設(shè)計(jì)其他生成模型，這些模型在對(duì)高度變化和有限的數(shù)據(jù)進(jìn)行培訓(xùn)時(shí)更加健壯。

“另一種可能的研究方向是生成除了面孔之外的其他物品，甚至生成有意義且有趣的整個(gè)廣告，”托馬斯說(shuō)。“這需要開發(fā)新技術(shù)，在生成框架中對(duì)修辭結(jié)構(gòu)進(jìn)行建模，并結(jié)合文本理解和生成。”