一個(gè)情緒深度對(duì)齊網(wǎng)絡(luò) 用于對(duì)情緒進(jìn)行分類(lèi)和可視化

波蘭 - 日本信息技術(shù)學(xué)院和華沙理工大學(xué)的研究人員開(kāi)發(fā)了一種深度對(duì)齊網(wǎng)絡(luò)(DAN)模型，用于對(duì)情緒進(jìn)行分類(lèi)和可視化。他們的方法在兩個(gè)基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)優(yōu)于最先進(jìn)的情緒分類(lèi)方法。

開(kāi)發(fā)能夠識(shí)別和分類(lèi)人類(lèi)情感的模型是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵挑戰(zhàn)。大多數(shù)現(xiàn)有的情緒識(shí)別工具使用多層卷積網(wǎng)絡(luò)，其在分類(lèi)階段沒(méi)有明確地推斷面部特征。

進(jìn)行最近研究的研究人員Ivona Tautkute和Tomasz Trzcinski最初正在為一家位于加利福尼亞州的初創(chuàng)公司開(kāi)發(fā)一個(gè)系統(tǒng)，該系統(tǒng)可以集成到自動(dòng)駕駛汽車(chē)中。該系統(tǒng)能夠根據(jù)從安裝在汽車(chē)內(nèi)部的單個(gè)攝像機(jī)提取的數(shù)據(jù)對(duì)乘客進(jìn)行計(jì)數(shù)。

在稍后階段，兩位研究人員開(kāi)始探索可能做得更多的模型，通過(guò)估計(jì)他們的年齡和性別來(lái)創(chuàng)建更廣泛的乘客統(tǒng)計(jì)數(shù)據(jù)。這個(gè)系統(tǒng)的一個(gè)明顯的擴(kuò)展是它也可以檢測(cè)面部表情和情緒。

“由于該系統(tǒng)將用于老年乘客，因此捕捉與駕駛員脫離相關(guān)的負(fù)面和積極情緒非常重要，”Tautkute解釋說(shuō)。“現(xiàn)有的情感識(shí)別方法遠(yuǎn)非完美，所以我們開(kāi)始尋找有趣的新方法來(lái)改進(jìn)。在與計(jì)算機(jī)視覺(jué)研究員Marek Kowalski討論之后，我們想到了一個(gè)想法，他正在與深度對(duì)齊網(wǎng)絡(luò)進(jìn)行面部對(duì)齊(DAN)。面部地標(biāo)的位置與表達(dá)的情感直接相關(guān)，因此我們很好奇我們是否可以建立一個(gè)將這兩個(gè)任務(wù)結(jié)合起來(lái)的系統(tǒng)。“

由Tautkute和Trzcinski設(shè)計(jì)的模型 EmotionalDAN 是Kowalski的DAN模型的改編版，其中包括與面部特征相關(guān)的術(shù)語(yǔ)。由于這種修改，他們的模型同時(shí)學(xué)習(xí)了面部地標(biāo)和表達(dá)情感的位置。

“我們通過(guò)一個(gè)負(fù)責(zé)情緒分類(lèi)的術(shù)語(yǔ)擴(kuò)展了原來(lái)DAN的損失功能來(lái)實(shí)現(xiàn)這一目標(biāo)，”Tautkute說(shuō)。“神經(jīng)網(wǎng)絡(luò)在連續(xù)階段進(jìn)行訓(xùn)練，可以改善面部地標(biāo)和學(xué)習(xí)情緒。階段之間還有信息傳遞，跟蹤標(biāo)準(zhǔn)化的面部輸入，特征地圖和地標(biāo)熱圖。”

在初步評(píng)估中，EmotionalDAN 在兩個(gè)基準(zhǔn)數(shù)據(jù)集(即CK +和ISED)上的表現(xiàn)優(yōu)于最先進(jìn)的分類(lèi)方法 5%。在做出決定時(shí)，研究人員還能夠通過(guò)模型分析圖像區(qū)域。他們的觀察表明，EmotionalDAN可以正確識(shí)別與人類(lèi)情緒表達(dá)相關(guān)的面部標(biāo)志。

“我們的研究真正有趣的是，即使我們不向網(wǎng)絡(luò)提供任何與情緒相關(guān)的空間信息，該模型也能夠自己學(xué)習(xí)在嘗試?yán)斫饷娌勘砬闀r(shí)應(yīng)該看到哪些區(qū)域，”Tautkute說(shuō)過(guò)。“我們?nèi)祟?lèi)直觀地看著一個(gè)人的眼睛和嘴巴注意到微笑或悲傷，但神經(jīng)網(wǎng)絡(luò)只能看到一個(gè)像素矩陣。驗(yàn)證哪些圖像區(qū)域被激活用于給定的分類(lèi)決策使我們更接近理解模型及其如何做出決定。“

盡管EmotionalDAN和其他情感識(shí)別工具取得了非常有希望的結(jié)果，但理解人類(lèi)情感仍然是一項(xiàng)非常復(fù)雜的任務(wù)。雖然現(xiàn)有系統(tǒng)已經(jīng)取得了顯著的成果，但是當(dāng)情緒在很大程度上得到表達(dá)時(shí)，它們主要能夠這樣做。

然而，在現(xiàn)實(shí)生活中，人類(lèi)表達(dá)的情感線索往往更微妙。例如，一個(gè)人的幸?？赡懿⒉豢偸峭ㄟ^(guò)以寬闊的笑容展示所有牙齒來(lái)傳達(dá)，但可能僅僅需要唇角的輕微移動(dòng)。

“了解情感的更多主觀方面以及他們的表達(dá)在個(gè)體之間的差異將會(huì)非常有趣，”Tautkute說(shuō)。“為了更進(jìn)一步，人們可以嘗試將假情緒與真實(shí)情緒區(qū)分開(kāi)來(lái)。例如，神經(jīng)科醫(yī)生說(shuō)不同的面部肌肉涉及真實(shí)和假的微笑。特別是，眼睛肌肉在強(qiáng)迫表達(dá)中不收縮。這將是有趣的是使用從數(shù)據(jù)中學(xué)習(xí)的信息發(fā)現(xiàn)類(lèi)似的關(guān)系。“