一個情緒深度對齊網(wǎng)絡 用于對情緒進行分類和可視化

波蘭 - 日本信息技術學院和華沙理工大學的研究人員開發(fā)了一種深度對齊網(wǎng)絡(DAN)模型，用于對情緒進行分類和可視化。他們的方法在兩個基準數(shù)據(jù)集上的表現(xiàn)優(yōu)于最先進的情緒分類方法。

開發(fā)能夠識別和分類人類情感的模型是機器學習和計算機視覺領域的關鍵挑戰(zhàn)。大多數(shù)現(xiàn)有的情緒識別工具使用多層卷積網(wǎng)絡，其在分類階段沒有明確地推斷面部特征。

進行最近研究的研究人員Ivona Tautkute和Tomasz Trzcinski最初正在為一家位于加利福尼亞州的初創(chuàng)公司開發(fā)一個系統(tǒng)，該系統(tǒng)可以集成到自動駕駛汽車中。該系統(tǒng)能夠根據(jù)從安裝在汽車內(nèi)部的單個攝像機提取的數(shù)據(jù)對乘客進行計數(shù)。

在稍后階段，兩位研究人員開始探索可能做得更多的模型，通過估計他們的年齡和性別來創(chuàng)建更廣泛的乘客統(tǒng)計數(shù)據(jù)。這個系統(tǒng)的一個明顯的擴展是它也可以檢測面部表情和情緒。

“由于該系統(tǒng)將用于老年乘客，因此捕捉與駕駛員脫離相關的負面和積極情緒非常重要，”Tautkute解釋說。“現(xiàn)有的情感識別方法遠非完美，所以我們開始尋找有趣的新方法來改進。在與計算機視覺研究員Marek Kowalski討論之后，我們想到了一個想法，他正在與深度對齊網(wǎng)絡進行面部對齊(DAN)。面部地標的位置與表達的情感直接相關，因此我們很好奇我們是否可以建立一個將這兩個任務結(jié)合起來的系統(tǒng)。“

由Tautkute和Trzcinski設計的模型 EmotionalDAN 是Kowalski的DAN模型的改編版，其中包括與面部特征相關的術語。由于這種修改，他們的模型同時學習了面部地標和表達情感的位置。

“我們通過一個負責情緒分類的術語擴展了原來DAN的損失功能來實現(xiàn)這一目標，”Tautkute說。“神經(jīng)網(wǎng)絡在連續(xù)階段進行訓練，可以改善面部地標和學習情緒。階段之間還有信息傳遞，跟蹤標準化的面部輸入，特征地圖和地標熱圖。”

在初步評估中，EmotionalDAN 在兩個基準數(shù)據(jù)集(即CK +和ISED)上的表現(xiàn)優(yōu)于最先進的分類方法 5%。在做出決定時，研究人員還能夠通過模型分析圖像區(qū)域。他們的觀察表明，EmotionalDAN可以正確識別與人類情緒表達相關的面部標志。

“我們的研究真正有趣的是，即使我們不向網(wǎng)絡提供任何與情緒相關的空間信息，該模型也能夠自己學習在嘗試理解面部表情時應該看到哪些區(qū)域，”Tautkute說過。“我們?nèi)祟愔庇^地看著一個人的眼睛和嘴巴注意到微笑或悲傷，但神經(jīng)網(wǎng)絡只能看到一個像素矩陣。驗證哪些圖像區(qū)域被激活用于給定的分類決策使我們更接近理解模型及其如何做出決定。“

盡管EmotionalDAN和其他情感識別工具取得了非常有希望的結(jié)果，但理解人類情感仍然是一項非常復雜的任務。雖然現(xiàn)有系統(tǒng)已經(jīng)取得了顯著的成果，但是當情緒在很大程度上得到表達時，它們主要能夠這樣做。

然而，在現(xiàn)實生活中，人類表達的情感線索往往更微妙。例如，一個人的幸?？赡懿⒉豢偸峭ㄟ^以寬闊的笑容展示所有牙齒來傳達，但可能僅僅需要唇角的輕微移動。

“了解情感的更多主觀方面以及他們的表達在個體之間的差異將會非常有趣，”Tautkute說。“為了更進一步，人們可以嘗試將假情緒與真實情緒區(qū)分開來。例如，神經(jīng)科醫(yī)生說不同的面部肌肉涉及真實和假的微笑。特別是，眼睛肌肉在強迫表達中不收縮。這將是有趣的是使用從數(shù)據(jù)中學習的信息發(fā)現(xiàn)類似的關系。“