卷積網絡 用于對齊和預測情緒注釋

耶魯研究人員報告說，機器學習技術可以比傳統(tǒng)方法更好地預測接受經皮冠狀動脈介入治療(PCI)的患者的出血風險。

研究小組使用機器學習分析了2009年至2015年心臟病學會(ACC)心血管數據登記處(NCDR)的數據，機器學習是人工智能的一個分支，能夠通過推斷數據模式來執(zhí)行任務。該數據庫包括在各地的醫(yī)院進行的300多萬個程序。該團隊發(fā)現(xiàn)，機器學習分析改善了PCI術后出血風險的預測(通常用于打開因斑塊積聚而縮小的血管)，這可以更好地為患者和醫(yī)生的決策提供信息。

“我們發(fā)現(xiàn)機器學習可能使我們能夠比傳統(tǒng)方法更好地提高我們預測風險的能力，”耶魯大學心臟病專家兼耶魯紐黑文醫(yī)院成果研究與評估中心(CORE)主任Harlan Krumholz博士說。“重要的是，關鍵在于如何在分析開始之前處理有關患者的信息。未來這些技術將使我們能夠在更大程度上個性化估計。”

該團隊包括臨床醫(yī)生，臨床科學家和數據科學家。該研究是首批將機器學習應用于ACC大規(guī)模注冊的研究之一。CORE是心血管計算健康研究所ACC的合作伙伴，該項目是該合作的首批產品之一。

能夠識別和預測人類情感的機器學習模型在過去幾年中變得越來越流行。然而，為了使大多數這些技術表現(xiàn)良好，用于訓練它們的數據首先由人類受試者注釋。此外，情緒會隨著時間的推移而不斷變化，這使得視頻或錄音的注釋特別具有挑戰(zhàn)性，通常會導致標簽和錄音之間出現(xiàn)差異。

為了解決這一局限，密歇根大學的研究人員最近開發(fā)了一種新的卷積神經網絡，可以同時以端到端的方式對齊和預測情緒注釋。他們在IEEE Transactions on Affective Computing上發(fā)表的一篇論文中介紹了他們的技術，稱為多延遲同步(MDS)網絡。

“情緒在時間上不斷變化;它在我們的談話中消退和流動”Emily Mower Provost，開展這項研究的研究人員之一告訴TechXplore。“在工程學中，我們經常使用情感的連續(xù)描述來衡量情緒的變化。然后我們的目標就是從言語中預測這些連續(xù)的測量。但是有一個問題。使用連續(xù)情感描述的最大挑戰(zhàn)之一是它要求我們的標簽在時間上不斷變化。這是由人類注釋器團隊完成的。但是，人們不是機器。“

正如Mower Provost接著解釋的那樣，人類注釋者有時可以更加適應特定的情感線索(例如，笑聲)，但卻忽略了其他線索背后的含義(例如，憤怒的嘆息)。除此之外，人類可能需要一些時間來處理錄音，因此，他們對情緒線索的反應有時會被延遲。因此，連續(xù)情緒標簽可能會出現(xiàn)很多變化，有時會與數據中的語音不對齊。

在他們的研究中，Mower Provost和她的同事直接解決了這些挑戰(zhàn)，重點關注兩種連續(xù)的情緒測量：積極性(效價)和能量(激活/喚醒)。他們引入了多延遲同步網絡，這是一種處理語音和連續(xù)注釋之間錯位的新方法，它對不同類型的聲學線索做出不同反應。

“情緒的時間連續(xù)維度描述(例如，覺醒，效價)提供了關于短時間變化和情緒表達的長期趨勢的詳細信息，”參與該研究的另一位研究員Soheil Khorram告訴TechXplore。“我們研究的主要目標是開發(fā)一種能夠從語音信號中估計時間連續(xù)的維度情感的自動情緒識別系統(tǒng)。該系統(tǒng)可以在不同的領域包括許多實際應用，包括人機交互，電子學習，市場營銷，醫(yī)療保健，和法律。“

由Mower Provost，Khorram及其同事開發(fā)的卷積網絡有兩個關鍵部分，一個用于情緒預測，一個用于對齊。情緒預測組件是訓練用于識別聲學特征和情緒標簽之間的關系的常見卷積體系結構。

另一方面，對準組件是由研究人員引入的新層(即延遲同步層)，其將可學習的時移應用于聲學信號。研究人員通過合并這些層中的幾個來補償延遲的變化。

“開發(fā)用于從語音中預測時間連續(xù)情緒標簽的自動系統(tǒng)的一個重要挑戰(zhàn)是這些標簽通常與輸入語音不同步，”Khorram解釋說。“這主要是由于反應時間引起的延遲，這是人類評估所固有的。與其他方法相比，我們的卷積神經網絡能夠以端到端的方式同時對齊和預測標簽。同步網絡利用現(xiàn)代深度學習架構中的傳統(tǒng)信號處理概念(即同步過濾)來處理反應延遲問題。“

研究人員使用兩個公開可用的數據集，即RECOLA和SEWA數據集，在一系列實驗中評估了他們的技術。他們發(fā)現(xiàn)在訓練情緒識別模型時補償注釋者的反應延遲導致模型的情緒識別準確性得到顯著改善。

他們還觀察到，在定義連續(xù)情感標簽時，注釋器的反應延遲通常不超過7.5秒。最后，他們的研究結果表明，與其他情緒線索相比，包含笑聲的詞性通常需要較小的延遲成分。換句話說，注釋者通常更容易在包括笑聲的語音段中定義情感標簽。

“情感無處不在，它是我們溝通的核心，”Mower Provost說。“我們正在建立強大而通用的情感識別系統(tǒng)，以便人們可以輕松訪問和使用這些信息。這一目標的一部分是通過創(chuàng)建能夠有效使用大型外部數據源的算法來實現(xiàn)的，無論是否標記，以及通過有效地建模自然動態(tài)是我們情感交流的一部分。另一部分是通過理解標簽本身固有的所有復雜性來實現(xiàn)的。“

雖然Mower Provost，Khorram及其同事將他們的技術應用于情感識別任務，但它也可用于增強其他輸入和輸出不完全一致的機器學習應用。在他們未來的工作中，研究人員計劃繼續(xù)研究人類注釋器產生的情感標簽可以有效地整合到數據中的方式。

“我們使用同步濾波器來逼近Dirac delta函數并補償延遲。但是，也可以使用其他函數，如高斯和三角函數，而不是同步內核，”Khorram說。“我們未來的工作將探索使用可以逼近Dirac delta函數的不同類型的內核的效果。此外，在本文中我們專注于預測連續(xù)情緒注釋的語音模態(tài)，而提出的多延遲同步網絡是合理的其他輸入模式的建模技術。未來的另一個計劃是評估所提出的網絡相對于其他生理和行為模式的表現(xiàn)，例如：視頻，肢體語言和腦電圖。