使用消融來(lái)檢查人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

亞琛工業(yè)大學(xué)機(jī)械工程信息管理研究所的一組研究人員最近探索了神經(jīng)科學(xué)技術(shù)的使用，以確定人工神經(jīng)網(wǎng)絡(luò)(ANNs)中信息的結(jié)構(gòu)。在他們的論文中，預(yù)先發(fā)表在arXiv上，研究人員應(yīng)用了一種稱為消融的技術(shù)，該技術(shù)需要在神經(jīng)網(wǎng)絡(luò)架構(gòu)上切除部分大腦以確定其功能。

“我們的想法受到神經(jīng)科學(xué)領(lǐng)域研究的啟發(fā)，其中一個(gè)主要目標(biāo)是了解我們的大腦是如何工作的，”兩位研究人員Richard Meyes和Tobias Meisen通過(guò)電子郵件告訴TechXplore。“在消融研究中發(fā)現(xiàn)了許多關(guān)于大腦功能的見(jiàn)解，這種方法是大腦的特定部分以受控方式受到嚴(yán)重?fù)p害，影響大腦執(zhí)行日常任務(wù)的能力，例如產(chǎn)生言語(yǔ)或動(dòng)作。”

Meyes，Meisen和他們的同事Peter Lillian進(jìn)行的這項(xiàng)研究的目的是從生物學(xué)角度審視人工神經(jīng)網(wǎng)絡(luò)，評(píng)估其結(jié)構(gòu)和不同組成部分的功能。他們決定使用消融技術(shù)做到這一點(diǎn)，這是一項(xiàng)在神經(jīng)科學(xué)研究中使用的技術(shù)已有二百多年了。

基本上，消融包括選擇性地去除或破壞大腦特定區(qū)域的組織，其唯一目的是觀察這種損傷的行為影響，從而更好地理解這些區(qū)域的功能。在幾項(xiàng)研究中已經(jīng)對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了消融，但這些研究主要集中在調(diào)整網(wǎng)絡(luò)層并改變其結(jié)構(gòu)，因此更像是參數(shù)搜索而非生物消融。

圖片來(lái)源：Lillian，Meyes和Meisen。

在他們的研究中，研究人員希望破壞人工神經(jīng)網(wǎng)絡(luò)的各個(gè)部分并觀察它們?nèi)绾斡绊懰麄兊谋憩F(xiàn)。最終，他們希望利用這些觀察結(jié)果來(lái)比較人工神經(jīng)網(wǎng)絡(luò)的組織與生物神經(jīng)網(wǎng)絡(luò)的組織。

“人工神經(jīng)網(wǎng)絡(luò)(ANNs)消融背后的想法很簡(jiǎn)單，”Meyes和Meisen解釋道。“首先，我們訓(xùn)練網(wǎng)絡(luò)執(zhí)行特定任務(wù)，例如識(shí)別手寫數(shù)字。其次，我們切斷了網(wǎng)絡(luò)的一小部分，并評(píng)估網(wǎng)絡(luò)性能如何因損壞而發(fā)生變化。第三，我們確定是否存在損壞損壞部分的位置與其對(duì)網(wǎng)絡(luò)性能的影響之間的關(guān)系。這樣，我們發(fā)現(xiàn)網(wǎng)絡(luò)的特定能力，例如執(zhí)行受控機(jī)器人的前向運(yùn)動(dòng)，是局部表示的并且可以有目的地被破壞。 “

通過(guò)消除訓(xùn)練有素的人工神經(jīng)網(wǎng)絡(luò)導(dǎo)航線圈并檢查這些干預(yù)措施如何影響他們的輸出，研究人員收集了許多有趣的發(fā)現(xiàn)，表明人工和生物網(wǎng)絡(luò)之間確實(shí)存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡(luò)如何自我安排以及如何存儲(chǔ)信息有關(guān)。

刪除每個(gè)消融組時(shí)，將保存不包含該組的輸出。在對(duì)每組進(jìn)行消融后，研究人員最終得到了一個(gè)輸出列表，顯示了網(wǎng)絡(luò)部件移除后網(wǎng)

“我們最有趣的發(fā)現(xiàn)是觀察到網(wǎng)絡(luò)損壞的性能通常會(huì)降低，而網(wǎng)絡(luò)的非常具體的能力，例如識(shí)別特定數(shù)字，可以通過(guò)破壞特定部分來(lái)增強(qiáng)，”Meyes和Meisen說(shuō)。“我們的研究表明神經(jīng)網(wǎng)絡(luò)的表現(xiàn)可以通過(guò)在正確的區(qū)域仔細(xì)破壞它來(lái)增加。此外，我們的研究表明神經(jīng)科學(xué)方法在人工神經(jīng)網(wǎng)絡(luò)中的應(yīng)用可能為理解人工智能開辟了新的視角。”

盡管Meyes，Meisen和Lillian收集了令人著迷的結(jié)果，但他們的研究有一些局限性，僅僅是檢查生物和人工神經(jīng)網(wǎng)絡(luò)之間聯(lián)系的第一步。例如，他們的實(shí)驗(yàn)受限于強(qiáng)化學(xué)習(xí)的使用，并依賴于實(shí)時(shí)機(jī)器人訓(xùn)練的模型。未來(lái)的研究可以更詳細(xì)和更大規(guī)模地檢查人工神經(jīng)網(wǎng)絡(luò)與大腦網(wǎng)絡(luò)之間的相似性。

“我們現(xiàn)在計(jì)劃繼續(xù)探索我們關(guān)于進(jìn)行神經(jīng)科學(xué)啟發(fā)人工神經(jīng)網(wǎng)絡(luò)研究的總體思路，”Meyes和Meisen說(shuō)。“我們接下來(lái)的步驟之一就是可視化人工神經(jīng)網(wǎng)絡(luò)中的活動(dòng)，就像大腦活動(dòng)可以通過(guò)fMRI等成像方法可視化一樣。我們的目標(biāo)是使人工神經(jīng)網(wǎng)絡(luò)的決策過(guò)程更加透明，并在人工智能中獲得新的視角。一般。”