腦啟發(fā)算法幫助AI系統(tǒng)實(shí)現(xiàn)多任務(wù)和記憶

在今天的大多數(shù)人工智能技術(shù)背后，從自動駕駛汽車到面部識別和虛擬助手，都是人工神經(jīng)網(wǎng)絡(luò)。雖然松散地基于神經(jīng)元在大腦中的通信方式，但這些“深度學(xué)習(xí)”系統(tǒng)仍然無法實(shí)現(xiàn)對靈長類動物和其他生物必不可少的許多基本功能。

然而，芝加哥大學(xué)神經(jīng)科學(xué)家的一項(xiàng)新研究發(fā)現(xiàn)，適應(yīng)眾所周知的大腦機(jī)制可以顯著提高人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多項(xiàng)任務(wù)的能力，并避免持續(xù)的AI挑戰(zhàn)“災(zāi)難性遺忘”。該研究發(fā)表在美國國家科學(xué)院院刊上，提供了一個獨(dú)特的例子，說明神經(jīng)科學(xué)研究如何為新的計(jì)算機(jī)科學(xué)策略提供信息，相反，AI技術(shù)如何幫助科學(xué)家更好地理解人類大腦。

當(dāng)結(jié)合先前報(bào)道的用于穩(wěn)定人工神經(jīng)網(wǎng)絡(luò)中的突觸連接的方法時，新算法允許單個人工神經(jīng)網(wǎng)絡(luò)以最小的精度損失來學(xué)習(xí)和執(zhí)行數(shù)百個任務(wù)，從而可能實(shí)現(xiàn)更強(qiáng)大和有效的AI技術(shù)。

“直觀地說，你可能認(rèn)為你希望網(wǎng)絡(luò)知道的任務(wù)越多，網(wǎng)絡(luò)可能就越大，”UChicago神經(jīng)生物學(xué)教授David Freedman說。“但是大腦認(rèn)為可能有一種有效的方法可以將大量知識打包到一個相當(dāng)小的網(wǎng)絡(luò)中。當(dāng)你看到大腦中涉及更高認(rèn)知功能的部分時，你往往會發(fā)現(xiàn)相同的區(qū)域，甚至是相同的細(xì)胞，參與許多不同的功能。這個想法是從大腦的作用中汲取靈感，以便用神經(jīng)網(wǎng)絡(luò)解決挑戰(zhàn)。“

在人工神經(jīng)網(wǎng)絡(luò)中，“災(zāi)難性遺忘”指的是教導(dǎo)系統(tǒng)執(zhí)行新技能而不丟失先前學(xué)習(xí)的功能的困難。例如，如果最初訓(xùn)練以區(qū)分狗和貓的照片的網(wǎng)絡(luò)然后被重新訓(xùn)練以區(qū)分狗和馬，它將失去其早期的能力。

“如果你展示一個訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)是一項(xiàng)新任務(wù)，它將完全忘記它以前的任務(wù)，”AB'18的格雷戈里格蘭特說，他現(xiàn)在是弗里德曼實(shí)驗(yàn)室的研究員。“它說，'我不需要那些信息'，并覆蓋它。這是災(zāi)難性的遺忘。它發(fā)生得很快;只需幾次迭代，你的上一個任務(wù)就可以完全消失。”

相比之下，即使相同的神經(jīng)元用于多個任務(wù)，大腦也能夠“不斷學(xué)習(xí)”，獲取新知識而不消除舊記憶。大腦用于這種學(xué)習(xí)挑戰(zhàn)的一種策略是針對不同任務(wù)選擇性激活細(xì)胞或細(xì)胞組分 - 基本上為每種個體技能或在不同環(huán)境下打開較小的，重疊的子網(wǎng)絡(luò)。

UChicago研究人員通過他們稱為“依賴于上下文的門控”的算法將這種神經(jīng)科學(xué)機(jī)制應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)。對于每個學(xué)到的新任務(wù)，只激活一個隨機(jī)20%的神經(jīng)網(wǎng)絡(luò)。在對數(shù)百個不同任務(wù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練之后，單個節(jié)點(diǎn)可能涉及數(shù)十個操作，但每個技能都有一組唯一的對等節(jié)點(diǎn)。

結(jié)合以前由Google和斯坦福大學(xué)研究人員開發(fā)的方法，依賴于上下文的門控允許網(wǎng)絡(luò)學(xué)習(xí)多達(dá)500個任務(wù)，但準(zhǔn)確度只有很小的降低。

“這種簡單的工作做得有點(diǎn)令人驚訝，”Freedman實(shí)驗(yàn)室的博士后研究員Nicolas Masse說。“但是通過這種方法，一個相當(dāng)中等規(guī)模的網(wǎng)絡(luò)可以被分割成一堆方法，以便能夠在正確完成后學(xué)習(xí)許多不同的任務(wù)。”

因此，該方法可能在不斷發(fā)展的人工智能行業(yè)具有巨大潛力，其中開發(fā)自動駕駛汽車，機(jī)器人技術(shù)和其他智能技術(shù)的公司需要將復(fù)雜的學(xué)習(xí)能力打包到消費(fèi)級計(jì)算機(jī)中。UChicago團(tuán)隊(duì)目前正與Polsky創(chuàng)業(yè)與創(chuàng)新中心合作，探索該算法的商業(yè)化選擇。

計(jì)算研究還有益于實(shí)驗(yàn)室最初的重點(diǎn)是通過記錄動物學(xué)習(xí)和行為的活動來更好地理解靈長類大腦。研究人員說，在計(jì)算機(jī)中實(shí)現(xiàn)學(xué)習(xí)，注意力，感官處理和其他功能的建模和測試策略可以激發(fā)和建議新的生物實(shí)驗(yàn)，探索自然和人工智能的機(jī)制。

“將這一研究成果添加到實(shí)驗(yàn)室中，確實(shí)為我們開啟了很多大門，讓我們能夠考慮新的問題，新的神經(jīng)科學(xué)主題以及我們目前無法通過實(shí)驗(yàn)技術(shù)解決的問題。我們可以在實(shí)驗(yàn)室里找到，“弗里德曼說。“我們希望這是實(shí)驗(yàn)室中更多工作的起點(diǎn)，既可以確定這些原則，又可以幫助創(chuàng)建人工網(wǎng)絡(luò)，繼續(xù)學(xué)習(xí)并利用先前的知識。”