研究人員找到了用于大規(guī)模腦模擬的算法

一個國際研究小組已經(jīng)朝著創(chuàng)建技術(shù)邁出了決定性的一步，以便在億億級的未來超級計算機上實現(xiàn)大腦網(wǎng)絡(luò)的模擬。發(fā)表于神經(jīng)信息學(xué)前沿的這一突破，允許使用相同數(shù)量的計算機內(nèi)存來表示人類大腦的更大部分。同時，新算法顯著加速了現(xiàn)有超級計算機上的大腦模擬。

人類大腦是一個令人難以置信的復(fù)雜的器官，由1000億個相互關(guān)聯(lián)的神經(jīng)細(xì)胞組成。然而，即使在最強大的超級計算機的幫助下，目前也無法模擬這種大小網(wǎng)絡(luò)中神經(jīng)信號的交換。

“自2014年以來，我們的軟件可以模擬人腦中大約百分之一的神經(jīng)元與它們的所有聯(lián)系，”Jülich神經(jīng)科學(xué)與醫(yī)學(xué)研究所(INM-6)主任Markus Diesmann說。為了實現(xiàn)這一令人印象深刻的壯舉，該軟件需要千萬億次級超級計算機的整個主存儲器，例如Kobe的K計算機和Jülich的JUQUEEN。

Diesmann在仿真軟件NEST上工作了20多年 - 這是一個免費的開源仿真代碼，由神經(jīng)科學(xué)界和歐洲人腦項目的核心模擬器廣泛使用，他負(fù)責(zé)領(lǐng)導(dǎo)以下領(lǐng)域的項目。理論神經(jīng)科學(xué)和高性能分析和計算平臺。

使用NEST，網(wǎng)絡(luò)中每個神經(jīng)元的行為由少數(shù)數(shù)學(xué)方程表示。未來的exascale計算機，例如在Kobe計劃的K后計算機和Jülich的JUWELS，將超過當(dāng)今高端超級計算機的性能10到100倍。研究人員將首次擁有可用于模擬人類大腦神經(jīng)網(wǎng)絡(luò)的計算機功能。

看似死路一條

雖然目前的模擬技術(shù)使研究人員能夠開始研究大型神經(jīng)元網(wǎng)絡(luò)，但它也代表著通往億億次級技術(shù)的死路。超級計算機由大約100,000臺稱為節(jié)點的小型計算機組成，每臺計算機都配備了許多處理器進行實際計算。

“在進行神經(jīng)元網(wǎng)絡(luò)模擬之前，需要虛擬地創(chuàng)建神經(jīng)元及其連接，這意味著它們需要在節(jié)點的內(nèi)存中實例化。在模擬過程中，神經(jīng)元不知道它具有哪個節(jié)點因此，目標(biāo)神經(jīng)元需要將其短電脈沖發(fā)送到所有節(jié)點。然后每個節(jié)點檢查所有這些電脈沖中的哪一個與該節(jié)點上存在的虛擬神經(jīng)元相關(guān)，“KTH皇家理工學(xué)院的Susanne Kunkel解釋說。斯德哥爾摩。

用于網(wǎng)絡(luò)創(chuàng)建的當(dāng)前算法是有效的，因為所有節(jié)點同時構(gòu)建其網(wǎng)絡(luò)的特定部分。然而，將所有電脈沖發(fā)送到所有節(jié)點并不適合在exascale系統(tǒng)上進行仿真。

“有效地檢查每個電脈沖的相關(guān)性需要每個處理器為整個網(wǎng)絡(luò)中的每個神經(jīng)元提供一位信息。對于10億個神經(jīng)元的網(wǎng)絡(luò)，每個節(jié)點中的大部分內(nèi)存僅由這一個信息消耗。每個神經(jīng)元，“Markus Diesmann補充道。

這是模擬更大網(wǎng)絡(luò)時的主要問題：每個神經(jīng)元的額外比特每個處理器所需的計算機內(nèi)存量隨著神經(jīng)網(wǎng)絡(luò)的大小而增加。在人腦的規(guī)模上，這將要求每個處理器可用的存儲器比現(xiàn)在的超級計算機大100倍。然而，在下一代超級計算機中不太可能出現(xiàn)這種情況。每個計算節(jié)點的處理器數(shù)量將增加，但每個處理器的內(nèi)存和計算節(jié)點的數(shù)量將保持不變。

新算法的突破

在神經(jīng)信息學(xué)前沿中發(fā)表的突破是在超級計算機中構(gòu)建神經(jīng)網(wǎng)絡(luò)的一種新方法。由于算法，每個節(jié)點上所需的內(nèi)存不再隨網(wǎng)絡(luò)大小而增加。在模擬開始時，新技術(shù)允許節(jié)點交換有關(guān)誰需要向其發(fā)送神經(jīng)元活動數(shù)據(jù)的信息。一旦獲得該知識，就可以組織節(jié)點之間的神經(jīng)元活動數(shù)據(jù)的交換，使得節(jié)點僅接收其所需的信息。不再需要網(wǎng)絡(luò)中每個神經(jīng)元的附加位。

有益的副作用

在測試他們的新想法時，科學(xué)家們提出了另一個重要的見解，Susanne Kunkel報告說：“在分析新算法時，我們意識到我們的新技術(shù)不僅可以在exascale系統(tǒng)上進行模擬，而且還可以在目前可用的超級計算機上更快地進行模擬“。

事實上，隨著內(nèi)存消耗現(xiàn)在得到控制，模擬速度成為進一步技術(shù)發(fā)展的主要焦點。例如，在Jülich的超級計算機JUQUEEN上運行的5.8萬億個突觸連接的0.52億個神經(jīng)元的大型模擬以前需要28.5分鐘來計算一秒的生物時間。通過改進的數(shù)據(jù)結(jié)構(gòu)模擬，時間縮短為5.2分鐘。

“利用這項新技術(shù)，我們可以比以前更好地利用現(xiàn)代微處理器的并行性，這在億億次級計算機中將變得更加重要，”該研究的第一作者，來自ForschungszentrumJülich的評論說。

Markus Diesmann補充說：“exascale硬件和適當(dāng)?shù)能浖慕Y(jié)合帶來了對大腦功能的基本方面的研究，比如塑性和學(xué)習(xí)在我們能夠?qū)崿F(xiàn)的生物學(xué)時間內(nèi)展開。”

通過模擬軟件NEST 的下一個版本之一，研究人員將把他們的成就作為開源免費提供給社區(qū)。

“我們一直在使用NEST模擬K計算機上健康和帕金森病的基底神經(jīng)節(jié)回路的復(fù)雜動態(tài)。我們很高興聽到新一代NEST的消息，這將使我們能夠運行全腦 - 在K后計算機上進行尺度模擬，以闡明運動控制和心理功能的神經(jīng)機制，“沖繩科學(xué)技術(shù)研究所(OIST)的Kenji Doya說。

“這項研究是建立百億億次計算機的國際合作的一個很好的例子。重要的是我們準(zhǔn)備好應(yīng)用程序，從可用的第一天就可以使用這些珍貴的機器，”RIKEN高級研究所的Mitsuhisa Sato總結(jié)道。神戶計算機科學(xué)專業(yè)。