使用深度學(xué)習(xí)來讀取大腦中正在處理的圖像

來自中國幾家機(jī)構(gòu)的研究團(tuán)隊通過計算機(jī)深入學(xué)習(xí)了解大腦視覺圖像的問題，然后以二維格式再現(xiàn)。arXiv預(yù)印本服務(wù)器上提供了描述其項目的論文，描述了它們的結(jié)果，并將它們與其他嘗試實(shí)現(xiàn)相同目標(biāo)的研究工作進(jìn)行了比較。

想象一臺機(jī)器可以看到你的想法，看到你實(shí)時看到的，然后打印出它的圖片。有一些研究小組致力于解決這個問題，到目前為止，他們已經(jīng)遇到了不太好的結(jié)果?，F(xiàn)在，中國的這個小組已經(jīng)找到了一種方法，通過結(jié)合fMRI 機(jī)器和深度學(xué)習(xí)算法來解決至少一部分問題。

FMRI機(jī)器允許研究人員通過突出血流來觀察大腦的哪些部分被激活。深度學(xué)習(xí)算法在計算機(jī)上運(yùn)行，??通過編譯許多輸入示例和尋找模式來學(xué)習(xí)如何做事。在這項新的努力中，研究人員結(jié)合這兩種技術(shù)來捕捉三維神經(jīng)??活動陣列(他們稱之為體素 - 一種三維建模對象的計算機(jī)術(shù)語)，對視覺刺激作出反應(yīng)，從而揭示出眼睛是什么看到。

為了從體素中捕獲數(shù)據(jù)，研究人員從先前研究人員使用的數(shù)據(jù)庫中獲得了1800個fMRI掃描，這些數(shù)據(jù)庫研究了大腦如何對單個字母的圖像做出反應(yīng)。團(tuán)隊將90%的掃描結(jié)果反饋到深度學(xué)習(xí)算法，該算法消化了信息，并在體素位置，形狀等方面尋找模式。接下來，團(tuán)隊使用剩余的10%掃描來測試系統(tǒng)學(xué)習(xí)的程度正確識別視覺皮層中的體素并重新創(chuàng)建系統(tǒng)隨后打印的初始圖像。

研究人員報告說，他們的技術(shù)是迄今為止最準(zhǔn)確的 - 系統(tǒng)打印的單個字母看起來非常像在fMRI機(jī)器下顯示的人的原始圖像。他們提供了他們的結(jié)果的照片證據(jù)，以及研究人員使用其他技術(shù)制作的原始圖像和圖像。