芯片設(shè)計(jì)大大減少了用光計(jì)算所需的能量

麻省理工學(xué)院的研究人員開(kāi)發(fā)出一種新型“光子”芯片，它使用光而不是電 - 并且在此過(guò)程中消耗相對(duì)較少的功率。該芯片可用于處理大規(guī)模神經(jīng)網(wǎng)絡(luò)的效率比現(xiàn)有的計(jì)算機(jī)高出數(shù)百萬(wàn)倍。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)模型，廣泛用于諸如機(jī)器人對(duì)象識(shí)別，自然語(yǔ)言處理，藥物開(kāi)發(fā)，醫(yī)學(xué)成像和為無(wú)人駕駛汽車供電等任務(wù)。使用光學(xué)現(xiàn)象加速計(jì)算的新型光學(xué)神經(jīng)網(wǎng)絡(luò)可以比其電子對(duì)應(yīng)物更快更有效地運(yùn)行。

但隨著傳統(tǒng)和光學(xué)神經(jīng)網(wǎng)絡(luò)變得越來(lái)越復(fù)雜，它們消耗了大量的能量。為了解決這個(gè)問(wèn)題，研究人員和主要技術(shù)公司 - 包括谷歌，IBM和特斯拉 - 開(kāi)發(fā)了“AI加速器”專用芯片，可提高培訓(xùn)和測(cè)試神經(jīng)網(wǎng)絡(luò)的速度和效率。

對(duì)于電氣芯片，包括大多數(shù)AI加速器，存在理論上的能耗最小限制。最近，麻省理工學(xué)院的研究人員開(kāi)始開(kāi)發(fā)用于光學(xué)神經(jīng)網(wǎng)絡(luò)的光子加速器。這些芯片更有效地執(zhí)行數(shù)量級(jí)，但它們依賴于一些龐大的光學(xué)組件，這些組件限制了它們?cè)谙鄬?duì)較小的神經(jīng)網(wǎng)絡(luò)中的使用。

在物理評(píng)論X 發(fā)表的 一篇論文中 ，麻省理工學(xué)院的研究人員描述了一種新的光子加速器，它使用更緊湊的光學(xué)元件和光信號(hào)處理技術(shù)，大大降低了功耗和芯片面積。這使得芯片能夠擴(kuò)展到比其對(duì)應(yīng)物大幾個(gè)數(shù)量級(jí)的神經(jīng)網(wǎng)絡(luò)。

在MNIST圖像分類數(shù)據(jù)集上對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬訓(xùn)練表明，加速器理論上可以處理神經(jīng)網(wǎng)絡(luò)超過(guò)傳統(tǒng)電子加速器能耗限制1000萬(wàn)倍以上，比光子加速器極限低1000倍。研究人員正在研究原型芯片，以實(shí)驗(yàn)證明結(jié)果。

“人們正在尋找可以計(jì)算超出能源消耗基本限制的技術(shù)，”電子研究實(shí)驗(yàn)室的博士后Ryan Hamerly說(shuō)。“光子加速器很有前途......但我們的動(dòng)機(jī)是建立一個(gè)可以擴(kuò)展到大型神經(jīng)網(wǎng)絡(luò)的[光子加速器]。”

這些技術(shù)的實(shí)際應(yīng)用包括減少數(shù)據(jù)中心的能耗。“對(duì)于運(yùn)行大型神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中心的需求不斷增長(zhǎng)，隨著需求的增長(zhǎng)，它在計(jì)算上越來(lái)越難以處理，”共同作者，電子研究實(shí)驗(yàn)室的研究生Alexander Sludds說(shuō)。其目標(biāo)是“通過(guò)神經(jīng)網(wǎng)絡(luò)硬件來(lái)滿足計(jì)算需求......以解決能耗和延遲的瓶頸問(wèn)題。”

加入Sludds和Hamerly的論文是：合著者，研究生Liane Bernstein，研究生; 麻省理工學(xué)院物理學(xué)教授Marin Soljacic; 和Dirk Englund，麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)副教授，RLE研究員，量子光子實(shí)驗(yàn)室負(fù)責(zé)人。

設(shè)計(jì)緊湊

神經(jīng)網(wǎng)絡(luò)通過(guò)包含互連節(jié)點(diǎn)(稱為“神經(jīng)元”)的許多計(jì)算層處理數(shù)據(jù)，以查找數(shù)據(jù)中的模式。神經(jīng)元從其上游鄰居接收輸入并計(jì)算輸出信號(hào)，該輸出信號(hào)被發(fā)送到更下游的神經(jīng)元。每個(gè)輸入也被賦予“權(quán)重”，該值基于其對(duì)所有其他輸入的相對(duì)重要性。隨著數(shù)據(jù)通過(guò)層“更深”地傳播，網(wǎng)絡(luò)逐漸學(xué)習(xí)更復(fù)雜的信息。最后，輸出層基于整個(gè)層的計(jì)算生成預(yù)測(cè)。

所有AI加速器都旨在減少在神經(jīng)網(wǎng)絡(luò)中特定線性代數(shù)步驟期間處理和移動(dòng)數(shù)據(jù)所需的能量，稱為“矩陣乘法”。在那里，神經(jīng)元和權(quán)重被編碼到行和列的單獨(dú)表中，然后組合計(jì)算產(chǎn)出。

在傳統(tǒng)的光子加速器中，編碼有關(guān)于層中每個(gè)神經(jīng)元的信息的脈沖激光流入波導(dǎo)并通過(guò)分束器。產(chǎn)生的光信號(hào)被饋送到方形光學(xué)元件的網(wǎng)格中，稱為“Mach-Zehnder干涉儀”，其被編程以執(zhí)行矩陣乘法。利用關(guān)于每個(gè)權(quán)重的信息編碼的干涉儀使用信號(hào)干擾技術(shù)來(lái)處理光信號(hào)和權(quán)重值以計(jì)算每個(gè)神經(jīng)元的輸出。但是存在縮放問(wèn)題：對(duì)于每個(gè)神經(jīng)元，必須有一個(gè)波導(dǎo)，并且對(duì)于每個(gè)重量，必須有一個(gè)干涉儀。由于重量的數(shù)量與神經(jīng)元的數(shù)量成正比，那些干涉儀占用了大量的空間。

“你很快意識(shí)到輸入神經(jīng)元的數(shù)量永遠(yuǎn)不會(huì)超過(guò)100左右，因?yàn)槟悴荒茉谛酒习惭b那么多組件，”哈默利說(shuō)。“如果你的光子加速器每層不能處理超過(guò)100個(gè)神經(jīng)元，那么就很難將大型神經(jīng)網(wǎng)絡(luò)應(yīng)用到該架構(gòu)中。”

研究人員的芯片依賴于更緊湊，節(jié)能的“光電”方案，該方案利用光信號(hào)對(duì)數(shù)據(jù)進(jìn)行編碼，但使用“平衡零差檢測(cè)”進(jìn)行矩陣乘法。這是一種在計(jì)算兩個(gè)光信號(hào)的幅度(波高)的乘積之后產(chǎn)生可測(cè)量的電信號(hào)的技術(shù)。

利用關(guān)于每個(gè)神經(jīng)網(wǎng)絡(luò)層的輸入和輸出神經(jīng)元的信息編碼的光脈沖(其是訓(xùn)練網(wǎng)絡(luò)所需的)流過(guò)單個(gè)信道。用矩陣乘法表中的整行權(quán)重信息編碼的單獨(dú)脈沖流過(guò)單獨(dú)的信道。攜帶神經(jīng)元和重量數(shù)據(jù)的光信號(hào)扇出到零差光電探測(cè)器的網(wǎng)格。光電探測(cè)器使用信號(hào)的幅度來(lái)計(jì)算每個(gè)神經(jīng)元的輸出值。每個(gè)探測(cè)器將每個(gè)神經(jīng)元的電輸出信號(hào)饋入調(diào)制器，調(diào)制器將信號(hào)轉(zhuǎn)換回光脈沖。該光信號(hào)成為下一層的輸入，依此類推。

該設(shè)計(jì)每個(gè)輸入和輸出神經(jīng)元只需要一個(gè)通道，并且只有與神經(jīng)元一樣多的零差光電探測(cè)器，而不是重量。因?yàn)樯窠?jīng)元總是遠(yuǎn)遠(yuǎn)少于重量，這節(jié)省了大量空間，因此芯片能夠擴(kuò)展到每層超過(guò)一百萬(wàn)個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。

找到最佳點(diǎn)

對(duì)于光子加速器，信號(hào)中存在不可避免的噪聲。饋入芯片的光越多，噪聲越小，精度越高 - 但效率卻相當(dāng)?shù)?。較少的輸入光會(huì)提高效率，但會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的性能產(chǎn)生負(fù)面影響。但伯恩斯坦說(shuō)，這里有一個(gè)“最佳點(diǎn)”，它使用最小的光功率，同時(shí)保持準(zhǔn)確性。

AI加速器的最佳位置是以執(zhí)行單個(gè)兩個(gè)數(shù)乘法運(yùn)算所需的焦耳量來(lái)衡量的 - 例如在矩陣乘法期間。現(xiàn)在，傳統(tǒng)的加速器以皮焦耳或千萬(wàn)億焦耳來(lái)衡量。光子加速器以attojoules測(cè)量，效率高出一百萬(wàn)倍。

在他們的模擬中，研究人員發(fā)現(xiàn)他們的光子加速器可以以低于焦耳的效率運(yùn)行。“在失去準(zhǔn)確性之前，你可以發(fā)送一些最小的光功率。我們的芯片的基本限制比傳統(tǒng)的加速器低得多......并且低于其他光子加速器，“伯恩斯坦說(shuō)。