初創(chuàng)公司和學(xué)者尋找開發(fā)強(qiáng)大模擬AI的途徑

工程師一直在追求一種形式的AI，這種形式可以大大降低完成諸如識(shí)別單詞和圖像之類的典型AI事情所需的能量。這種機(jī)器學(xué)習(xí)的模擬形式使用電路的物理原理而不是數(shù)字邏輯來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)的關(guān)鍵數(shù)學(xué)運(yùn)算之一。但是限制這種方法的主要因素之一是，深度學(xué)習(xí)的訓(xùn)練算法(反向傳播)必須由GPU或其他單獨(dú)的數(shù)字系統(tǒng)來(lái)完成。

現(xiàn)在，蒙特利爾大學(xué)AI專家Yoshua Bengio，他的學(xué)生Benjamin Scellier和初創(chuàng)公司RainNeuromorphics的同事們已經(jīng)想出了模擬AI進(jìn)行自我訓(xùn)練的方法。根據(jù)Rain CTO Jack Kendall的說(shuō)法，這種稱為平衡傳播的方法可能導(dǎo)致持續(xù)學(xué)習(xí)的低功耗模擬系統(tǒng)，其計(jì)算能力比目前業(yè)內(nèi)大多數(shù)人認(rèn)為的更大。

模擬電路可以節(jié)省神經(jīng)網(wǎng)絡(luò)的功耗，部分原因是它們可以有效地執(zhí)行稱為乘法和累加的關(guān)鍵計(jì)算。該計(jì)算根據(jù)各種權(quán)重將輸入的值相乘，然后將所有這些值加起來(lái)。電氣工程的兩個(gè)基本定律基本上也可以做到這一點(diǎn)。歐姆定律將電壓和電導(dǎo)相乘以提供電流，基爾霍夫的“電流定律”將輸入點(diǎn)的電流相加。通過(guò)將神經(jīng)網(wǎng)絡(luò)的權(quán)重存儲(chǔ)在諸如憶阻器之類的電阻存儲(chǔ)設(shè)備中，乘法和累加可以完全以模擬方式發(fā)生，從而有可能將功耗降低幾個(gè)數(shù)量級(jí)。

今天的模擬AI系統(tǒng)無(wú)法自我訓(xùn)練的原因與組件的可有關(guān)。就像真實(shí)的神經(jīng)元一樣，模擬神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元的行為也不盡相同。要使用模擬組件進(jìn)行反向傳播，您必須構(gòu)建兩條單獨(dú)的電路路徑。一個(gè)向前提出一個(gè)答案(稱為推理)，另一個(gè)向前進(jìn)行學(xué)習(xí)，以便使答案變得更加準(zhǔn)確。但是由于模擬成分的可，這些途徑不匹配。

Bengio說(shuō)：“當(dāng)您反向通過(guò)網(wǎng)絡(luò)時(shí)，最終會(huì)積累錯(cuò)誤。”為了進(jìn)行補(bǔ)償，網(wǎng)絡(luò)將需要大量耗電的模數(shù)和數(shù)模電路，從而無(wú)法使用模擬。

平衡傳播允許部分地通過(guò)調(diào)整整個(gè)網(wǎng)絡(luò)的行為來(lái)在同一網(wǎng)絡(luò)上進(jìn)行學(xué)習(xí)和推理。他說(shuō)：“ [平衡傳播]允許我們說(shuō)如何修改這些設(shè)備中的每一個(gè)，以使整個(gè)電路執(zhí)行正確的操作。”“我們直接將模擬設(shè)備中發(fā)生的物理計(jì)算轉(zhuǎn)換為我們的優(yōu)勢(shì)。”

目前，平衡傳播僅在仿真中起作用。但首席執(zhí)行官兼聯(lián)合創(chuàng)始人戈登·威爾遜(Gordon Wilson)表示，Rain計(jì)劃在2021年下半年采用硬件原理驗(yàn)證。他說(shuō)：“我們實(shí)際上是在嘗試從根本上重新構(gòu)想人工智能的硬件計(jì)算基礎(chǔ)，從大腦中找到正確的線索，并用這些線索為設(shè)計(jì)提供依據(jù)。”結(jié)果可能就是他們所謂的端到端模擬AI系統(tǒng)，該系統(tǒng)能夠運(yùn)行復(fù)雜的機(jī)器人甚至在數(shù)據(jù)中心中發(fā)揮作用。目前，這兩種技術(shù)都被認(rèn)為超出了模擬AI的功能，而模擬AI現(xiàn)在僅專注于為傳感器和其他低功耗“邊緣”設(shè)備增加推理功能，而將學(xué)習(xí)內(nèi)容留給了GPU。