AI和摩爾定律的后指數(shù)時代

我的MacBook Pro已有3年歷史了，這是我一生中第一次擁有3年歷史的主計算機，感覺就像沒有危機，必須立即解決。沒錯，部分原因是我在等待蘋果公司解決其鍵盤故障，部分原因是我仍然無法忍受Touch Bar。但這也是因為三年的性能增長已不再是過去。

毫不夸張地說，摩爾定律是過去五十年來世界上最重要的力量，它是世界計算能力令人難以置信的指數(shù)增長。因此，它的緩慢減速和/或消亡是一件大事，不僅僅是因為后果正在波及每個家庭和每個口袋。

我們所有人都寄希望于其他領(lǐng)域會成倍增長，這當(dāng)然給了我們另一個相似的時代。人工智能/機器學(xué)習(xí)是一個巨大的希望，尤其是機器學(xué)習(xí)反饋循環(huán)的遙遠夢想，人工智能數(shù)十年來以指數(shù)級的速度改善了人工智能?，F(xiàn)在看來似乎不太可能。

實際上，它總是如此。幾年前，我正與一家AI公司的首席執(zhí)行官交談，他認為AI進度基本上是S曲線，我們在聲音處理方面已經(jīng)達到了頂峰，在圖像和視頻方面已經(jīng)接近頂峰，但還只是一半向上彎曲文本。猜猜他的公司專門從事哪一家公司都沒有獎品，但似乎是完全正確的。

本周早些時候，OpenAI發(fā)布了他們?nèi)ツ觋P(guān)于AI1使用的計算能力如何增加的分析的更新。結(jié)果?它“以3.4個月的倍增時間呈指數(shù)增長(相比之下，摩爾定律有2年的倍增期)。自2012年以來，該指標已增長了300,000倍(兩年的翻倍期只會產(chǎn)生7倍的增長)。”

那是……改善AI技術(shù)狀態(tài)的大量計算能力，很明顯，這種計算增長無法持續(xù)。不是“不會”;可不行。令人遺憾的是，與摩爾定律的指數(shù)級增長的減少幾乎同時發(fā)生了訓(xùn)練人工智能的計算能力需求的指數(shù)級增長。將更多的錢投入到這個問題上將無濟于事-再次，我們在這里談?wù)摰氖侵笖?shù)增長率，線性費用調(diào)整不會動搖針。

得出的結(jié)論是，即使我們假設(shè)在效率方面取得了重大突破并提高了性能以降低翻倍率，但在我們計算能力的集體增長開始步履蹣跚之時，人工智能的進步似乎越來越受到計算機的限制。也許會有某種突破，但是如果沒有突破，這聽起來很像是我們正在尋找AI /機器學(xué)習(xí)進度，并且從現(xiàn)在開始不久，并且在可預(yù)見的將來趨于平穩(wěn)。