AI和摩爾定律的后指數(shù)時(shí)代

我的MacBook Pro已有3年歷史了，這是我一生中第一次擁有3年歷史的主計(jì)算機(jī)，感覺就像沒有危機(jī)，必須立即解決。沒錯(cuò)，部分原因是我在等待蘋果公司解決其鍵盤故障，部分原因是我仍然無法忍受Touch Bar。但這也是因?yàn)槿甑男阅茉鲩L(zhǎng)已不再是過去。

毫不夸張地說，摩爾定律是過去五十年來世界上最重要的力量，它是世界計(jì)算能力令人難以置信的指數(shù)增長(zhǎng)。因此，它的緩慢減速和/或消亡是一件大事，不僅僅是因?yàn)楹蠊诓懊總€(gè)家庭和每個(gè)口袋。

我們所有人都寄希望于其他領(lǐng)域會(huì)成倍增長(zhǎng)，這當(dāng)然給了我們另一個(gè)相似的時(shí)代。人工智能/機(jī)器學(xué)習(xí)是一個(gè)巨大的希望，尤其是機(jī)器學(xué)習(xí)反饋循環(huán)的遙遠(yuǎn)夢(mèng)想，人工智能數(shù)十年來以指數(shù)級(jí)的速度改善了人工智能。現(xiàn)在看來似乎不太可能。

實(shí)際上，它總是如此。幾年前，我正與一家AI公司的首席執(zhí)行官交談，他認(rèn)為AI進(jìn)度基本上是S曲線，我們?cè)诼曇籼幚矸矫嬉呀?jīng)達(dá)到了頂峰，在圖像和視頻方面已經(jīng)接近頂峰，但還只是一半向上彎曲文本。猜猜他的公司專門從事哪一家公司都沒有獎(jiǎng)品，但似乎是完全正確的。

本周早些時(shí)候，OpenAI發(fā)布了他們?nèi)ツ觋P(guān)于AI1使用的計(jì)算能力如何增加的分析的更新。結(jié)果?它“以3.4個(gè)月的倍增時(shí)間呈指數(shù)增長(zhǎng)(相比之下，摩爾定律有2年的倍增期)。自2012年以來，該指標(biāo)已增長(zhǎng)了300,000倍(兩年的翻倍期只會(huì)產(chǎn)生7倍的增長(zhǎng))。”

那是……改善AI技術(shù)狀態(tài)的大量計(jì)算能力，很明顯，這種計(jì)算增長(zhǎng)無法持續(xù)。不是“不會(huì)”;可不行。令人遺憾的是，與摩爾定律的指數(shù)級(jí)增長(zhǎng)的減少幾乎同時(shí)發(fā)生了訓(xùn)練人工智能的計(jì)算能力需求的指數(shù)級(jí)增長(zhǎng)。將更多的錢投入到這個(gè)問題上將無濟(jì)于事-再次，我們?cè)谶@里談?wù)摰氖侵笖?shù)增長(zhǎng)率，線性費(fèi)用調(diào)整不會(huì)動(dòng)搖針。

得出的結(jié)論是，即使我們假設(shè)在效率方面取得了重大突破并提高了性能以降低翻倍率，但在我們計(jì)算能力的集體增長(zhǎng)開始步履蹣跚之時(shí)，人工智能的進(jìn)步似乎越來越受到計(jì)算機(jī)的限制。也許會(huì)有某種突破，但是如果沒有突破，這聽起來很像是我們正在尋找AI /機(jī)器學(xué)習(xí)進(jìn)度，并且從現(xiàn)在開始不久，并且在可預(yù)見的將來趨于平穩(wěn)。