Cerebras 揭示了 Andromeda 一個 1350 萬核心的 AI 超級計算機

制造世界上最大的芯片Wafer Scale Engine 2 (WSE-2)的公司 Cerebras 今天公布了其仙女座超級計算機。Andromeda 將 16 個晶圓大小的 WSE-2 芯片組合到一個集群中，該集群具有 1350 萬個 AI 優(yōu)化內(nèi)核，該公司稱這些內(nèi)核可提供高達 1 Exaflop 的 AI 計算馬力，或 120 Petaflops 的 16 位半精度。

這些芯片安裝在 16 個 CS-2 系統(tǒng)中。每個芯片為 AI 內(nèi)核提供高達 12.1 TB/s 的內(nèi)部帶寬(96.8 Terabits)，但數(shù)據(jù)通過分布在 16 個機架中的 124 個服務(wù)器節(jié)點上的 100 GbE 網(wǎng)絡(luò)傳送到 CS-2 處理器。這些服務(wù)器總共由 284 個第三代 EPYC Milan 處理器提供支持，每個處理器擁有 64 個內(nèi)核，總計 18,176 個內(nèi)核。

整個系統(tǒng)消耗 500 KW，這比具有可比性的 GPU 加速超級計算機要低得多。然而，在這種大規(guī)模并行的超級計算機上擴展工作負載一直是主要的阻礙因素之一——在某些時候，擴展往往會崩潰，因此添加更多硬件會導(dǎo)致回報點迅速減少。

然而，Cerebras 表示，它的實現(xiàn)與 GPT 類大型語言模型(如 GPT-3、GPT-J 和 GPT-NeoX)幾乎呈線性擴展。Andromeda 還可以處理標準 GPU 集群由于內(nèi)存限制而無法處理的 25 億和 250 億參數(shù)模型。