全新LPU芯片傳聞比GPU快十倍（關(guān)于LPU芯片的簡介）

近日一家名為Groq的初創(chuàng)公司研制的LPU芯片橫空出世，據(jù)消息稱這一芯片的推理速度比英偉達(dá)GPU提高10倍，成本卻只有其1/10，大模型生成速度接近500tokens，比ChatGPT-3.540tokens/秒的速度高出十多倍。

1.LPU的突出特點(diǎn)就是快，2024年1月份的測試結(jié)果中，Groq LPU驅(qū)動(dòng)的Meta Llama2模型推理性能比目前的頂級(jí)云計(jì)算供應(yīng)商高出17倍，在數(shù)據(jù)吞吐量方面也“遙遙領(lǐng)先”。

2.據(jù)了解，Groq提供的芯片得到這樣的吞吐速度的原因是使用的SRAM設(shè)備，這是目前讀寫速度最快的存儲(chǔ)設(shè)備之一，但是價(jià)格較為昂貴，一般用在CPU的一級(jí)和二級(jí)緩沖當(dāng)中。SRAM就是靜態(tài)隨機(jī)存取存儲(chǔ)器，目前人們常用的存儲(chǔ)設(shè)備中DRAM為動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，兩者的區(qū)別在于存儲(chǔ)方式、集成度、訪問速度、刷新需求等的不同，SRAM訪問速度快，帶來的是占用面積和成本的增大。

3.LPU芯片現(xiàn)在落地仍然存在很多現(xiàn)實(shí)問題亟待解決，首先就是成本問題，雖然LPU芯片在價(jià)格和耗電量上占有優(yōu)勢，但是運(yùn)行LLaMA2-70b這樣的模型需要572張LPU，成本高達(dá)1144萬美元，而8張英偉達(dá)H100在系統(tǒng)性能上與Groq相當(dāng)，硬件成本僅為30萬美元，巨大的成本差異讓它目前不具備太多的商業(yè)價(jià)值。

4.Groq展現(xiàn)出來的是通用芯片和專用芯片在路徑上的分歧，它能為用戶提供讓人滿意的低延遲高速響應(yīng)效果，但是它的場景搭建需要至少一個(gè)已經(jīng)構(gòu)造完成并且開源的大模型。

5.Groq創(chuàng)新的芯片架構(gòu)能把多個(gè)張量流處理器連接在一起，這種解決方案不會(huì)出現(xiàn)GPU集群當(dāng)中出現(xiàn)的傳統(tǒng)瓶頸問題，具備較高的可擴(kuò)展性，可以有效減少運(yùn)行過程中的能源消耗，進(jìn)一步簡化大規(guī)模AI模型對(duì)于硬件的要求。