2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ 備案號(hào):
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
郵箱:toplearningteam#gmail.com (請(qǐng)將#換成@)
前一段時(shí)間Groq芯片每秒生成速度接近500tok/s,遠(yuǎn)超GPT-4 40tpk/s的計(jì)算能力引起人們關(guān)注。后來(lái)Groq被曝光他們的LPU芯片去掉了HBM,只依靠SRAM計(jì)算,引起了人們的質(zhì)疑,不過(guò)Groq芯片也有其進(jìn)步意義。
1.Groq極高的計(jì)算速度是建立在有限的單卡吞吐能力上面,這樣的條件下想要達(dá)到和H100相同的吞吐量,就需要更多的芯片,這造成了實(shí)際上Groq的搭建成本并不低,甚至達(dá)成一定規(guī)模以后,單位投資下的收益遠(yuǎn)遠(yuǎn)不如H100。
2.Groq面向的是大模型推理場(chǎng)景,它是一款推理用的ASIC加速芯片,只能在特定的模型中使用,因此性?xún)r(jià)比并不算很高,在實(shí)際搭建過(guò)程中,可能要花費(fèi)比使用英偉達(dá)芯片更高的投資。
3.Groq的LPU只能適用于Mixtral和Llama 2,其他的大模型公司想要使用Groq的產(chǎn)品,需要確定需求和規(guī)格,之后進(jìn)行功能驗(yàn)證,最后生產(chǎn)出的產(chǎn)品才可以使用這一芯片。
4.LPU推理引擎是Groq創(chuàng)建的一種新型的端到端處理單元系統(tǒng),能為具有順序組件的計(jì)算密集型應(yīng)用程序提供最快的推理能力。
5.Groq在可擴(kuò)展計(jì)算架構(gòu)方面做出了創(chuàng)新,相比于傳統(tǒng)的GPU,這種芯片的編程模型更加簡(jiǎn)化,能夠在計(jì)算當(dāng)中體現(xiàn)出更高的響應(yīng)速度和可靠的執(zhí)行效率,它擁有許多個(gè)具有特色的組件,比如數(shù)據(jù)交換器、指令控制、SRAM內(nèi)存等,這使其具備強(qiáng)大的計(jì)算能力與靈活性。
6.Groq的出現(xiàn)讓人們看到了突破英偉達(dá)壟斷地位的可能性,雖然它的使用范圍相對(duì)來(lái)說(shuō)收窄許多,卻讓人們看到了其他公司敢于對(duì)英偉達(dá)亮劍的精神和勇氣。英偉達(dá)并不是大模型的唯一選擇,現(xiàn)在其他公司也在研發(fā)新的芯片,嘗試適用于其他的開(kāi)發(fā)場(chǎng)景。
2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ 備案號(hào):
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
郵箱:toplearningteam#gmail.com (請(qǐng)將#換成@)