700億參數(shù)LLaMA2訓練加速195% 開箱就能用從8到512卡全部支持

2023-09-05 16:33:08 編輯：闕珊巧來源：

導讀 LLaMA2訓練微調(diào)推理，針對700億版本，訓練加速195%，同時能基于云平臺實現(xiàn)無代碼訓練有個性私有化模型，并一鍵部署。LLaMA2的預訓練，預料...

LLaMA2訓練微調(diào)推理，針對700億版本，訓練加速195%，同時能基于云平臺實現(xiàn)無代碼訓練有個性私有化模型，并一鍵部署。LLaMA2的預訓練，預料大部分都來自于英文通用知識，如果僅僅只是使用微調(diào)，只能夠提升以及注入的領域知識我多語言能力也非常有限，并且也只能夠以私有化的形式保存下來。

針對這個問題，推出以低成本預訓練、繼續(xù)預訓練以及微調(diào)的方式，對于大模型系列做相關的調(diào)整，結(jié)合高質(zhì)量私有化業(yè)務數(shù)據(jù)積累，能夠有效的幫助企業(yè)降低生產(chǎn)成本。Colossal-AI開源了針對LLaMA2的全流程方案，并且具備極高的可拓展性。從70億到700億的參數(shù)模型，以及從8卡到512卡都能夠保持更好的性能，在利用率方面也處于當前行業(yè)當中排名較靠前的地位。