您的位置: 首頁 >科技 >

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer 速度提高40%

2023-05-31 18:28:04 編輯:金淑眉 來源:
導(dǎo)讀 Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ,新研發(fā)的這款A(yù)I模型能夠解決Transformer 目前所面臨的問題,速度提升40%。Transform

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ,新研發(fā)的這款A(yù)I模型能夠解決Transformer 目前所面臨的問題,速度提升40%。

Transformer屬于當(dāng)下超流行的一種AI型,尤其在自然語言處理等領(lǐng)域被廣泛的應(yīng)用。這款模型的序列數(shù)據(jù)處理方式是逐步進(jìn)化的,無法并行化處理,所以訓(xùn)練速度比較慢。如果想要處理長(zhǎng)序列則比較困難,在反向傳播過程中,梯度很容易消失或者爆炸。處理語言的過程中,需要將每一步的操作歷史完整保留下來,會(huì)消耗巨大的內(nèi)存。

Megabyte AI 模型把輸入序列以及輸出序列劃分為patch,使用這種架構(gòu)能夠?qū)Υ蠖鄶?shù)人物而言的字節(jié)級(jí)別預(yù)測(cè)會(huì)更加容易,內(nèi)部預(yù)測(cè)能夠使用更小的模型進(jìn)行,而且在大型網(wǎng)絡(luò)中也能夠精簡(jiǎn)字符,讓工作效率得到大幅度的提升。


免責(zé)聲明:本文由用戶上傳,如有侵權(quán)請(qǐng)聯(lián)系刪除!

最新文章

精彩推薦

圖文推薦

點(diǎn)擊排行

2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ   備案號(hào):

本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。

郵箱:toplearningteam#gmail.com (請(qǐng)將#換成@)