SberDevices的語言模型被認(rèn)為是理解俄語文本的最佳選擇

2021-09-01 09:07:16 編輯：來源：

導(dǎo)讀 Sber 的新聞服務(wù)部門告訴 Durov 的代碼，根據(jù)評估大型文本模型俄羅斯 SuperGLUE 的主要俄語基準(zhǔn)的評估，由 SberDevices 開發(fā)的 ruR

Sber 的新聞服務(wù)部門告訴 Durov 的代碼，根據(jù)評估大型文本模型俄羅斯 SuperGLUE 的主要俄語基準(zhǔn)的評估，由 SberDevices 開發(fā)的 ruRoberta-large 微調(diào)文本模型被認(rèn)為是文本理解方面的最佳選擇。在這個評級中，該模型的準(zhǔn)確性僅次于人類。

該公司解釋說，ruRoBERTa 在架構(gòu)上與 BERT 相同，在大量文本上進(jìn)行訓(xùn)練，僅用于恢復(fù)屏蔽標(biāo)記的任務(wù)，使用來自 ruGPT-3 神經(jīng)網(wǎng)絡(luò)的 BBPE 標(biāo)記器。值得注意的是，在 Christophari 超級計算機(jī)上訓(xùn)練模型需要三周時間。

標(biāo)簽：

免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！