Alexa科學(xué)家通過轉(zhuǎn)移學(xué)習(xí)教授AI語言模型

為像Alexa這樣的語音助手添加對新語言的支持并不像你想象的那么容易，但亞馬遜的研究人員相信他們已經(jīng)開發(fā)出一種能夠加快和簡化流程的方法。在一篇新發(fā)表的論文(“ 用于口語理解的跨語言轉(zhuǎn)移學(xué)習(xí) ”)和隨附的博客文章中，他們描述了一種技術(shù)，該技術(shù)使用一種語言訓(xùn)練的機器學(xué)習(xí)模型適應(yīng)最少的訓(xùn)練數(shù)據(jù)。

該論文的共同作者計劃于下個月在西班牙巴塞羅那舉行的國際聲學(xué)，語音和信號處理會議上展示該方法，該方法依賴于轉(zhuǎn)移學(xué)習(xí)(特別是跨語言轉(zhuǎn)移學(xué)習(xí))來引導(dǎo)新功能。他們報告說，在實驗中，它將新語言的數(shù)據(jù)需求降低了50%。

我們相信，這是第一次使用跨語言轉(zhuǎn)移學(xué)習(xí)將聯(lián)合意圖時隙分類器轉(zhuǎn)換為新語言，”Alexa AI Natural Understanding科學(xué)家Quynh Do和Judith Gaspers說。

正如他們所解釋的那樣，口語理解(SLU)系統(tǒng)通常涉及兩個子任務(wù) - 意圖分類和時隙標(biāo)記 - 其中意圖是用戶想要執(zhí)行的任務(wù)，而時隙意味著意圖所作用的實體。(例如，在語音命令“Alexa中，在Disco播放'High Hopes'，Panic!”，意圖是PlayMusic，“High Hopes”和“Panic!at the Disco”填充SongName和ArtistName插槽。)

Do和Gaspers注意到，培訓(xùn)意圖和插槽分類器共同提高了性能，因此他們和同事們探索了六種不同的聯(lián)合訓(xùn)練的AI系統(tǒng)。在將他們的表現(xiàn)與英語SLU示例的開源基準(zhǔn)數(shù)據(jù)集進(jìn)行比較后，該團隊確定了三個在兩個分類任務(wù)上都優(yōu)于其前任的表現(xiàn)。

接下來，他們嘗試了嵌入詞(與多維空間中的點對應(yīng)的一系列固定長度坐標(biāo))和字符嵌入(反映單詞及其組成部分的意義的簇)，它們總共被輸入六個不同的神經(jīng)網(wǎng)絡(luò)，包括稱為長期短期記憶(LSTM)網(wǎng)絡(luò)的周期性網(wǎng)絡(luò)類型，按順序處理有序輸入，并在其前面輸出因子。他們使用來自源語言(在本例中為英語)的數(shù)據(jù)來提高目標(biāo)(德語)中的SLU性能，主要是通過預(yù)先訓(xùn)練SLU模型并在目標(biāo)數(shù)據(jù)集上對其進(jìn)行微調(diào)。

在一次大規(guī)模測試中，他們創(chuàng)建了一個語料庫，其中包括從英語Alexa SLU系統(tǒng)中采集的一百萬個話語，以及來自德國Alexa SLU系統(tǒng)的10,000和20,000個話語的隨機樣本。開發(fā)集包括來自德國系統(tǒng)的2,000個話語。

通過訓(xùn)練雙語輸入嵌入來對來自兩種語言的語義相似的單詞進(jìn)行分組，研究人員發(fā)現(xiàn)一個轉(zhuǎn)移的模型，其源數(shù)據(jù)是百萬英語話語，其目標(biāo)數(shù)據(jù)是10,000德語話語分類意圖比在20,000德語訓(xùn)練的單語模型更準(zhǔn)確話語。通過10,000和20,000個德語數(shù)據(jù)集，轉(zhuǎn)移模型的插槽分類得分比僅用德語發(fā)音訓(xùn)練的單語模型提高了4%。

“雖然高速公路LSTM模型是英語測試集中表現(xiàn)最好的模型，但并不能保證它能產(chǎn)生最好的轉(zhuǎn)學(xué)習(xí)成果，”他們寫道。“在正在進(jìn)行的工作中，我們也將其他模型轉(zhuǎn)移到德語語境中。”