Alexa科學(xué)家通過(guò)轉(zhuǎn)移學(xué)習(xí)教授AI語(yǔ)言模型

為像Alexa這樣的語(yǔ)音助手添加對(duì)新語(yǔ)言的支持并不像你想象的那么容易，但亞馬遜的研究人員相信他們已經(jīng)開發(fā)出一種能夠加快和簡(jiǎn)化流程的方法。在一篇新發(fā)表的論文(“ 用于口語(yǔ)理解的跨語(yǔ)言轉(zhuǎn)移學(xué)習(xí) ”)和隨附的博客文章中，他們描述了一種技術(shù)，該技術(shù)使用一種語(yǔ)言訓(xùn)練的機(jī)器學(xué)習(xí)模型適應(yīng)最少的訓(xùn)練數(shù)據(jù)。

該論文的共同作者計(jì)劃于下個(gè)月在西班牙巴塞羅那舉行的國(guó)際聲學(xué)，語(yǔ)音和信號(hào)處理會(huì)議上展示該方法，該方法依賴于轉(zhuǎn)移學(xué)習(xí)(特別是跨語(yǔ)言轉(zhuǎn)移學(xué)習(xí))來(lái)引導(dǎo)新功能。他們報(bào)告說(shuō)，在實(shí)驗(yàn)中，它將新語(yǔ)言的數(shù)據(jù)需求降低了50%。

我們相信，這是第一次使用跨語(yǔ)言轉(zhuǎn)移學(xué)習(xí)將聯(lián)合意圖時(shí)隙分類器轉(zhuǎn)換為新語(yǔ)言，”Alexa AI Natural Understanding科學(xué)家Quynh Do和Judith Gaspers說(shuō)。

正如他們所解釋的那樣，口語(yǔ)理解(SLU)系統(tǒng)通常涉及兩個(gè)子任務(wù) - 意圖分類和時(shí)隙標(biāo)記 - 其中意圖是用戶想要執(zhí)行的任務(wù)，而時(shí)隙意味著意圖所作用的實(shí)體。(例如，在語(yǔ)音命令“Alexa中，在Disco播放'High Hopes'，Panic!”，意圖是PlayMusic，“High Hopes”和“Panic!at the Disco”填充SongName和ArtistName插槽。)

Do和Gaspers注意到，培訓(xùn)意圖和插槽分類器共同提高了性能，因此他們和同事們探索了六種不同的聯(lián)合訓(xùn)練的AI系統(tǒng)。在將他們的表現(xiàn)與英語(yǔ)SLU示例的開源基準(zhǔn)數(shù)據(jù)集進(jìn)行比較后，該團(tuán)隊(duì)確定了三個(gè)在兩個(gè)分類任務(wù)上都優(yōu)于其前任的表現(xiàn)。

接下來(lái)，他們嘗試了嵌入詞(與多維空間中的點(diǎn)對(duì)應(yīng)的一系列固定長(zhǎng)度坐標(biāo))和字符嵌入(反映單詞及其組成部分的意義的簇)，它們總共被輸入六個(gè)不同的神經(jīng)網(wǎng)絡(luò)，包括稱為長(zhǎng)期短期記憶(LSTM)網(wǎng)絡(luò)的周期性網(wǎng)絡(luò)類型，按順序處理有序輸入，并在其前面輸出因子。他們使用來(lái)自源語(yǔ)言(在本例中為英語(yǔ))的數(shù)據(jù)來(lái)提高目標(biāo)(德語(yǔ))中的SLU性能，主要是通過(guò)預(yù)先訓(xùn)練SLU模型并在目標(biāo)數(shù)據(jù)集上對(duì)其進(jìn)行微調(diào)。

在一次大規(guī)模測(cè)試中，他們創(chuàng)建了一個(gè)語(yǔ)料庫(kù)，其中包括從英語(yǔ)Alexa SLU系統(tǒng)中采集的一百萬(wàn)個(gè)話語(yǔ)，以及來(lái)自德國(guó)Alexa SLU系統(tǒng)的10,000和20,000個(gè)話語(yǔ)的隨機(jī)樣本。開發(fā)集包括來(lái)自德國(guó)系統(tǒng)的2,000個(gè)話語(yǔ)。

通過(guò)訓(xùn)練雙語(yǔ)輸入嵌入來(lái)對(duì)來(lái)自兩種語(yǔ)言的語(yǔ)義相似的單詞進(jìn)行分組，研究人員發(fā)現(xiàn)一個(gè)轉(zhuǎn)移的模型，其源數(shù)據(jù)是百萬(wàn)英語(yǔ)話語(yǔ)，其目標(biāo)數(shù)據(jù)是10,000德語(yǔ)話語(yǔ)分類意圖比在20,000德語(yǔ)訓(xùn)練的單語(yǔ)模型更準(zhǔn)確話語(yǔ)。通過(guò)10,000和20,000個(gè)德語(yǔ)數(shù)據(jù)集，轉(zhuǎn)移模型的插槽分類得分比僅用德語(yǔ)發(fā)音訓(xùn)練的單語(yǔ)模型提高了4%。

“雖然高速公路LSTM模型是英語(yǔ)測(cè)試集中表現(xiàn)最好的模型，但并不能保證它能產(chǎn)生最好的轉(zhuǎn)學(xué)習(xí)成果，”他們寫道。“在正在進(jìn)行的工作中，我們也將其他模型轉(zhuǎn)移到德語(yǔ)語(yǔ)境中。”