Alexa科學家通過轉(zhuǎn)移學習教授AI語言模型

為像Alexa這樣的語音助手添加對新語言的支持并不像你想象的那么容易，但亞馬遜的研究人員相信他們已經(jīng)開發(fā)出一種能夠加快和簡化流程的方法。在一篇新發(fā)表的論文(“ 用于口語理解的跨語言轉(zhuǎn)移學習 ”)和隨附的博客文章中，他們描述了一種技術，該技術使用一種語言訓練的機器學習模型適應最少的訓練數(shù)據(jù)。

該論文的共同作者計劃于下個月在西班牙巴塞羅那舉行的國際聲學，語音和信號處理會議上展示該方法，該方法依賴于轉(zhuǎn)移學習(特別是跨語言轉(zhuǎn)移學習)來引導新功能。他們報告說，在實驗中，它將新語言的數(shù)據(jù)需求降低了50%。

我們相信，這是第一次使用跨語言轉(zhuǎn)移學習將聯(lián)合意圖時隙分類器轉(zhuǎn)換為新語言，”Alexa AI Natural Understanding科學家Quynh Do和Judith Gaspers說。

正如他們所解釋的那樣，口語理解(SLU)系統(tǒng)通常涉及兩個子任務 - 意圖分類和時隙標記 - 其中意圖是用戶想要執(zhí)行的任務，而時隙意味著意圖所作用的實體。(例如，在語音命令“Alexa中，在Disco播放'High Hopes'，Panic!”，意圖是PlayMusic，“High Hopes”和“Panic!at the Disco”填充SongName和ArtistName插槽。)

Do和Gaspers注意到，培訓意圖和插槽分類器共同提高了性能，因此他們和同事們探索了六種不同的聯(lián)合訓練的AI系統(tǒng)。在將他們的表現(xiàn)與英語SLU示例的開源基準數(shù)據(jù)集進行比較后，該團隊確定了三個在兩個分類任務上都優(yōu)于其前任的表現(xiàn)。

接下來，他們嘗試了嵌入詞(與多維空間中的點對應的一系列固定長度坐標)和字符嵌入(反映單詞及其組成部分的意義的簇)，它們總共被輸入六個不同的神經(jīng)網(wǎng)絡，包括稱為長期短期記憶(LSTM)網(wǎng)絡的周期性網(wǎng)絡類型，按順序處理有序輸入，并在其前面輸出因子。他們使用來自源語言(在本例中為英語)的數(shù)據(jù)來提高目標(德語)中的SLU性能，主要是通過預先訓練SLU模型并在目標數(shù)據(jù)集上對其進行微調(diào)。

在一次大規(guī)模測試中，他們創(chuàng)建了一個語料庫，其中包括從英語Alexa SLU系統(tǒng)中采集的一百萬個話語，以及來自德國Alexa SLU系統(tǒng)的10,000和20,000個話語的隨機樣本。開發(fā)集包括來自德國系統(tǒng)的2,000個話語。

通過訓練雙語輸入嵌入來對來自兩種語言的語義相似的單詞進行分組，研究人員發(fā)現(xiàn)一個轉(zhuǎn)移的模型，其源數(shù)據(jù)是百萬英語話語，其目標數(shù)據(jù)是10,000德語話語分類意圖比在20,000德語訓練的單語模型更準確話語。通過10,000和20,000個德語數(shù)據(jù)集，轉(zhuǎn)移模型的插槽分類得分比僅用德語發(fā)音訓練的單語模型提高了4%。

“雖然高速公路LSTM模型是英語測試集中表現(xiàn)最好的模型，但并不能保證它能產(chǎn)生最好的轉(zhuǎn)學習成果，”他們寫道。“在正在進行的工作中，我們也將其他模型轉(zhuǎn)移到德語語境中。”