技術(shù)闡明了處理語言的人工智能系統(tǒng)的內(nèi)部工作原理

通過分析大量訓(xùn)練數(shù)據(jù)來學(xué)習(xí)執(zhí)行計(jì)算任務(wù)的神經(jīng)網(wǎng)絡(luò)，已經(jīng)成為人工智能最令人印象深刻的最新進(jìn)展，包括語音識(shí)別和自動(dòng)翻譯系統(tǒng)。

然而，在訓(xùn)練期間，神經(jīng)網(wǎng)絡(luò)不斷地以其創(chuàng)作者無法解釋的方式調(diào)整其內(nèi)部設(shè)置。最近的許多計(jì)算機(jī)科學(xué)的工作重點(diǎn)是聰明的技術(shù)用于確定只是如何神經(jīng)網(wǎng)絡(luò)做他們做什么。

在最近的幾篇論文中，來自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)和卡塔爾計(jì)算研究所的研究人員使用了最近開發(fā)的解釋技術(shù)，該技術(shù)已應(yīng)用于其他領(lǐng)域，用于分析經(jīng)過機(jī)器翻譯和語音培訓(xùn)的神經(jīng)網(wǎng)絡(luò)。承認(rèn)。

他們找到了關(guān)于網(wǎng)絡(luò)可能如何運(yùn)作的一些常見直覺的經(jīng)驗(yàn)支持。例如，在轉(zhuǎn)向更高級(jí)別的任務(wù)(例如轉(zhuǎn)錄或語義解釋)之前，系統(tǒng)似乎專注于較低級(jí)別的任務(wù)，例如聲音識(shí)別或詞性識(shí)別。

“在機(jī)器翻譯中，歷史上，有一種不同層次的金字塔，”CSAIL高級(jí)研究科學(xué)家吉姆·格拉斯說，他與麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)研究生Yonatan Belinkov一起完成了這個(gè)項(xiàng)目。“在最低層，有一個(gè)詞，表面形成，金字塔的頂部是某種語際表達(dá)，你有不同的層，你在做語法，語義。這是一個(gè)非常抽象的概念，但想法是你在金字塔中走得越高，翻譯成新語言就越容易，然后再次下降。因此，Yonatan正在做的一部分是試圖弄清楚這個(gè)概念的哪些方面正在網(wǎng)絡(luò)中被編碼。“

最近在國際自然語言處理聯(lián)合會(huì)議上的兩篇論文中介紹了機(jī)器翻譯的工作。一方面，Belinkov是第一作者，Glass是高級(jí)作者，另一方面，Belinkov是合著者。兩者都是卡塔爾計(jì)算研究所(QCRI)的研究人員，包括LluísMàrquez，Hassan Sajjad，Nadir Durrani，F(xiàn)ahim Dalvi和Stephan Vogel。Belinkov和Glass是分析語音識(shí)別系統(tǒng)的唯一作者，Belinkov上周在神經(jīng)信息處理研討會(huì)上發(fā)表了這一論文。

神經(jīng)網(wǎng)之所以如此命名是因?yàn)樗鼈兇笾陆咏四X的結(jié)構(gòu)。通常，它們被排列成層，每層由許多簡(jiǎn)單的處理單元組成 - 節(jié)點(diǎn) - 每個(gè)節(jié)點(diǎn)連接到上下層中的幾個(gè)節(jié)點(diǎn)。數(shù)據(jù)被送入最低層，最低層的節(jié)點(diǎn)處理它并將其傳遞給下一層。層之間的連接具有不同的“權(quán)重”，其確定任何一個(gè)節(jié)點(diǎn)的輸出在下一個(gè)節(jié)點(diǎn)執(zhí)行的計(jì)算中的數(shù)量。

在訓(xùn)練期間，不斷重新調(diào)整節(jié)點(diǎn)之間的權(quán)重。在網(wǎng)絡(luò)訓(xùn)練之后，其創(chuàng)建者可以確定所有連接的權(quán)重，但是數(shù)千甚至數(shù)百萬個(gè)節(jié)點(diǎn)，以及它們之間甚至更多的連接，推斷這些權(quán)重編碼的算法幾乎是不可能的。

麻省理工學(xué)院和QCRI研究人員的技術(shù)包括采用訓(xùn)練有素的網(wǎng)絡(luò)并使用每個(gè)層的輸出，以響應(yīng)個(gè)別訓(xùn)練樣例，訓(xùn)練另一個(gè)神經(jīng)網(wǎng)絡(luò)執(zhí)行特定任務(wù)。這使他們能夠確定每個(gè)圖層的優(yōu)化任務(wù)。

在語音識(shí)別網(wǎng)絡(luò)的情況下，Belinkov和Glass使用單個(gè)層的輸出來訓(xùn)練系統(tǒng)以識(shí)別“電話”，特定于口語的獨(dú)特語音單元。例如，“茶”，“樹”和“但是”這兩個(gè)詞中的“t”聽起來可能被歸類為單獨(dú)的電話，但語音識(shí)別系統(tǒng)必須使用字母“t”來轉(zhuǎn)錄它們。事實(shí)上，Belinkov和Glass發(fā)現(xiàn)，較低級(jí)別的網(wǎng)絡(luò)在識(shí)別手機(jī)方面比在較高級(jí)別上更好，其中可能的區(qū)別不那么重要。

同樣，在去年夏天在計(jì)算語言學(xué)協(xié)會(huì)年會(huì)上發(fā)表的早期論文中，Glass，Belinkov和他們的QCRI同事表明，較低級(jí)別的機(jī)器翻譯網(wǎng)絡(luò)特別擅長(zhǎng)識(shí)別詞性和形態(tài)。 - 時(shí)態(tài)，數(shù)字和共軛等功能。