Google AI以更少的數(shù)據(jù)回答了基于文本的問題

Google Research的合著者本周發(fā)表的預印本研究描述了Entities as Experts(EAE)，這是一種新型的機器學習模型，可以訪問其中提到的實體(例如，人，地方，組織，日期，時間和數(shù)字)的記憶。一段示例文本。他們聲稱，它以更少的數(shù)據(jù)勝過兩個最新模型，同時捕獲了更多的事實知識，并且比其所基于的Transformers體系結(jié)構(gòu)更具模塊化和可解釋性。

如果同行評審能證明研究人員對EAE的主張，則可以解決長期存在的自然語言處理難題：無需注入特定于實體的知識，即可獲得回答世界問題所需的知識。在企業(yè)環(huán)境中，EAE可以為聊天機器人的基礎(chǔ)，該聊天機器人吸收特定于域的信息的語料庫，并使用最可能相關(guān)的信息回答有關(guān)語料庫的問題。

與所有深層神經(jīng)網(wǎng)絡一樣，EAE包含神經(jīng)元(數(shù)學功能)，這些神經(jīng)元分層次排列以傳輸來自輸入數(shù)據(jù)的信號并調(diào)整每個連接的強度(權(quán)重)。這樣便可以提取特征并學會進行預測，但是由于EAE基于Transformer架構(gòu)，因此受到關(guān)注。這意味著每個輸出元素都連接到每個輸入元素，并且它們之間的權(quán)重是動態(tài)計算的。

獨特的是，EAE還包含實體存儲層，使其能夠“理解”并以高度數(shù)據(jù)有效的方式回答有關(guān)文本的問題。該模型直接從文本中學習知識，以及其他模型參數(shù)(即，從數(shù)據(jù)估算出的配置變量，并且在進行預測時模型需要此變量)，并將內(nèi)存與特定實體或數(shù)據(jù)類型(如標題和數(shù)字表達式)相關(guān)聯(lián)。

正如合著者所解釋的那樣，“ [例如，]傳統(tǒng)的變形金剛需要用“查爾斯”和“達爾文”這兩個詞來構(gòu)建查爾斯·達爾文的內(nèi)部表示形式，這兩個詞也可以用來指代非常不同的實體，例如查爾斯河或達爾文市。相反，EAE可以訪問“ Charles Darwin”的專用表示形式，該表示形式存儲了先前提到該實體的所有上下文。對于達爾文的其他提及，例如“查爾斯·羅伯特·達爾文”或“自然選擇之父”，也可以訪問該表示形式。檢索并重新集成了此內(nèi)存后，EAE可以更輕松地將問題與答案相關(guān)聯(lián)。”