為什么這么多AI系統(tǒng)以Muppets命名?

人工智能的最大趨勢之一是機器學習模型的創(chuàng)建，該模型可以以前所未有的流暢度生成文字。這些程序可以改變游戲規(guī)則，可能會增強計算機解析和產(chǎn)生語言的能力。

但是，基本上沒有引起注意的是第二趨勢-第一個趨勢的陰影-也就是說：這些工具中有驚人數(shù)量是以Muppets命名的。

迄今為止，語言認可這個新的品種包括埃爾莫，一個BERT，一個格羅弗，一個大鳥，一個羅西塔，一個羅伯塔，至少2搖獎S(三個IF你包括搖獎2.0)，和KERMIT。像谷歌，F(xiàn)acebook和艾倫AI研究所這樣的大型科技公司都參與其中，并且這種熱潮遍布全球，搜索巨頭百度和北京清華大學都在提供模型。命名約定非常完善，以至于有時將這些系統(tǒng)稱為“ Muppetware”。但是，誰發(fā)起了約定，為什么?

您可能已經(jīng)猜到了，簡單的答案是：這是個玩笑，研究人員以Muppets命名AI模型，因為其他研究人員也以Muppets命名了AI模型。但這恰恰是一個笑話，突顯了AI研究的一個特殊特征，表明了實驗室如何向彼此的工作表示敬意并以此為基礎。

2018年：語言模型論文必須引入芝麻街相關的縮寫詞

2019年：語言模型論文的標題中需要芝麻街的笑話，所有講座至少需要一張芝麻街的形象。

2020年：ACL / NAACL與芝麻街大會并列，Big Bird發(fā)表了主題演講。

-Miles Brundage(@Miles_Brundage)2019年6月11日

趨勢始于艾倫研究所設計的模型ELMo，該模型于2017年10月首次在網(wǎng)上發(fā)布。研究開辟新天地的情況經(jīng)常發(fā)生，該工作背后的團隊希望為其模型提供一個活潑的縮寫。該論文的主要作者馬特·彼得斯(Matt Peters)通過電子郵件告訴The Verge，他們就Slack進行了頭腦風暴。

彼得斯說：“我們有一個可用的縮寫字母列表。”他說：“語言模型，上下文，嵌入等。”是一位名叫喬爾·格魯斯(Joel Grus)的工程師，他提出了“ ELMo”來代表“來自語言模型的嵌入”，而名字“立即被卡住了”。

“我的大兒子當時大約三歲，這也是我將紙獻給他的方式。”

彼得斯說：“我喜歡它，因為它有些古怪而又令人難忘。”“我的大兒子當時大約三歲，這也是我將紙獻給他的方式。”

如果不是BERT的話，ELMo可能是一次性的。BERT是Google的AI團隊于2018年創(chuàng)建的一種語言模型。該模型被證明是強大而有影響力的，并將有關語言生成的許多新穎思想推向了AI主流。

BERT本身是Transformers雙向編碼器表示形式的正式代表，盡管Google拒絕了The Verge討論該名稱起源的多次請求，但人們普遍認為研究人員(如Allen的研究人員)都想到了Muppets。在Google自己關于該主題的博客文章中，該公司表示：“ BERT建立在對上下文表示進行預訓練的最新工作上，包括... ELMo。”

BERT通過大量測試獲得了最新的結果，并且非常成功，以至于Google最近將其納入了搜索引擎。模型發(fā)布后，Muppetware的閘門打開了，隨后又出現(xiàn)了許多帶有蠻力縮寫的聰明算法，包括ERNIE(通過知識集成的增強表示)，KERMIT(通過插入變換進行的康沃爾編碼表示)和Big BIRD(文檔的雙向大插入表示)。

但是趨勢不僅僅是玩笑。正如艾倫研究所(Allen Institute)首席執(zhí)行官Oren Etzioni解釋的那樣，這也是在AI世界中認識“智力債務”的一種嚴肅方法。“ ELMo因此一時興起，但是BERT直接建立在ELMo的洞察力之上;格羅弗(Grover)利用了BERT等。” Etzioni通過電子郵件告訴The Verge。“增強歸功于ELMo的信譽對我們非常重要……鼻煙壺不能緊隨其后!”

伯克利大學的博士生Mitchell Stern曾幫助創(chuàng)建KERMIT和Big BIRD，他說命名慣例雖然很有趣，但也有“品牌方面”的意思。

在MUPPETS之后命名模型是一種識別知識債務的方法

斯特恩在電子郵件中告訴《The Verge》：“鑒于這種趨勢的普及程度，在這一領域工作的人們自然會認識到包含芝麻街主題名稱的新論文。”盡管并非所有使用這些新技術的AI語言模型都以Muppet命名(OpenAI經(jīng)常使用的GPT-2是一個例外，盡管“ Snuffleupagus或簡稱Snuffy”在被認為太過輕率之前被視為一個名稱)，可以肯定的是，如果您看到了Muppetware模型，那么您就會知道它所使用的方法。

所有這些反過來又幫助我們理解AI世界如何依賴開放性和協(xié)作來生成和完善想法。人工智能不是一門學科，只有科學家們晚上在實驗室里辛苦勞作，通過處理器抽電，然后在發(fā)光的命令行上處理“它很活潑”。(免責聲明：這確實的確發(fā)生了，但它并不總是最有生產(chǎn)力的方法。)相反，進步往往是迭代的和協(xié)作的，一群研究人員在彼此的工作和思想上建立了基礎。

雖然Muppetware的笑話可能很快就會變薄，但在這種情況發(fā)生之前，這是很合適的傳統(tǒng)。畢竟，協(xié)作和尊重正是芝麻街角色引以為傲的特征。