斯坦福究警告：不要迷信大模型涌現(xiàn) 是度量選擇結(jié)果

斯坦福大學(xué)的研究者對(duì)于LLM涌現(xiàn)能力這一說(shuō)法有一定的質(zhì)疑，認(rèn)為這是人為進(jìn)行選擇度量方式最終所產(chǎn)生的結(jié)果，涌現(xiàn)是指在小模型當(dāng)中不存在，而出現(xiàn)在大規(guī)模模型當(dāng)中的一種能力，沒(méi)有那么多的奇跡會(huì)出現(xiàn)。

根據(jù)斯坦福大學(xué)研究者最新的研究情況，大模型的涌現(xiàn)能力和任務(wù)在評(píng)價(jià)方面指標(biāo)設(shè)置的強(qiáng)度有一定的關(guān)系而不是在特定任務(wù)和規(guī)模下模型行為所發(fā)生的一種基本性質(zhì)的變化，將一些指標(biāo)變得更為連續(xù)和平滑之后，涌現(xiàn)的這種現(xiàn)象就不會(huì)十分明顯而適合現(xiàn)行更為接近。

涌現(xiàn)能力首先是在GPT-3這一個(gè)家族系列當(dāng)中發(fā)現(xiàn)，在后續(xù)的工作過(guò)程中，對(duì)于這一發(fā)現(xiàn)再次做出了強(qiáng)調(diào)，表示特定的任務(wù)上有一些性能在規(guī)模上有時(shí)是比較難預(yù)測(cè)的涌現(xiàn)，這種涌現(xiàn)出來(lái)的能力讓人感覺(jué)到較為驚訝。所以突然特定出線的能力方面的擴(kuò)展也被認(rèn)為是大型語(yǔ)言模型其中的兩個(gè)定義的特征其中之一。

斯坦福大學(xué)研究者對(duì)于特定任務(wù)中輸出作為模型規(guī)模的函數(shù)涌現(xiàn)性以及不可預(yù)測(cè)的變化作出了質(zhì)疑，在模型組出現(xiàn)錯(cuò)誤率的情況，跟隨著模型規(guī)模的增加會(huì)更為持續(xù)平滑并且發(fā)生可以預(yù)測(cè)到的一些變化，看似突然出現(xiàn)了一些不可預(yù)測(cè)的尖銳程度的變化，很可能是研究者在測(cè)量方法上選擇的不同引起的現(xiàn)象。

這就意味著表現(xiàn)這種能力可能是一種虛假的情況，一部分原因是因?yàn)樵跍y(cè)試數(shù)據(jù)上擁有太少，對(duì)于較小模型的性能不能夠準(zhǔn)確地做出估計(jì)，另一部分原因是因?yàn)閷?duì)于大規(guī)模的模型過(guò)少的做出了估計(jì)。