機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施的頂級AI研究進(jìn)展

隨著深度學(xué)習(xí)模型在現(xiàn)實世界中的業(yè)務(wù)應(yīng)用中變得越來越流行以及訓(xùn)練數(shù)據(jù)集變得越來越大，機(jī)器學(xué)習(xí)(ML)基礎(chǔ)結(jié)構(gòu)正成為許多公司中的關(guān)鍵問題。

為了幫助您了解ML基礎(chǔ)架構(gòu)的最新研究進(jìn)展，我們總結(jié)了最近在該領(lǐng)域引入的一些最重要的研究論文。閱讀這些摘要時，您將可以從領(lǐng)先的科技公司(包括Google，Microsoft和LinkedIn)的經(jīng)驗中學(xué)習(xí)。

我們選擇的論文涵蓋了數(shù)據(jù)標(biāo)簽和數(shù)據(jù)驗證框架，用于ML模型的分布式訓(xùn)練的不同方法，用于跟蹤生產(chǎn)中ML模型性能的新穎方法等等。

標(biāo)記培訓(xùn)數(shù)據(jù)越來越成為部署機(jī)器學(xué)習(xí)系統(tǒng)的最大瓶頸。我們展示了Snorkel，這是首創(chuàng)??的系統(tǒng)，它使用戶能夠訓(xùn)練最先進(jìn)的模型而無需人工標(biāo)記任何訓(xùn)練數(shù)據(jù)。相反，用戶編寫了表示任意試探法的標(biāo)簽函數(shù)，這些試探法可能具有未知的準(zhǔn)確度和相關(guān)性。通過整合我們最近提出的機(jī)器學(xué)習(xí)范例數(shù)據(jù)編程的第一個端到端實現(xiàn)，Snorkel對輸出進(jìn)行了降噪處理而無須了解真實情況。我們根據(jù)過去一年與公司，代理商和研究實驗室的合作經(jīng)驗，提供了一個靈活的接口層來編寫標(biāo)簽功能。在用戶研究中，主題專家構(gòu)建模型的速度提高了2.8倍，平均預(yù)測性能提高了45倍。相對于7個小時的手工貼標(biāo)，為5%。我們研究了在這種新設(shè)置中的建模權(quán)衡，并提出了用于自動權(quán)衡決策的優(yōu)化器，該優(yōu)化器可使每次管道執(zhí)行的速度提高1.8倍。通過與退伍事務(wù)部和食品與藥物管理局的兩次合作，在代表其他部署的四個開源文本和圖像數(shù)據(jù)集上，Snorkel的預(yù)測性能比以前的啟發(fā)式方法平均提高了132%，并且不超過大型手工策展訓(xùn)練集的預(yù)測性能的3.60%。