深度學習反思克服了人工智能行業(yè)的主要障礙

萊斯大學的計算機科學家已經(jīng)克服了新興人工智能產(chǎn)業(yè)的一個主要障礙，表明如果沒有專門的加速硬件，如圖形處理單元(GPU)，就有可能加快深度學習技術(shù)。

來自賴斯的計算機科學家，在英特爾的合作者的支持下，今天將在奧斯汀會議中心展示他們的結(jié)果，作為機器學習系統(tǒng)會議MLSys的一部分。

許多公司正在大量投資于GPU和其他專門硬件，以實現(xiàn)深度學習，這是一種強大的人工智能形式，背后的數(shù)字助理，如Alexa和Siri，面部識別，產(chǎn)品推薦系統(tǒng)和其他技術(shù)。 例如，該行業(yè)金標TeslaV100TensorCore GPU的制造商Nvidia最近報告說，其第四季度收入比上一年增加了41%。

賴斯的研究人員創(chuàng)造了一個節(jié)省成本的替代GPU，一種稱為“次線性深度學習引擎”(SLIDE)的算法，它使用通用的中央處理單元(CPU)，沒有專門的加速硬件。

賴斯布朗工程學院的助理教授Anshumali Shrivastava說：“我們的測試表明，SLIDE是在CPU上進行深度學習的第一個智能算法實現(xiàn)，在具有大型全連接架構(gòu)的行業(yè)規(guī)模推薦數(shù)據(jù)集上，它可以優(yōu)于GPU硬件加速。

幻燈片不需要GPU，因為它需要一種根本不同的深度學習方法。 深度神經(jīng)網(wǎng)絡的標準“反向傳播”訓練技術(shù)需要矩陣乘法，這是GPU的理想工作負載。 使用SLIDE，Shrivastava，Chen和Medini將神經(jīng)網(wǎng)絡訓練變成了一個搜索問題，可以用哈希表來解決。

與反向傳播訓練相比，這從根本上減少了SLIDE的計算開銷.. 例如，一個頂級的GPU平臺，如亞馬遜、谷歌和其他為基于云的深度學習服務提供的平臺，有八個特斯拉V100s，成本約$10萬美元，Shrivastava說。

我們在實驗室里有一個，在我們的測試用例中，我們使用了一個非常適合V100的工作負載，一個在適合GPU內(nèi)存的大型、完全連接的網(wǎng)絡中具有超過1億個參數(shù)的工作負載。 “我們用谷歌的TensorFlow這個最好的軟件包來訓練它，花了3個半小時來訓練。

Shrivastava說：“我們的新算法可以在一小時內(nèi)完成訓練，而不是在GPU上，而是在44核Xeon級CPU上?！?/p>

深度學習網(wǎng)絡受到生物學的啟發(fā)，它們的中心特征，人工神經(jīng)元，是可以學習執(zhí)行特定任務的小型計算機代碼。 一個深度學習網(wǎng)絡可以包含數(shù)百萬甚至數(shù)十億的人工神經(jīng)元，它們可以一起工作，僅僅通過研究大量數(shù)據(jù)就可以學會做出人類層面的專家決策。 例如，如果一個深度神經(jīng)網(wǎng)絡被訓練來識別照片中的物體，它將使用不同的神經(jīng)元來識別貓的照片，而不是識別校車。

“你不需要在每個病例上訓練所有的神經(jīng)元，”梅迪尼說。 “我們想，‘如果我們只想選擇相關(guān)的神經(jīng)元，那就是一個搜索問題?！?因此，在算法上，我們的想法是使用局部敏感散列來擺脫矩陣乘法。

哈希是20世紀90年代為互聯(lián)網(wǎng)搜索而發(fā)明的一種數(shù)據(jù)索引方法。 它使用數(shù)字方法來編碼大量的信息，比如整個網(wǎng)頁或一本書的章節(jié)，作為一串數(shù)字，稱為散列。 哈希表是可以很快搜索的哈希表。

陳說：“在TensorFlow或Py Torch上實現(xiàn)我們的算法是沒有意義的，因為他們想做的第一件事就是把你正在做的任何事情轉(zhuǎn)換成矩陣乘法問題?！?“這正是我們想要擺脫的。 所以我們從頭開始編寫自己的C代碼?！?/p>

Shrivastava說，與反向傳播相比，SLIDE最大的優(yōu)勢在于它是數(shù)據(jù)并行的。

他說：“數(shù)據(jù)并行，我的意思是，如果我有兩個數(shù)據(jù)實例，我想訓練，假設一個是貓的圖像，另一個是公共汽車的圖像，它們可能會激活不同的神經(jīng)元，而幻燈片可以獨立更新或訓練這兩個?！?“這是對CPU并行性的更好利用。

與GPU相比，另一方面是我們需要很大的記憶力。 “主存儲器中有一個緩存層次結(jié)構(gòu)，如果您不小心，您可能會遇到一個名為緩存重擊的問題，在這個問題中，您會得到很多緩存丟失?！?/p>

Shrivastava說，他的小組第一次使用SLIDE的實驗產(chǎn)生了顯著的緩存沖擊，但他們的訓練時間仍然與GPU訓練時間相當或比GPU訓練時間更快。 因此，他、陳和梅迪尼在2019年3月在ar Xiv上發(fā)布了初步結(jié)果，并將他們的代碼上傳到GitHub。 幾周后，他們被英特爾聯(lián)系。

他說：“我們的英特爾合作者認識到緩存問題。 “他們告訴我們，他們可以和我們合作，使火車更快，他們是對的。 在他們的幫助下，我們的成績提高了大約50%。”

Shrivastava說，SLIDE尚未接近其潛力。

他說：“我們剛剛擦破了表面。 “我們還有很多事情要做。 例如，我們沒有在CPU中使用矢量化或內(nèi)置加速器，比如英特爾深度學習Boost。 我們還可以用很多其他的技巧來使這種速度更快?！?/p>

Shrivastava說，SLIDE很重要，因為它顯示了實現(xiàn)深度學習的其他方法。

陳說：“整個信息是，‘讓我們不要被乘法矩陣和GPU內(nèi)存所阻礙’。 “我們可能是第一個擊敗GPU的算法，但我希望這不是最后一個。 這個領(lǐng)域需要新的想法，這是MLSys的一大部分?！?/p>