該工具可預(yù)測(cè)代碼在芯片上運(yùn)行的速度

麻省理工學(xué)院的研究人員發(fā)明了一種機(jī)器學(xué)習(xí)工具，可以預(yù)測(cè)計(jì)算機(jī)芯片執(zhí)行來(lái)自各種應(yīng)用程序的代碼的速度。

為了使代碼盡可能快地運(yùn)行，開(kāi)發(fā)人員和編譯器(將編程語(yǔ)言轉(zhuǎn)換為機(jī)器可讀代碼的程序)通常使用性能模型，這些模型通過(guò)模擬給定的芯片體系結(jié)構(gòu)來(lái)運(yùn)行代碼。

編譯器使用該信息來(lái)自動(dòng)優(yōu)化代碼，而開(kāi)發(fā)人員使用該信息來(lái)解決將運(yùn)行該代碼的微處理器的性能瓶頸。但是，機(jī)器代碼的性能模型是由相對(duì)較少的專家小組手寫(xiě)的，并且未經(jīng)適當(dāng)驗(yàn)證。結(jié)果，模擬的性能測(cè)量通常會(huì)偏離實(shí)際結(jié)果。

在一系列會(huì)議論文中，研究人員描述了一種新穎的機(jī)器學(xué)習(xí)管道，該管道可自動(dòng)執(zhí)行此過(guò)程，從而使其變得更輕松，更快，更準(zhǔn)確。在 6月份的國(guó)際機(jī)器學(xué)習(xí)大會(huì)上發(fā)表的 一篇論文中，研究人員介紹了Ithemal，這是一種神經(jīng)網(wǎng)絡(luò)模型，它以“基本塊”(計(jì)算指令的基本片段)的形式訓(xùn)練標(biāo)記數(shù)據(jù)，以自動(dòng)預(yù)測(cè)其持續(xù)時(shí)間使用給定的芯片執(zhí)行以前看不見(jiàn)的基本塊。結(jié)果表明，Ithemal的性能要比傳統(tǒng)的手動(dòng)調(diào)整模型精確得多。

然后，在11月舉行的IEEE國(guó)際工作負(fù)載表征研討會(huì)上，研究人員展示 了一個(gè)基準(zhǔn)測(cè)試套件，這些 套件來(lái)自多個(gè)領(lǐng)域，包括機(jī)器學(xué)習(xí)，編譯器，密碼學(xué)和可用于驗(yàn)證性能模型的圖形。他們將超過(guò)300,000個(gè)已分析的塊合并到一個(gè)名為BHive的開(kāi)源數(shù)據(jù)集中。在評(píng)估過(guò)程中，Ithemal預(yù)測(cè)了英特爾芯片運(yùn)行代碼的速度要比英特爾自身構(gòu)建的性能模型還要好。

最終，開(kāi)發(fā)人員和編譯器可以使用該工具來(lái)生成代碼，這些代碼可以在越來(lái)越多的多樣化“黑匣子”芯片設(shè)計(jì)上更快，更高效地運(yùn)行?，F(xiàn)代計(jì)算機(jī)處理器不透明，極其復(fù)雜且難以理解。編寫(xiě)對(duì)這些處理器執(zhí)行得盡可能快的計(jì)算機(jī)代碼也面臨著巨大的挑戰(zhàn)。”合著者邁克爾·卡賓(Michael Carbin)說(shuō)，他是電機(jī)工程與計(jì)算機(jī)科學(xué)系(EECS)的助理教授，計(jì)算機(jī)科學(xué)與工程學(xué)的研究員。人工智能實(shí)驗(yàn)室(CSAIL)。“該工具是朝著對(duì)這些芯片的性能進(jìn)行完全建模以提高效率的重要一步。”

最近，在 12月NeurIPS會(huì)議上發(fā)表的 一篇論文中，該團(tuán)隊(duì)提出了一種自動(dòng)生成編譯器優(yōu)化的新技術(shù)。具體來(lái)說(shuō)，它們會(huì)自動(dòng)生成一個(gè)名為Vemal的算法，該算法將某些代碼轉(zhuǎn)換為向量，可用于并行計(jì)算。Vemal優(yōu)于LLVM編譯器中使用的手工矢量化算法，LLVM編譯器是業(yè)界常用的編譯器。

從數(shù)據(jù)中學(xué)習(xí)

卡賓說(shuō)，手工設(shè)計(jì)性能模型可能是“一門(mén)妖術(shù)”。英特爾提供了超過(guò)3000頁(yè)的詳盡文檔，描述了其芯片的體系結(jié)構(gòu)。但是目前只有一小部分專家將構(gòu)建性能模型，以模擬這些架構(gòu)上代碼的執(zhí)行。

Mendis說(shuō)：“英特爾的文檔既沒(méi)有錯(cuò)誤也不完整，并且英特爾將省略某些事情，因?yàn)樗菍Ｓ械摹?rdquo; “但是，當(dāng)您使用數(shù)據(jù)時(shí)，您不需要了解文檔。如果有隱藏的東西，您可以直接從數(shù)據(jù)中學(xué)習(xí)。”

為此，研究人員記錄了給定微處理器用于計(jì)算基本塊指令的平均周期數(shù)-基本上是啟動(dòng)，執(zhí)行和關(guān)閉的順序-無(wú)需人工干預(yù)。使過(guò)程自動(dòng)化可以快速分析成千上萬(wàn)個(gè)塊。

特定領(lǐng)域的架構(gòu)

在培訓(xùn)中，Ithemal模型分析了數(shù)百萬(wàn)個(gè)自動(dòng)剖析的基本塊，以準(zhǔn)確了解不同的芯片體系結(jié)構(gòu)將如何執(zhí)行計(jì)算。重要的是，Ithemal將原始文本作為輸入，不需要手動(dòng)向輸入數(shù)據(jù)添加功能。在測(cè)試中，可以將以前看不見(jiàn)的基本塊和給定的芯片提供給Ithemal，并且Ithemal將生成一個(gè)數(shù)字，指示芯片將以多快的速度執(zhí)行該代碼。

研究人員發(fā)現(xiàn)，Ithemal的準(zhǔn)確率(即預(yù)測(cè)速度與實(shí)際速度之間的差異)比傳統(tǒng)的手工模型降低了50%。此外，在他們的下一篇論文中，他們表明Ithemal的錯(cuò)誤率是10%，而Intel性能預(yù)測(cè)模型在多個(gè)不同領(lǐng)域的各種基本塊上的錯(cuò)誤率是20%。

Mendis說(shuō)，該工具現(xiàn)在使人們可以更輕松地快速了解任何新芯片架構(gòu)的性能速度。例如，特定領(lǐng)域的體系結(jié)構(gòu)，例如Google專門(mén)用于神經(jīng)網(wǎng)絡(luò)的新型Tensor處理單元，目前正在構(gòu)建中，但并未得到廣泛理解。Mendis說(shuō)：“如果要在某些新架構(gòu)上訓(xùn)練模型，只需從該架構(gòu)收集更多數(shù)據(jù)，通過(guò)我們的探查器運(yùn)行它，使用該信息來(lái)訓(xùn)練Ithemal，現(xiàn)在您就有了一個(gè)預(yù)測(cè)性能的模型，” Mendis說(shuō)。

接下來(lái)，研究人員正在研究使模型可解釋的方法。機(jī)器學(xué)習(xí)在很大程度上是一個(gè)黑匣子，因此尚不清楚為什么特定模型會(huì)做出預(yù)測(cè)。“我們的模型說(shuō)一個(gè)處理器要執(zhí)行一個(gè)基本塊需要10個(gè)周期?，F(xiàn)在，我們正在嘗試找出原因。” Carbin說(shuō)。“對(duì)于這些類型的工具而言，這是一個(gè)很好的粒度級(jí)別，將是驚人的。”

他們還希望使用Ithemal進(jìn)一步增強(qiáng)Vemal的性能，并自動(dòng)實(shí)現(xiàn)更好的性能。