其AI得分在蘇黎世聯(lián)邦理工學(xué)院推出的AI Benchmark榜單中位列前三

8月22日消息 此前，華為正式推出了麒麟810芯片，這款芯片采用華為自研的達(dá)芬奇架構(gòu)，其AI得分在蘇黎世聯(lián)邦理工學(xué)院推出的AI Benchmark榜單中位列前三。

華為在文章中同時表示，8月23日，采用達(dá)芬奇架構(gòu)的AI芯片Ascend910將正式商用發(fā)布，同時與之配套的新一代AI開源計算框架MindSpore也將同時亮相。

針對達(dá)芬奇框架，華為今天發(fā)文進(jìn)行深度科普。以下則是華為對達(dá)芬奇框架的科普內(nèi)容。

華為深度解讀達(dá)芬奇架構(gòu)：3D Cube計算引擎加速運算

源起：為什么要做達(dá)芬奇架構(gòu)?

華為預(yù)測，到2025年全球的智能終端數(shù)量將會達(dá)到400億臺，智能助理的普及率將達(dá)到90%，企業(yè)數(shù)據(jù)的使用率將達(dá)到86%?？梢灶A(yù)見，在不久的將來，AI將作為一項通用技術(shù)極大地提高生產(chǎn)力，改變每個組織和每個行業(yè)。為了實現(xiàn)AI在多平臺多場景之間的協(xié)同，華為設(shè)計達(dá)芬奇計算架構(gòu)，在不同體積和功耗條件下提供強勁的AI算力。

初見：達(dá)芬奇架構(gòu)的核心優(yōu)勢

達(dá)芬奇架構(gòu)，是華為自研的面向AI計算特征的全新計算架構(gòu)，具備高算力、高能效、靈活可裁剪的特性，是實現(xiàn)萬物智能的重要基礎(chǔ)。具體來說，達(dá)芬奇架構(gòu)采用3D Cube針對矩陣運算做加速，大幅提升單位功耗下的AI算力，每個AI Core可以在一個時鐘周期內(nèi)實現(xiàn)4096個MAC操作，相比傳統(tǒng)的CPU和GPU實現(xiàn)數(shù)量級的提升。

華為深度解讀達(dá)芬奇架構(gòu)：3D Cube計算引擎加速運算

同時，為了提升AI計算的完備性和不同場景的計算效率，達(dá)芬奇架構(gòu)還集成了向量、標(biāo)量、硬件加速器等多種計算單元。同時支持多種精度計算，支撐訓(xùn)練和推理兩種場景的數(shù)據(jù)精度要求，實現(xiàn)AI的全場景需求覆蓋。

深耕：達(dá)芬奇架構(gòu)的AI硬實力

科普1：常見的AI運算類型有哪些?

在了解達(dá)芬奇架構(gòu)的技術(shù)之前，我們先來弄清楚一下幾種AI運算數(shù)據(jù)對象：

標(biāo)量(Scalar)：由單獨一個數(shù)組成

向量(Vector)：由一組一維有序數(shù)組成，每個數(shù)由一個索引(index)標(biāo)識

矩陣(Matrix)：由一組二維有序數(shù)組成，每個數(shù)由兩個索引(index)標(biāo)識

張量(Tensor)：由一組n維有序數(shù)組成，每個數(shù)由n個索引(index)標(biāo)識

其中，AI計算的核心是矩陣乘法運算，計算時由左矩陣的一行和右矩陣的一列相乘，每個元素相乘之后的和輸出到結(jié)果矩陣。在此計算過程中，標(biāo)量(Scalar)、向量(Vector)、矩陣(Matrix)算力密度依次增加，對硬件的AI運算能力不斷提出更高要求。

典型的神經(jīng)網(wǎng)絡(luò)模型計算量都非常大，這其中99%的計算都需要用到矩陣乘，也就是說，如果提高矩陣乘的運算效率，就能最大程度上提升AI算力——這也是達(dá)芬奇架構(gòu)設(shè)計的核心：以最小的計算代價增加矩陣乘的算力，實現(xiàn)更高的AI能效。

科普2：各單元角色分工揭秘，Da Vinci Core是如何實現(xiàn)高效AI計算的?

在2018年全聯(lián)接大會上，華為推出AI芯片Ascend 310(昇騰310)，這是達(dá)芬奇架構(gòu)的首次亮相，Ascend 310相當(dāng)于AI芯片中的NPU。

其中，Da Vinci Core只是NPU的一個部分，Da Vinci Core內(nèi)部還細(xì)分成很多單元，包括核心的3D Cube、Vector向量計算單元、Scalar標(biāo)量計算單元等，它們各自負(fù)責(zé)不同的運算任務(wù)實現(xiàn)并行化計算模型，共同保障AI計算的高效處理。

華為深度解讀達(dá)芬奇架構(gòu)：3D Cube計算引擎加速運算

3D Cube矩陣乘法單元是AI計算的核心，這部分運算由3D Cube完成，Buffer L0A、L0B、L0C則用于存儲輸入矩陣和輸出矩陣數(shù)據(jù)，負(fù)責(zé)向Cube計算單元輸送數(shù)據(jù)和存放計算結(jié)果。

雖然Cube的算力很強大，但只能完成矩陣乘運算，還有很多計算類型要依靠Vector向量計算單元來完成。Vector的指令相對來說非常豐富，可以覆蓋各種基本的計算類型和許多定制的計算類型。

Scalar標(biāo)量運算單元主要負(fù)責(zé)AI Core的標(biāo)量運算，功能上可以看作一個小CPU，完成整個程序的循環(huán)控制，分支判斷，Cube、Vector等指令的地址和參數(shù)計算以及基本的算術(shù)運算等。

科普3：3D Cube計算方式的獨特優(yōu)勢是什么?

不同于以往的標(biāo)量、矢量運算模式，華為達(dá)芬奇架構(gòu)以高性能3D Cube計算引擎為基礎(chǔ)，針對矩陣運算進(jìn)行加速，大幅提高單位面積下的AI算力，充分激發(fā)端側(cè)AI的運算潛能。以兩個N*N的矩陣A*B乘法為例：如果是N個1D的MAC，需要N2的cycle數(shù);如果是1個N2的2D MAC陣列，需要N個Cycle;如果是1個N維3D的Cube，只需要1個Cycle。

達(dá)芬奇架構(gòu)將大幅提升算力，16*16*16的3D Cube能夠顯著提升數(shù)據(jù)利用率，縮短運算周期，實現(xiàn)更快更強的AI運算。舉例來說，同樣是完成4096次運算，2D結(jié)構(gòu)需要64行*64列才能計算，3D Cube只需要16*16*16的結(jié)構(gòu)就能算出。其中，64*64結(jié)構(gòu)帶來的問題是：運算周期長、時延高、利用率低。

達(dá)芬奇架構(gòu)的這一特性也體現(xiàn)在麒麟810上。作為首款采用達(dá)芬奇架構(gòu)NPU的手機SoC芯片，麒麟810實現(xiàn)強勁的AI算力，在單位面積上實現(xiàn)最佳能效，F(xiàn)P16精度和INT8量化精度業(yè)界領(lǐng)先。

麒麟810支持自研中間算子格式IR開放，算子數(shù)量多達(dá)240+，處于業(yè)內(nèi)領(lǐng)先水平。更多算子、開源框架的支持以及提供更加完備的工具鏈將助力開發(fā)者快速轉(zhuǎn)換集成基于不同AI框架開發(fā)出的模型，極大地增強了華為HiAI移動計算平臺的兼容性、易用性，提高開發(fā)者的效率，節(jié)約時間成本，加速更多AI應(yīng)用的落地。

預(yù)見：達(dá)芬奇架構(gòu)解鎖AI無限可能

基于靈活可擴展的特性，達(dá)芬奇架構(gòu)能夠滿足端側(cè)、邊緣側(cè)及云端的應(yīng)用場景，可用于小到幾十毫瓦，大到幾百瓦的訓(xùn)練場景，橫跨全場景提供最優(yōu)算力。

以Ascend芯片為例，Ascend-Nano可以用于耳機電話等IoT設(shè)備的使用場景;Ascend-Tiny和Ascend-Lite用于智能手機的AI運算處理;在筆記本電腦等算力需求更高的便攜設(shè)備上，由Ascend 310(Ascend-Mini)提供算力支持;而邊緣側(cè)服務(wù)器上則需要由Multi-Ascend 310完成AI計算;至于超復(fù)雜的云端數(shù)據(jù)運算處理，則交由算力最高可達(dá)256 TFLOPS@FP16的Ascend 910(Ascend-Max)來完成。正是由于達(dá)芬奇架構(gòu)靈活可裁剪、高能效的特性，才能實現(xiàn)對上述多種復(fù)雜場景的AI運算處理。

同時，選擇開發(fā)統(tǒng)一架構(gòu)也是一個非常關(guān)鍵的決策。統(tǒng)一架構(gòu)優(yōu)勢很明顯，那就是對廣大開發(fā)者非常利好?；谶_(dá)芬奇架構(gòu)的統(tǒng)一性，開發(fā)者在面對云端、邊緣側(cè)、端側(cè)等全場景應(yīng)用開發(fā)時，只需要進(jìn)行一次算子開發(fā)和調(diào)試，就可以應(yīng)用于不同平臺，大幅降低了遷移成本。不僅開發(fā)平臺語言統(tǒng)一，訓(xùn)練和推理框架也是統(tǒng)一的，開發(fā)者可以將大量訓(xùn)練模型放在本地和云端服務(wù)器，再將輕量級的推理工作放在移動端設(shè)備上，獲得一致的開發(fā)體驗。

在算力和技術(shù)得到突破性提升后，AI將廣泛應(yīng)用于智慧城市、自動駕駛、智慧新零售、機器人、工業(yè)制造、云計算AI服務(wù)等場景。未來，AI將應(yīng)用更加廣泛的領(lǐng)域，并逐漸覆蓋至生活的方方面面。