富士通開發(fā)自動調(diào)整計算精度以加速AI處理10倍的技術(shù)

富士通實驗室有限公司日前宣布了一項新的“內(nèi)容感知計算”技術(shù)的開發(fā)，該技術(shù)可以在提高計算速度的同時控制準(zhǔn)確性。該技術(shù)是為響應(yīng)AI技術(shù)的發(fā)展和普及對計算能力的不斷增長的需求而開發(fā)的。

將這項新技術(shù)應(yīng)用于深度學(xué)習(xí)任務(wù)有望將計算速度提高十倍，從而使將AI用于更廣泛的未來應(yīng)用程序變得更加容易。

發(fā)展背景

近年來，人工智能技術(shù)在圖像識別和語音翻譯等領(lǐng)域的廣泛應(yīng)用導(dǎo)致對處理能力的需求不斷增加，使現(xiàn)有技術(shù)難以承受極限。為響應(yīng)這種趨勢，已經(jīng)開發(fā)了針對這種性質(zhì)的AI應(yīng)用進行了優(yōu)化的新型GPU和專用處理器。根據(jù)特定的應(yīng)用程序，可以在各種環(huán)境中計算AI任務(wù)，范圍從云環(huán)境到邊緣計算上下文。提供穩(wěn)定性和快速處理能力的技術(shù)將越來越有必要提供處理苛刻的AI任務(wù)所需的計算能力。

問題

圖形處理單元(GPU)和專用處理器提高了計算性能，但是還沒有趕上AI的計算需求。作為進一步簡化AI任務(wù)性能的一種手段，人們對減輕計算負擔(dān)和提高速度的技術(shù)的興趣日益濃厚。

例如，在深度學(xué)習(xí)中計算神經(jīng)網(wǎng)絡(luò)算法時，一種實現(xiàn)更高性能速度的方法是將運算精度從32位降低到8位，并執(zhí)行4次并行運算。不幸的是，如果均勻地降低操作精度，則操作結(jié)果也會惡化。

因此，受過訓(xùn)練的專家必須努力確定應(yīng)該通過反復(fù)試驗來降低哪個區(qū)域的計算精度。這種方法證明調(diào)整很耗時，每當(dāng)輸入數(shù)據(jù)或執(zhí)行環(huán)境發(fā)生變化時都需要重新調(diào)整。

關(guān)于最新技術(shù)

為了克服這些挑戰(zhàn)，富士通開發(fā)了“內(nèi)容感知計算”技術(shù)，該技術(shù)可自動控制并加快計算精度。這可以在包括GPU，CPU，云和邊緣在內(nèi)的各種執(zhí)行環(huán)境中實現(xiàn)更快的AI處理。該技術(shù)的特征如下。

1.自動減少技術(shù)

神經(jīng)網(wǎng)絡(luò)通常具有數(shù)值范圍，其中隨著學(xué)習(xí)的進行，每一層都收斂到相似的數(shù)值。根據(jù)計算過程中神經(jīng)網(wǎng)絡(luò)中每一層數(shù)值范圍的分布，根據(jù)學(xué)習(xí)情況確定計算精度的應(yīng)用程度，例如分布寬時位寬，而分布寬時位寬。學(xué)習(xí)是先進的和融合的(圖1)。這使得深度學(xué)習(xí)的速度比以前快三倍，同時減少了計算結(jié)果的下降。

2.同步緩解技術(shù)，可在并行環(huán)境中以性能波動實現(xiàn)高速執(zhí)行

在云環(huán)境或許多應(yīng)用程序共享CPU的其他環(huán)境中，由于通信沖突，處理中斷等，對某些節(jié)點的響應(yīng)可能會存在明顯的延遲。另一方面，在并行處理的每個操作中，估計終止處理時的處理時間的減少以及對操作結(jié)果的影響程度，并且控制每個操作的終止時間，使得可以最大程度地減少處理時間而不會惡化操作結(jié)果。這可實現(xiàn)更快的并行處理，從而使深度學(xué)習(xí)計算中的確認性能快3.7倍。

特效

最終，新開發(fā)的技術(shù)“ Content-Aware Computing”可以將AI任務(wù)的處理速度提高多達10倍。通過將此技術(shù)整合到AI框架和庫中，可以使用具有內(nèi)置低位計算功能的GPU和CPU加快云環(huán)境和數(shù)據(jù)中心中的AI處理。

未來的計劃

展望未來，富士通的目標(biāo)是將該技術(shù)整合到一個廣泛使用的AI框架中，并將成為使用深度學(xué)習(xí)執(zhí)行AI服務(wù)的基礎(chǔ)。