速度和容量受制No！高性能存儲(chǔ)的瓶頸不止于此

大家好，小科來為大家解答以上問題。速度和容量受制No！高性能存儲(chǔ)的瓶頸不止于此這個(gè)很多人還不知道，現(xiàn)在讓我們一起來看看吧！

1、這兩年，存儲(chǔ)市場(chǎng)非常熱鬧。SSD帶來的速度已經(jīng)體現(xiàn)在從消費(fèi)電子到超級(jí)計(jì)算的性能上。然而，隨著高性能計(jì)算走上全新的道路，大吞吐量和大容量不再是HPC存儲(chǔ)的唯一設(shè)計(jì)目標(biāo)。

2、那么，HPC存儲(chǔ)目前面臨哪些挑戰(zhàn)呢？首先，數(shù)據(jù)生成已經(jīng)逐漸被數(shù)據(jù)訪問所取代。在大數(shù)據(jù)環(huán)境中，IOPS要求隨機(jī)訪問小數(shù)據(jù)。

3、其次，“找到”真正需要的數(shù)據(jù)成為了最關(guān)鍵的環(huán)節(jié)，這也對(duì)元數(shù)據(jù)的統(tǒng)計(jì)、讀寫、刪除提出了更高的要求。

4、此外，近年來出現(xiàn)了不同的文件和數(shù)據(jù)形式，在處理時(shí)需要特別注意。高性能存儲(chǔ)必須具備大規(guī)模數(shù)據(jù)傳輸?shù)哪芰Α?/p>

5、新的高性能計(jì)算場(chǎng)景基于

6、以一些在建的智慧城市項(xiàng)目為例。城市里分散著很多傳感器和執(zhí)行器，比如激光雷達(dá)、攝像頭、微流控傳感器、電機(jī)等，都會(huì)產(chǎn)生PB級(jí)的原始數(shù)據(jù)。這些數(shù)據(jù)需要經(jīng)過壓縮、預(yù)處理、上傳、深度學(xué)習(xí)和推理，存儲(chǔ)可以說與邊緣計(jì)算和機(jī)器學(xué)習(xí)緊密相連。

7、再比如我們的自動(dòng)駕駛。今天的自動(dòng)駕駛方案都是通過數(shù)據(jù)和高性能計(jì)算來實(shí)現(xiàn)的。像特斯拉這樣的制造商甚至為其自動(dòng)駕駛技術(shù)的發(fā)展開發(fā)自己的芯片和超級(jí)計(jì)算機(jī)。

8、每天，自動(dòng)駕駛測(cè)試團(tuán)隊(duì)都會(huì)將PB級(jí)的遙測(cè)傳感數(shù)據(jù)傳輸?shù)綌?shù)據(jù)平臺(tái)，然后進(jìn)行標(biāo)記、分類、檢錯(cuò)、仿真，再放入大規(guī)模存儲(chǔ)系統(tǒng)。如此大規(guī)模的存儲(chǔ)平臺(tái)，不僅可能擴(kuò)展到EB級(jí)別，還可能承擔(dān)模擬、再處理和機(jī)器學(xué)習(xí)的繁重負(fù)荷。

9、在這些新場(chǎng)景賦予的挑戰(zhàn)下，出現(xiàn)了一波新技術(shù)，比如從PCIe 4.0過渡到PCIe 5.0，光模塊從200G過渡到400G，GPU直接存儲(chǔ)等特殊協(xié)議的使用等等。

10、這些技術(shù)大多提高了HPC存儲(chǔ)的吞吐量，更重要的是，優(yōu)化了特定工作流的效率。

11、高性能計(jì)算系統(tǒng)中存儲(chǔ)的組成

12、在目前的HPC場(chǎng)景下，無論是本地部署還是云環(huán)境，都需要一個(gè)計(jì)算平臺(tái)，可能是CPU的配置，也可能是CPU GPU/加速器的配置。該節(jié)點(diǎn)可以充分利用3D Xpoint等持久內(nèi)存，不僅可以在掉電情況下提供低延遲的內(nèi)存數(shù)據(jù)訪問而不丟失數(shù)據(jù)，還可以使用DAOS等分布式異步對(duì)象存儲(chǔ)的文件系統(tǒng)。

13、Lustre文件系統(tǒng)/Lustre

14、最后是數(shù)據(jù)管理，屬于大量數(shù)據(jù)的長(zhǎng)期存儲(chǔ)。比如像波音這樣的航空公司，需要存儲(chǔ)每架飛機(jī)50年以上的詳細(xì)數(shù)據(jù)，還要有數(shù)據(jù)溯源的能力。

15、這種存儲(chǔ)不需要有高速性能，但是可以在前端程序需要的時(shí)候提供即時(shí)交互。而且為了節(jié)約能源，需要實(shí)現(xiàn)所謂的“零功率存儲(chǔ)”。

16、超是怎么做到的？

17、在眾多超級(jí)計(jì)算機(jī)已經(jīng)布局百億億次系統(tǒng)的情況下，作為HPC中的頂級(jí)應(yīng)用，我們自然可以一窺端倪，看看目前主流的HPC存儲(chǔ)解決方案。

18、以計(jì)劃今年完成的前沿超級(jí)計(jì)算機(jī)為例。這臺(tái)超級(jí)計(jì)算機(jī)將成為第一臺(tái)計(jì)算能力約為1.5萬億次的計(jì)算機(jī)。

19、前沿超級(jí)計(jì)算機(jī)/AMD

20、Frontier采用了AMD的全套解決方案，結(jié)合了AMD的EPyc CPU和鐳龍Instinct GPU。在AMD的cache coherence互聯(lián)方案下，CPU上的代碼可以直接訪問GPU內(nèi)存，也就是我們上面說的GPU直接存儲(chǔ)技術(shù)。

21、在存儲(chǔ)系統(tǒng)上，F(xiàn)rontier采用了基于Lustre ZFS的679PB文件系統(tǒng)方案，用47700塊硬盤實(shí)現(xiàn)，最高速度可達(dá)5TB/s

22、在高速存儲(chǔ)中，有5400個(gè)NVMe固態(tài)硬盤，構(gòu)成11PB的存儲(chǔ)空間，提供10TB/s的讀取速度。

23、極光超級(jí)計(jì)算機(jī)/英特爾

24、Aurora作為今年推出的千萬億次超級(jí)計(jì)算機(jī)系統(tǒng)，選擇了英特爾的解決方案。單個(gè)計(jì)算節(jié)點(diǎn)由兩個(gè)Xeon Sapphire Rapids、六個(gè)Xeponte Vecchio GPUs和一個(gè)通用內(nèi)存架構(gòu)組成。

25、主存儲(chǔ)方案也選擇了Intel的DAOS文件系統(tǒng)，結(jié)合NVMe和傲騰持久內(nèi)存，形成大于230PB的系統(tǒng)，達(dá)到25 TB/s的速度

26、總結(jié)

27、除了上述挑戰(zhàn)，HPC存儲(chǔ)還面臨著最近內(nèi)存計(jì)算興起所帶來的計(jì)算能力挑戰(zhàn)。未來五年，存儲(chǔ)結(jié)構(gòu)、文件系統(tǒng)甚至存儲(chǔ)材料都將再次迎來新的變革。

28、這些變化將首先解決HPC中的問題，然后潛移默化地改善日常應(yīng)用。

本文到此結(jié)束，希望對(duì)大家有所幫助。