網(wǎng)易開源分布式存儲(chǔ)系統(tǒng)曲線

科技巨頭網(wǎng)易最近宣布了一個(gè)名為Curve的高性能分布式存儲(chǔ)系統(tǒng)的開放源碼，網(wǎng)易聲稱該系統(tǒng)的性能可達(dá)Ceph的1.84倍。

根據(jù)網(wǎng)易的說法，Curve定位于提供高性能，低延遲的存儲(chǔ)擴(kuò)展塢，用戶可以在此基礎(chǔ)上為不同的應(yīng)用場(chǎng)景構(gòu)建存儲(chǔ)系統(tǒng)，包括塊存儲(chǔ)，對(duì)象存儲(chǔ)和云原生數(shù)據(jù)庫(kù)。

根據(jù)項(xiàng)目文檔，Curve具有三個(gè)主要功能：高性能，高可用性和自治性。

高性能：Curve團(tuán)隊(duì)引用了一些業(yè)界最高效的開源存儲(chǔ)系統(tǒng)，設(shè)計(jì)了一種新架構(gòu)來實(shí)現(xiàn)高性能和低延遲。

它使用brpc來確保網(wǎng)絡(luò)流量的高性能和低延遲，并使用基于Braft的麩來實(shí)現(xiàn)多副本一致性下的高性能和低延遲。

在磁盤IO端，Curve通過更細(xì)粒度的地址空間哈希來減少IO沖突。增加IO并發(fā)性，并使用chunkfilepool減小IO放大倍數(shù)以最大化限制硬件的性能。

Net已發(fā)布了比較Curve和Ceph L版本的測(cè)試數(shù)據(jù)。在單卷方案中，Curve的4K隨機(jī)讀取IOPS性能是Ceph的1.84倍，是Ceph的寫性能的1.58倍。Curve的4K隨機(jī)讀取IOPS性能是Ceph的1.84倍，其寫入性能是Ceph的1.58倍。

網(wǎng)易開源分布式存儲(chǔ)系統(tǒng)Curve-cnTechPost

高可用性：Curve設(shè)計(jì)為具有所有核心組件，它們可以全部容忍部分實(shí)例故障，而不會(huì)影響整個(gè)集群的可用性。

根據(jù)網(wǎng)易，Curve的客戶端IO不受單個(gè)存儲(chǔ)故障或系統(tǒng)蔓延的影響。

除了硬盤對(duì)接和服務(wù)進(jìn)程中斷等常見例外，IO抖動(dòng)也非常低。

當(dāng)然，故障恢復(fù)過程不會(huì)對(duì)上層IO產(chǎn)生重大影響。

自治：只需單擊即可部署和升級(jí)Curve，而在操作和維護(hù)方面的人工干預(yù)最少。

它基于開源項(xiàng)目(如bvar，Promethues和Grafana)構(gòu)建全面的指標(biāo)和警報(bào)系統(tǒng)。

目前，基于Curve的高性能塊存儲(chǔ)系統(tǒng)已應(yīng)用于網(wǎng)易的一些核心業(yè)務(wù)。

它支持快照克隆和恢復(fù)，支持QEMU虛擬機(jī)和物理機(jī)NBD設(shè)備兩種掛載方式。

網(wǎng)易介紹說，該系統(tǒng)已經(jīng)在線超過400天，沒有出現(xiàn)數(shù)據(jù)不一致或數(shù)據(jù)丟失的情況，但主要故障卻具有相當(dāng)?shù)目煽啃院统墒於取?/p>