Snowflake如何挑戰(zhàn)云原生數(shù)據(jù)庫(kù)巨頭

云計(jì)算中出現(xiàn)了一種新的工作負(fù)載。早期的云都是關(guān)于基礎(chǔ)設(shè)施即服務(wù)的——旋轉(zhuǎn)存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)資源以支持初創(chuàng)企業(yè)、應(yīng)用程序開(kāi)發(fā)和測(cè)試、軟件即服務(wù)，并最終將更多的業(yè)務(wù)工作負(fù)載轉(zhuǎn)移到云上。

今天的云工作負(fù)載已經(jīng)超越了基礎(chǔ)設(shè)施服務(wù)，而且越來(lái)越多樣化。我們看到的最值得注意的創(chuàng)新之一是通過(guò)將人工智能注入到應(yīng)用程序中來(lái)利用數(shù)據(jù)，簡(jiǎn)化分析并借助云計(jì)算來(lái)提供近乎實(shí)時(shí)的商業(yè)洞察。在這一大趨勢(shì)的中心是一類新的數(shù)據(jù)存儲(chǔ)和分析數(shù)據(jù)庫(kù)，有些人稱之為企業(yè)數(shù)據(jù)倉(cāng)庫(kù)或EDW——這個(gè)術(shù)語(yǔ)對(duì)于今天的商業(yè)運(yùn)行速度來(lái)說(shuō)可能已經(jīng)過(guò)時(shí)了。

在這一突破性的分析中，我們深入研究了云數(shù)據(jù)庫(kù)市場(chǎng)，并仔細(xì)觀察了雪花公司(Snowflake Inc.)是如何與亞馬遜網(wǎng)絡(luò)服務(wù)公司(Amazon Web Services Inc.)的Redshift、谷歌LLC的BigQuery和微軟(Microsoft Corp.)的Azure Synapse等競(jìng)爭(zhēng)的。我們想要完成三件事:

云計(jì)算、數(shù)據(jù)科學(xué)工具和現(xiàn)代數(shù)據(jù)庫(kù)技術(shù)帶來(lái)了一場(chǎng)EDW市場(chǎng)的革命。EDW在支持公司的報(bào)告和治理要求，特別是支持薩班斯-奧克斯利法案的會(huì)計(jì)要求方面起到了關(guān)鍵作用。然而，從歷史上看，EDW未能實(shí)現(xiàn)其360度客戶視角和實(shí)時(shí)洞察的承諾。傳統(tǒng)的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)過(guò)于笨重、復(fù)雜、緩慢，跟不上業(yè)務(wù)的速度。

EDW是一個(gè)200億美元的市場(chǎng)，但我們認(rèn)為分析數(shù)據(jù)庫(kù)的機(jī)會(huì)更大。為什么?因?yàn)樵朴?jì)算開(kāi)啟了快速組合多個(gè)數(shù)據(jù)源的能力，將數(shù)據(jù)科學(xué)工具引入其中，快速分析數(shù)據(jù)并向業(yè)務(wù)提供接近實(shí)時(shí)的洞察力——或者，重要的是，允許業(yè)務(wù)線專業(yè)人員以自助服務(wù)模式訪問(wèn)數(shù)據(jù)。這是一種新的范式，將DevOps的概念應(yīng)用到數(shù)據(jù)管道中——想想敏捷數(shù)據(jù)或“DataOps”。

本地云分析數(shù)據(jù)庫(kù)的市場(chǎng)競(jìng)爭(zhēng)非常激烈。在上個(gè)十年的早期，我們看到谷歌將BigQuery帶入市場(chǎng)。但谷歌主要專注于自己的廣告業(yè)務(wù)，并花了數(shù)年時(shí)間將企業(yè)云作為優(yōu)先事項(xiàng)。

雪花公司成立于2012年，是市場(chǎng)的顛覆者。就在這個(gè)時(shí)候，AWS達(dá)成了一項(xiàng)協(xié)議，獲得了ParAccel MPP數(shù)據(jù)庫(kù)的知識(shí)產(chǎn)權(quán)，亞馬遜紅移就是在這個(gè)數(shù)據(jù)庫(kù)上建立起來(lái)的。在這十年的后期，微軟推出了SQL DW，并在幾周前的Build會(huì)議上發(fā)展成為Azure Synapse。還有其他公司，如IBM公司。

這里有很多利害關(guān)系。云提供商想要你的數(shù)據(jù)，因?yàn)樗麄兠靼走@是未來(lái)十年創(chuàng)新的關(guān)鍵要素之一。摩爾定律不再是經(jīng)濟(jì)增長(zhǎng)的主要?jiǎng)恿?。相反，今天是?shù)據(jù)和人工智能推動(dòng)了云計(jì)算的洞察力。

市場(chǎng)上出現(xiàn)了一個(gè)有趣的動(dòng)態(tài):雪花公司是這個(gè)領(lǐng)域的云專家，已經(jīng)獲得了超過(guò)10億美元的風(fēng)險(xiǎn)投資。它還面臨著大型云計(jì)算公司的挑戰(zhàn)，這些公司行動(dòng)迅速，經(jīng)常從雪花公司采取行動(dòng)，把客戶帶到他們各自的平臺(tái)上。但雪花也是云供應(yīng)商的主要合作伙伴，因?yàn)樗鼛椭N售基礎(chǔ)設(shè)施服務(wù)。

例如，雪花最大的云合作伙伴是AWS。雪花推動(dòng)了亞馬遜EC2的大量銷售。但AWS有紅移，它直接與雪花競(jìng)爭(zhēng)。紅移經(jīng)常宣布雪花已經(jīng)普及的功能。

這里有一個(gè)例子，我們?cè)谌ツ甑腁WS re:發(fā)明會(huì)議上報(bào)道過(guò)。來(lái)自ZDNet的Tony Baer在下面的文章中討論了AWS RA3是如何將計(jì)算與存儲(chǔ)分離的。當(dāng)然，這是雪花的創(chuàng)始建筑原則。

這是另一個(gè)來(lái)自信息報(bào)道的例子，微軟，雪花云的另一個(gè)合作伙伴，正在對(duì)雪花公司施加壓力。你可以看到下面高亮顯示的文本，作者談到了微軟試圖將客戶轉(zhuǎn)移到它的數(shù)據(jù)庫(kù)。

所以就有了這個(gè)奇怪的動(dòng)態(tài)。雪花不在本地?cái)?shù)據(jù)中心運(yùn)行。它只在云中運(yùn)行。它運(yùn)行在AWS、Azure和GCP上。云計(jì)算的玩家都想要你的數(shù)據(jù)進(jìn)入他們的數(shù)據(jù)庫(kù)，他們極力要求客戶使用專屬服務(wù)。與此同時(shí)，他們需要像Snowflake這樣的獨(dú)立軟件供應(yīng)商在他們的云中運(yùn)行，因?yàn)樗N售基礎(chǔ)設(shè)施服務(wù)，擴(kuò)展客戶選擇，發(fā)展生態(tài)系統(tǒng)。

雪花公司是否應(yīng)該轉(zhuǎn)向本地運(yùn)營(yíng)，以區(qū)別于云計(jì)算巨頭?今年早些時(shí)候，我們?cè)儐?wèn)了雪花公

這是Slootman明確的聲明。我們接下來(lái)要提出的問(wèn)題是:考慮到我們?cè)诿襟w文章中看到的傳統(tǒng)觀點(diǎn)，云計(jì)算玩家將會(huì)在這個(gè)市場(chǎng)上傷害雪花公司，雪花公司能否競(jìng)爭(zhēng)?如果是這樣，雪花將如何競(jìng)爭(zhēng)?

下面的圖表顯示了我們從ETR數(shù)據(jù)集中最喜歡的兩個(gè)指標(biāo)。凈得分，在y軸上——這是支出勢(shì)頭的衡量——和市場(chǎng)份額，在x軸上。市場(chǎng)份額是衡量數(shù)據(jù)集中的普遍性的指標(biāo)，而不是傳統(tǒng)的份額。它是一個(gè)公司被提及次數(shù)除以該行業(yè)被提及次數(shù)總數(shù)的計(jì)算。下面我們將展示EDW和云本地分析數(shù)據(jù)庫(kù)市場(chǎng)的一些主要參與者。

以下幾點(diǎn)值得注意:

底線是雙重的:1)云本地分析數(shù)據(jù)庫(kù)市場(chǎng)正在奪取錢包的份額;2)像過(guò)去幾次調(diào)查一樣，雪花牌繼續(xù)以最高的消費(fèi)速度在所有玩家中領(lǐng)先。

讓我們來(lái)看看雪花在“Big 3”云中的表現(xiàn)吧。我們從AWS開(kāi)始。

下面的圖表顯示了客戶在AWS賬戶中的消費(fèi)勢(shì)頭。我們削減了總樣本，只隔離了運(yùn)行AWS的ETR調(diào)查應(yīng)答者——N為672。條形圖顯示了Snowflake和Amazon紅移的凈分?jǐn)?shù)粒度。

我們發(fā)現(xiàn)，在672個(gè)AWS賬戶的N中，有96個(gè)共享N響應(yīng)雪花，213個(gè)共享N響應(yīng)紅移。顏色顯示的是相對(duì)于2019年的2020年消費(fèi)意向。從左到右閱讀:替換(明亮的紅色)，支出減少或增加6%(粉紅色)，持平支出(灰色)，支出增加超過(guò)6%(福雷斯特·格林)，平臺(tái)增加新內(nèi)容(石灰綠)。

凈得分是用綠色減去紅色。你可以看到，雪花在AWS云上的消費(fèi)勢(shì)頭比亞馬遜的紅移要大一些。

添加綠色條顯示，與2019年相比，2020年80%的AWS賬戶計(jì)劃在雪花上花費(fèi)更多。

其中約35%的消費(fèi)者將雪花作為新產(chǎn)品添加進(jìn)來(lái)。相比2019年，76%的AWS客戶計(jì)劃在2020年增加支出，12%的客戶計(jì)劃增加新支出。所以這兩家公司都顯示出非常強(qiáng)勁的支出速度，只有最小的紅色。

至關(guān)重要的是，要在6月份的ETR調(diào)查中看到雪花公司能否保住這些新賬戶。

讓我們看看ETR調(diào)查的數(shù)據(jù)來(lái)回答這個(gè)問(wèn)題。

所以我們?cè)谏厦骘@示的是相同的數(shù)據(jù)視圖，除了我們?cè)谡{(diào)查中隔離了677個(gè)Azure帳戶。我們展示了Snowflake和Microsoft對(duì)分析數(shù)據(jù)庫(kù)分別具有83和393個(gè)共享N響應(yīng)的cut -足以得出一些結(jié)論。

注意凈比分。雪花再次以78%對(duì)51%的價(jià)格勝出。再一次，你可以看到雪花公司有41%的新增業(yè)務(wù)，而微軟的凈得分是由現(xiàn)有客戶的增長(zhǎng)推動(dòng)的。兩家公司都很少出現(xiàn)紅色。

讓我們深入研究ETR調(diào)查的數(shù)據(jù)。

下面是上圖中數(shù)據(jù)的相同視圖。不同之處在于，現(xiàn)在我們隔離了298個(gè)運(yùn)行雪花和谷歌分析數(shù)據(jù)庫(kù)的GCP帳戶。49的雪花共享的N比其他云要小，因?yàn)樵摴疽荒昵皠倓傂贾С諫CP。但它仍然足夠大，可以從數(shù)據(jù)中得出結(jié)論。你可以看到谷歌共享N在147。

以凈得分或支出勢(shì)頭衡量，雪花再次以77.6%的顯著優(yōu)勢(shì)勝出，谷歌的得票率為54%。加上這兩條綠色的條，我們?cè)俅慰吹?，運(yùn)營(yíng)GCP的80%的雪花客戶希望在2020年增加對(duì)雪花的消費(fèi)。谷歌和雪花顯示很少的紅色-一個(gè)積極的跡象。

最重要的是，我們的數(shù)據(jù)顯示，在美國(guó)三大云服務(wù)提供商中，雪花公司的消費(fèi)勢(shì)頭要比獨(dú)占云服務(wù)提供商更強(qiáng)勁的云。

我們已經(jīng)報(bào)道了Snowflake是如何從一些傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)廠商，如Teradata和IBM，以及，從我們的數(shù)據(jù)來(lái)看，Oracle。我們已經(jīng)報(bào)道了IBM的研發(fā)預(yù)算是如何捉襟見(jiàn)肘的。Oracle比IBM更專注于數(shù)據(jù)庫(kù)，可以將更多的自由現(xiàn)金用于數(shù)據(jù)庫(kù)，但亞馬遜、微軟和谷歌沒(méi)有自由現(xiàn)金流問(wèn)題。

這對(duì)雪花來(lái)說(shuō)是一個(gè)挑戰(zhàn)。大型云計(jì)算公司將繼續(xù)投資并努力跟上雪花的步伐。下面是一個(gè)例子。以下是雪花和AWS在這一領(lǐng)域最近的部分創(chuàng)新。這里我們展示了雪花公司在2020年推出的一組功能，AWS在去年推出的一組功能。

其中許多特性將會(huì)引起數(shù)據(jù)庫(kù)專家的共鳴，比如物化視圖，并且已經(jīng)存在很長(zhǎng)時(shí)間了。云本地?cái)?shù)據(jù)存儲(chǔ)必須繼續(xù)添加成熟的on-prem棧多年來(lái)?yè)碛械年P(guān)鍵特性——尤其是治理和安全特性。但關(guān)鍵是，新的領(lǐng)導(dǎo)者正在以云本地的形式添加這些功能。

我們知道AWS在添加特性方面毫不懈怠。亞馬遜在研發(fā)上的投入是雪花公司的兩倍。那么，我們?yōu)槭裁聪矚g雪花的機(jī)會(huì)呢?

有幾個(gè)原因我們認(rèn)為雪花可以繼續(xù)領(lǐng)先。首先，雪花花在工程、上市和生態(tài)系統(tǒng)上的每一分錢都用于為客戶打造更好的數(shù)據(jù)庫(kù)。

在封鎖期間，我們?cè)儐?wèn)了Frank Slootman在大流行期間如何分配寶貴的資金。他的答復(fù)強(qiáng)調(diào)了這一點(diǎn):

Slootman在工程領(lǐng)域毫無(wú)保留地雇傭員工，因?yàn)檫@是未來(lái)的發(fā)展方向數(shù)據(jù)庫(kù)分析研究開(kāi)發(fā)

——Dave Vellante (@dvellante) 2020年6月6日

但這只是故事的一部分。

你們很多人都知道，直到最近我們都對(duì)多云持懷疑態(tài)度。我們說(shuō)過(guò)，到目前為止，多云是多廠商和主要廠商營(yíng)銷的一個(gè)癥狀。

這種情況正在開(kāi)始改變。我們認(rèn)為，對(duì)于組織來(lái)說(shuō)，多云是越來(lái)越可行和重要的，特別是當(dāng)它涉及到數(shù)據(jù)、數(shù)據(jù)位置和全球規(guī)模時(shí)。

首先，我們要重申，新的工作負(fù)載正在云計(jì)算中出現(xiàn)。實(shí)時(shí)人工智能、洞察提取和人工智能推斷將成為一種具有競(jìng)爭(zhēng)力的差異化工具。這種新的創(chuàng)新組合源于通過(guò)數(shù)據(jù)科學(xué)工具應(yīng)用于數(shù)據(jù)的機(jī)器智能，簡(jiǎn)化的界面使其能夠與云進(jìn)行伸縮。

因此，我們認(rèn)為跨云開(kāi)發(fā)是Snowflake和其他為多云構(gòu)建高質(zhì)量云本地能力的公司的一個(gè)區(qū)別。這對(duì)雪花來(lái)說(shuō)意味著什么?為云本地構(gòu)建功能——與將堆棧包裝起來(lái)在云中運(yùn)行相比——是一個(gè)關(guān)鍵的區(qū)別。

本地云意味著利用各自云中的原始功能、特性和api來(lái)創(chuàng)建盡可能高的性能、最低的延遲和最高效的服務(wù)。它為客戶提供了最安全的體驗(yàn)。最好的體驗(yàn)將通過(guò)在云中原生構(gòu)建來(lái)實(shí)現(xiàn)，這也是為什么Slootman在這個(gè)問(wèn)題上如此教條。

Multicloud是雪花的一個(gè)區(qū)分器。數(shù)據(jù)無(wú)處不在，你想把數(shù)據(jù)放在它所處的位置，在AWS, Azure或任何存儲(chǔ)數(shù)據(jù)的云上。如果您的查詢的答案需要通過(guò)數(shù)據(jù)網(wǎng)絡(luò)訪問(wèn)駐留在多個(gè)云中的數(shù)據(jù)，并且應(yīng)用程序需要快速的答案，那么您必須具有低延遲訪問(wèn)該數(shù)據(jù)的能力。

雪花的游戲,在我們看來(lái),是自動(dòng)化數(shù)據(jù)流的一部分通過(guò)抽象復(fù)雜位置和延遲相關(guān)數(shù)據(jù),元數(shù)據(jù),帶寬問(wèn)題,時(shí)間查詢,時(shí)間回答等,以及優(yōu)化部分的堆棧信息無(wú)關(guān)的數(shù)據(jù)的位置。

區(qū)分公式不僅是最好的分析數(shù)據(jù)庫(kù)，而且是不可知的。例如，AWS就有一個(gè)云議程。Azure和GCP也是如此。他們對(duì)多云的最佳回答是把一切都放在他們的云上。

當(dāng)然，他們會(huì)提供跨云服務(wù)，但雪花將把它作為首要任務(wù)，而且一定是最好的。云提供商只有在探索了“俘虜”選項(xiàng)之后，才會(huì)追求多云。這是一種微妙的動(dòng)態(tài)變化，但我們已經(jīng)在市場(chǎng)上看到了幾十年。

沒(méi)有云平臺(tái)議程的公司將會(huì)有一個(gè)強(qiáng)有力的論據(jù)，目前我們認(rèn)為在這個(gè)市場(chǎng)上，雪花公司在市場(chǎng)上的地位是最引人注目的。