微軟打造了自己的云大數(shù)據(jù)

許多在微軟數(shù)據(jù)庫(kù)和云生態(tài)系統(tǒng)工作的數(shù)據(jù)專業(yè)人士一直在想，微軟何時(shí)會(huì)提供云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，以與亞馬遜的RedShift競(jìng)爭(zhēng)。這個(gè)答案今天在舊金山舉行的微軟構(gòu)建會(huì)議的開幕主題會(huì)議上出現(xiàn)，當(dāng)時(shí)執(zhí)行副總裁ScottGuthrie宣布了名為Azure數(shù)據(jù)倉(cāng)庫(kù)(Azure Data Warehouse)的恰當(dāng)名稱。

隨之而來(lái)的是兩個(gè)互補(bǔ)服務(wù)的消息：Azure DataLake和Azure SQL數(shù)據(jù)庫(kù)的彈性數(shù)據(jù)庫(kù)（SQLServer的云味，Micros of t旗艦關(guān)系數(shù)據(jù)庫(kù)）。雖然這兩個(gè)公告似乎只是為了實(shí)現(xiàn)，但事實(shí)上，這三個(gè)產(chǎn)品之間存在著協(xié)同和和諧。

微軟：Windows 10將在兩到三年內(nèi)在10億臺(tái)設(shè)備上運(yùn)行。

MicrosoftExec聲稱Windows10將在2到3年時(shí)間內(nèi)安裝在10億個(gè)設(shè)備上，這意味著到2018年夏季。

但首先要有細(xì)微差別AzureDataWarehouse不僅僅是Redshift的一個(gè)對(duì)抗，它是對(duì)其經(jīng)濟(jì)模式的挑戰(zhàn)。使用Redshift，縮放單位是集群中的節(jié)點(diǎn)數(shù)。換句話說，您可以擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)，但必須這樣做，以便計(jì)算和存儲(chǔ)在鎖定步驟中增加。AzureDataWarehouse(ADW)可分離計(jì)算和存儲(chǔ)，從而使其可以單獨(dú)縮放。

這是一個(gè)非常不同的經(jīng)濟(jì)模式，很可能會(huì)節(jié)省客戶的錢。因?yàn)槌嗽谛枰啻鎯?chǔ)時(shí)僅僅消除多余計(jì)算的供應(yīng)（反之亦然）之外，ADW模型還允許在不使用時(shí)暫停計(jì)算，并在需要時(shí)恢復(fù)按需計(jì)算。這反過來(lái)又允許計(jì)算的實(shí)用程序計(jì)費(fèi)，這與Red Shift模型形成了鮮明的對(duì)比，在該模型中，您對(duì)構(gòu)成集群中節(jié)點(diǎn)的所有虛擬機(jī)（VM）進(jìn)行了24/7計(jì)費(fèi)。

ADW通過使用Azure存儲(chǔ)BLOB（即其云存儲(chǔ)服務(wù)，類似于AmazonS3）而不是VM上的本地驅(qū)動(dòng)器來(lái)實(shí)現(xiàn)此存儲(chǔ)獨(dú)立性。這可能導(dǎo)致性能的巨大差異，而不是Azure數(shù)據(jù)倉(cāng)庫(kù)的青睞。但是，當(dāng)我在本周早些時(shí)候由數(shù)據(jù)平臺(tái)公司副總裁ShawnBice的數(shù)據(jù)平臺(tái)公司副總裁ShawnBice向我介紹了該服務(wù)時(shí)，他們向我保證，性能優(yōu)異。我的易患的朋友一定要在那里盡職盡責(zé)地幫助我。

那么Hadoop呢？ADW是一個(gè)千兆級(jí)的服務(wù)--但是如果我們談?wù)摰氖菙?shù)據(jù)容量，Hadoop不應(yīng)該成為對(duì)話的一部分嗎？永遠(yuǎn)不要害怕，它是的。首先，由于ADW的構(gòu)建技術(shù)與微軟在其分析平臺(tái)系統(tǒng)(APS--即以前的SQL Server并行數(shù)據(jù)倉(cāng)庫(kù))中使用的技術(shù)相同，所以它包含了一種稱為PolyBase的技術(shù)，我之前已經(jīng)寫過了。

多基站允許AP和ADW直接或通過將某些工作委托給Hadoop本身來(lái)查詢Hadoop集群中的數(shù)據(jù)。Hadoop數(shù)據(jù)是用來(lái)查找數(shù)據(jù)倉(cāng)庫(kù)本地的，因此開發(fā)人員和數(shù)據(jù)庫(kù)管理員可以使用現(xiàn)有技能集進(jìn)行查詢。多基站可以以這種方式集成Hadoop，而不管它與云中的MicrosoftHDInsight群集、或在AzureVM上運(yùn)行的HortonWorks或Cloudera群集是否在前提下運(yùn)行。

現(xiàn)在，隨著ADW的發(fā)展，微軟發(fā)布了一款全新的Azure存儲(chǔ)，叫做Azure DataLake。后者可以處理流數(shù)據(jù)(低延遲，高容量，短更新)，是地理分布的，數(shù)據(jù)局部性，并允許單個(gè)文件的大小為千兆字節(jié)規(guī)模。

當(dāng)然，Azure數(shù)據(jù)湖可以用Azure存儲(chǔ)API來(lái)解決，但它也與Hadoop分布式文件系統(tǒng)(HDFS)兼容。這意味著相同范圍的Hadoop集群可以使用ADW/PolyBase反過來(lái)使用它。

同時(shí)，回到OLTP ranchDate倉(cāng)庫(kù)和Hadoop集群是很棒的，但是我們不要忘記生成那些分析工具所需的事務(wù)性數(shù)據(jù)的生產(chǎn)應(yīng)用程序和數(shù)據(jù)庫(kù)。在微軟的云中，這將帶我們進(jìn)入Azure SQL數(shù)據(jù)庫(kù)(順便說一句，它的版本12技術(shù)也是ADW的基礎(chǔ))。

物聯(lián)網(wǎng)與大數(shù)據(jù)的力量

我們深入研究物聯(lián)網(wǎng)將在哪里產(chǎn)生最大的影響，以及它對(duì)大數(shù)據(jù)分析的未來(lái)意味著什么。

讀更多

SQLDB的新特性是什么？供應(yīng)能力的新選擇，就是這樣。正如耦合存儲(chǔ)和計(jì)算在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域引入了低效率一樣，與特定數(shù)據(jù)庫(kù)或碎片(分區(qū))的耦合規(guī)模也會(huì)導(dǎo)致OLTP效率低下。原因是：相對(duì)于其他單位，數(shù)據(jù)庫(kù)容量可能會(huì)以相當(dāng)不穩(wěn)定的方式增長(zhǎng)或縮小，因此，總體上的供應(yīng)能力可能更有吸引力。

Azure SQL DB彈性數(shù)據(jù)庫(kù)允許這種面向聚合的能力供應(yīng)，為亞馬遜的關(guān)系數(shù)據(jù)庫(kù)服務(wù)(RDS)提供了又一種經(jīng)濟(jì)模式挑戰(zhàn)，據(jù)我所知，RDS還沒有類似的選擇。

顧客贏比賽是好的?？梢哉f，如果亞馬遜當(dāng)初沒有用RedShift打亂Redmond的話，微軟就不會(huì)放棄它的愚蠢之處，并提供ADW。新的計(jì)費(fèi)模式可能被AWS提供的SPOT實(shí)例模型所催化，至少在一定程度上是如此?，F(xiàn)在，微軟正在做出回應(yīng)，不僅僅是在實(shí)現(xiàn)均等方面，還包括進(jìn)一步采取一些重要步驟。

亞馬遜將如何回應(yīng)？它已經(jīng)提出了一個(gè)機(jī)器學(xué)習(xí)服務(wù)來(lái)對(duì)抗Azure，我懷疑它也會(huì)在數(shù)據(jù)倉(cāng)庫(kù)、存儲(chǔ)和OLTP軸上做出反應(yīng)。讓我們不要忘記Google也在這個(gè)游戲中，有Hadoop，BigQuery和它自己的云存儲(chǔ)。

只要客戶能及時(shí)了解所提供的產(chǎn)品，他們就能從這種創(chuàng)新紅利中獲益。云供應(yīng)商需要在那里提供幫助，仔細(xì)而清晰地解釋他們的新產(chǎn)品。