微軟打造了自己的云大數(shù)據(jù)

許多在微軟數(shù)據(jù)庫和云生態(tài)系統(tǒng)工作的數(shù)據(jù)專業(yè)人士一直在想，微軟何時會提供云數(shù)據(jù)倉庫服務，以與亞馬遜的RedShift競爭。這個答案今天在舊金山舉行的微軟構建會議的開幕主題會議上出現(xiàn)，當時執(zhí)行副總裁ScottGuthrie宣布了名為Azure數(shù)據(jù)倉庫(Azure Data Warehouse)的恰當名稱。

隨之而來的是兩個互補服務的消息：Azure DataLake和Azure SQL數(shù)據(jù)庫的彈性數(shù)據(jù)庫（SQLServer的云味，Micros of t旗艦關系數(shù)據(jù)庫）。雖然這兩個公告似乎只是為了實現(xiàn)，但事實上，這三個產(chǎn)品之間存在著協(xié)同和和諧。

微軟：Windows 10將在兩到三年內(nèi)在10億臺設備上運行。

MicrosoftExec聲稱Windows10將在2到3年時間內(nèi)安裝在10億個設備上，這意味著到2018年夏季。

但首先要有細微差別AzureDataWarehouse不僅僅是Redshift的一個對抗，它是對其經(jīng)濟模式的挑戰(zhàn)。使用Redshift，縮放單位是集群中的節(jié)點數(shù)。換句話說，您可以擴展數(shù)據(jù)倉庫，但必須這樣做，以便計算和存儲在鎖定步驟中增加。AzureDataWarehouse(ADW)可分離計算和存儲，從而使其可以單獨縮放。

這是一個非常不同的經(jīng)濟模式，很可能會節(jié)省客戶的錢。因為除了在需要更多存儲時僅僅消除多余計算的供應（反之亦然）之外，ADW模型還允許在不使用時暫停計算，并在需要時恢復按需計算。這反過來又允許計算的實用程序計費，這與Red Shift模型形成了鮮明的對比，在該模型中，您對構成集群中節(jié)點的所有虛擬機（VM）進行了24/7計費。

ADW通過使用Azure存儲BLOB（即其云存儲服務，類似于AmazonS3）而不是VM上的本地驅(qū)動器來實現(xiàn)此存儲獨立性。這可能導致性能的巨大差異，而不是Azure數(shù)據(jù)倉庫的青睞。但是，當我在本周早些時候由數(shù)據(jù)平臺公司副總裁ShawnBice的數(shù)據(jù)平臺公司副總裁ShawnBice向我介紹了該服務時，他們向我保證，性能優(yōu)異。我的易患的朋友一定要在那里盡職盡責地幫助我。

那么Hadoop呢？ADW是一個千兆級的服務--但是如果我們談論的是數(shù)據(jù)容量，Hadoop不應該成為對話的一部分嗎？永遠不要害怕，它是的。首先，由于ADW的構建技術與微軟在其分析平臺系統(tǒng)(APS--即以前的SQL Server并行數(shù)據(jù)倉庫)中使用的技術相同，所以它包含了一種稱為PolyBase的技術，我之前已經(jīng)寫過了。

多基站允許AP和ADW直接或通過將某些工作委托給Hadoop本身來查詢Hadoop集群中的數(shù)據(jù)。Hadoop數(shù)據(jù)是用來查找數(shù)據(jù)倉庫本地的，因此開發(fā)人員和數(shù)據(jù)庫管理員可以使用現(xiàn)有技能集進行查詢。多基站可以以這種方式集成Hadoop，而不管它與云中的MicrosoftHDInsight群集、或在AzureVM上運行的HortonWorks或Cloudera群集是否在前提下運行。

現(xiàn)在，隨著ADW的發(fā)展，微軟發(fā)布了一款全新的Azure存儲，叫做Azure DataLake。后者可以處理流數(shù)據(jù)(低延遲，高容量，短更新)，是地理分布的，數(shù)據(jù)局部性，并允許單個文件的大小為千兆字節(jié)規(guī)模。

當然，Azure數(shù)據(jù)湖可以用Azure存儲API來解決，但它也與Hadoop分布式文件系統(tǒng)(HDFS)兼容。這意味著相同范圍的Hadoop集群可以使用ADW/PolyBase反過來使用它。

同時，回到OLTP ranchDate倉庫和Hadoop集群是很棒的，但是我們不要忘記生成那些分析工具所需的事務性數(shù)據(jù)的生產(chǎn)應用程序和數(shù)據(jù)庫。在微軟的云中，這將帶我們進入Azure SQL數(shù)據(jù)庫(順便說一句，它的版本12技術也是ADW的基礎)。

物聯(lián)網(wǎng)與大數(shù)據(jù)的力量

我們深入研究物聯(lián)網(wǎng)將在哪里產(chǎn)生最大的影響，以及它對大數(shù)據(jù)分析的未來意味著什么。

讀更多

SQLDB的新特性是什么？供應能力的新選擇，就是這樣。正如耦合存儲和計算在數(shù)據(jù)倉庫領域引入了低效率一樣，與特定數(shù)據(jù)庫或碎片(分區(qū))的耦合規(guī)模也會導致OLTP效率低下。原因是：相對于其他單位，數(shù)據(jù)庫容量可能會以相當不穩(wěn)定的方式增長或縮小，因此，總體上的供應能力可能更有吸引力。

Azure SQL DB彈性數(shù)據(jù)庫允許這種面向聚合的能力供應，為亞馬遜的關系數(shù)據(jù)庫服務(RDS)提供了又一種經(jīng)濟模式挑戰(zhàn)，據(jù)我所知，RDS還沒有類似的選擇。

顧客贏比賽是好的?？梢哉f，如果亞馬遜當初沒有用RedShift打亂Redmond的話，微軟就不會放棄它的愚蠢之處，并提供ADW。新的計費模式可能被AWS提供的SPOT實例模型所催化，至少在一定程度上是如此?，F(xiàn)在，微軟正在做出回應，不僅僅是在實現(xiàn)均等方面，還包括進一步采取一些重要步驟。

亞馬遜將如何回應？它已經(jīng)提出了一個機器學習服務來對抗Azure，我懷疑它也會在數(shù)據(jù)倉庫、存儲和OLTP軸上做出反應。讓我們不要忘記Google也在這個游戲中，有Hadoop，BigQuery和它自己的云存儲。

只要客戶能及時了解所提供的產(chǎn)品，他們就能從這種創(chuàng)新紅利中獲益。云供應商需要在那里提供幫助，仔細而清晰地解釋他們的新產(chǎn)品。