微軟與Azure Data Explorer合作進(jìn)行實(shí)時(shí)分析

Azure Data Explorer KQL查詢和可視化結(jié)果Fastlyis是一個(gè)邊緣的云平臺(tái)提供商，它說(shuō)，處理大約10%的互聯(lián)網(wǎng)請(qǐng)求。Azure Data Explorer(ADX——前身是project“Kusto”)是微軟基于云的大數(shù)據(jù)分析平臺(tái)。ADX仍處于公開(kāi)預(yù)覽階段，但Fastly已與微軟合作，基于ADX創(chuàng)建了一個(gè)面向客戶的實(shí)時(shí)分析大流量點(diǎn)擊流數(shù)據(jù)的解決方案。

另外:微軟云服務(wù)將遭遇全球認(rèn)證中斷

我已經(jīng)熟悉了Azure Data Explorer，但與Fastly的戰(zhàn)略合作伙伴主管(前產(chǎn)品主管)Lee Chen的交談幫助我理解了為什么Fastly- adx解決方案是創(chuàng)新的。這個(gè)背景也幫助我更好地理解ADX本身是關(guān)于什么的。這是非常有用的見(jiàn)解，因?yàn)樘孤实卣f(shuō)，Azure Data Explorer的名稱——以及到目前為止的服務(wù)營(yíng)銷(xiāo)——可以讓它聽(tīng)起來(lái)像一個(gè)通用的分析產(chǎn)品。

ADX不是一個(gè)通用的數(shù)據(jù)服務(wù)，盡管它的名字。它可以處理快速數(shù)據(jù)，但它本身不是一個(gè)流數(shù)據(jù)平臺(tái)——Azure事件中心服務(wù)承擔(dān)了這種工作負(fù)載，Azure HDInsight Kafka集群也是如此。如本文頂部的圖所示，ADX還允許使用一種名為KQL (Kusto Query language)的類(lèi)似sql的語(yǔ)言來(lái)查詢和可視化其數(shù)據(jù)。但ADX也不是一個(gè)流分析或數(shù)據(jù)可視化平臺(tái)——Azure流分析、Azure數(shù)據(jù)倉(cāng)庫(kù)和Power BI都提供這些工作負(fù)載。

相反，ADX將這些功能與時(shí)間序列分析功能結(jié)合在一起，對(duì)大量數(shù)據(jù)執(zhí)行查詢——響應(yīng)時(shí)間類(lèi)似于BI平臺(tái)對(duì)相對(duì)較小的數(shù)據(jù)集的響應(yīng)時(shí)間。微軟聲稱ADX可以“在幾秒鐘內(nèi)查詢數(shù)十億條記錄”。微軟自己也使用ADX來(lái)支持azure Monitor和azure時(shí)間序列洞察服務(wù)。

這些功能可以快速地收集所有在互聯(lián)網(wǎng)邊緣位置點(diǎn)擊的數(shù)據(jù)，讓客戶likeTaboola幾乎實(shí)時(shí)地分析他們的數(shù)據(jù)，或者超過(guò)之前7天(即將30天)的歷史數(shù)據(jù)。這是一個(gè)不小的成就，因?yàn)門(mén)aboola每天生成220億條edge交付日志記錄——大約17tb的數(shù)據(jù)。除了這些數(shù)據(jù)量之外，F(xiàn)astly還提供了從網(wǎng)絡(luò)邊緣直接到Azure Blob存儲(chǔ)的所有實(shí)時(shí)日志數(shù)據(jù)，結(jié)合ADX的特性集，允許解決方案監(jiān)視站點(diǎn)性能并在出現(xiàn)問(wèn)題時(shí)進(jìn)行故障排除。

微軟在一篇博文中詳細(xì)介紹了ADX/Fastly解決方案。Taboola也在自己的帖子中描述了這個(gè)解決方案。坦率地說(shuō)，這兩篇文章都是為了宣傳。但是，除了營(yíng)銷(xiāo)之外，這個(gè)解決方案還有一些有趣的收獲。首先，列存儲(chǔ)和索引的組合(都是由ADX實(shí)現(xiàn)的)可以產(chǎn)生驚人的結(jié)果。其次，對(duì)真正的大數(shù)據(jù)進(jìn)行時(shí)間序列分析實(shí)際上是很簡(jiǎn)單的。

但像ADX這樣的專(zhuān)有解決方案可能是實(shí)現(xiàn)這一目標(biāo)所必需的。雖然可以串一個(gè)定制的解決方案——使用喜歡的,說(shuō),Apache卡夫卡和Apache火花的火花流組件——這樣的解決方案將涉及很多復(fù)雜和需要各種技能,加上積極管理規(guī)模的基礎(chǔ)設(shè)施。但ADX可以按需供應(yīng)，自動(dòng)伸縮，而且就技能而言，它只需要學(xué)習(xí)服務(wù)的查詢語(yǔ)言。它所提供的價(jià)值是巨大的。由于源數(shù)據(jù)可以存儲(chǔ)在云存儲(chǔ)中，所以仍然可以通過(guò)Hadoop和Spark等開(kāi)源技術(shù)查詢。

最后，如果您使用運(yùn)行在Kubernetes集群中的開(kāi)放源碼解決方案來(lái)完成所有工作，那么您將擁有大量跨公共云和企業(yè)數(shù)據(jù)中心的可移植性。但是，對(duì)于純粹的開(kāi)源解決方案，投入市場(chǎng)/實(shí)現(xiàn)價(jià)值的時(shí)間和項(xiàng)目的成功可能更具挑戰(zhàn)性。這明確了云數(shù)據(jù)分析的取舍。Taboola的信息技術(shù)副總裁Ariel Pisetzky說(shuō):“Azure數(shù)據(jù)瀏覽器，加上Fastly的實(shí)時(shí)日志記錄，以更快的更新速度和直觀的交互界面超越了我們之前的解決方案。另外，它非常簡(jiǎn)單，我們?cè)谝恢軆?nèi)就開(kāi)始運(yùn)行，每天攝入和分析17tb的數(shù)據(jù)。”

不過(guò)，這種計(jì)算方法并不適用于所有人。您的團(tuán)隊(duì)將需要權(quán)衡易實(shí)現(xiàn)性與鎖定關(guān)注點(diǎn)，并據(jù)此選擇解決方案。不過(guò)，無(wú)論如何，我們都很高興知道，云計(jì)算和更新的數(shù)據(jù)技術(shù)正在把像Fastly這樣的解決方案放在觸手可及的地方。