Microsoft推出Azure數(shù)據(jù)存儲Azure數(shù)據(jù)資源管理器

微軟繼續(xù)支持企業(yè)用戶的Azure數(shù)據(jù)服務(wù)產(chǎn)品，并宣布Azure Data Lake Storage Gen2和Azure Data Explorer現(xiàn)已普遍可供使用。此外，該公司還透露其Azure數(shù)據(jù)工廠映射數(shù)據(jù)流服務(wù)現(xiàn)在可供預(yù)覽，供用戶嘗試使用他們的Azure工作負(fù)載。

在最新的擴展服務(wù)是由朱莉婭·懷特，微軟的Azure的為公司副總裁近日宣布，在上一個帖子Azure的博客。

我們將繼續(xù)專注于使Azure成為您數(shù)據(jù)和分析的最佳場所，”懷特寫道。“Azure提供了最全面的分析平臺。通過這些更新，Azure鞏固了其在分析領(lǐng)域的領(lǐng)導(dǎo)地位。”

Azure Data Storage是云存儲，它結(jié)合了最好的分層文件系統(tǒng)和blob存儲，而Azure Data Explorer是一種快速，完全托管的服務(wù)，可以簡化對遙測，時間序列和日志數(shù)據(jù)的臨時和交互式分析，White寫道。“這項服務(wù)為Log Analytics，App Insights，Time Series Insights等其他Azure服務(wù)提供支持，可用于查詢流數(shù)據(jù)，以識別趨勢，檢測異常情況并診斷問題。”

視覺，無代碼體驗

她寫道，Azure數(shù)據(jù)工廠中新的映射數(shù)據(jù)流功能的預(yù)覽提供了可視的無代碼體驗，可幫助數(shù)據(jù)工程師將數(shù)據(jù)轉(zhuǎn)換為新用途。“這補充了Azure數(shù)據(jù)工廠的代碼優(yōu)先體驗，使各種技術(shù)水平的數(shù)據(jù)工程師能夠協(xié)作并構(gòu)建強大的混合數(shù)據(jù)轉(zhuǎn)換管道。”

Azure工程公司產(chǎn)品管理總監(jiān)Jurgen Willis在一篇相關(guān)文章中寫道，這兩個通用功能和預(yù)覽功能將為企業(yè)Azure用戶及其計算基礎(chǔ)架構(gòu)提供創(chuàng)新的可能性。

“ Azure數(shù)據(jù)湖存儲(ADLS)將Azure Blob存儲的可擴展性，成本效益，安全模型和豐富功能與高性能文件系統(tǒng)相結(jié)合，該系統(tǒng)專為分析而構(gòu)建，并與Hadoop分布式文件系統(tǒng)兼容，”Willis寫道。“在選擇云數(shù)據(jù)湖時，客戶不再需要在成本效益和性能之間進(jìn)行權(quán)衡。”

Willis寫道，新服務(wù)的一個主要優(yōu)先事項是確保ADLS與Apache生態(tài)系統(tǒng)兼容，這是通過開發(fā)Azure Blob文件系統(tǒng)(ABFS)驅(qū)動程序?qū)崿F(xiàn)的。

“ABFS驅(qū)動程序正式成為Apache Hadoop和Spark的一部分，并被納入許多商業(yè)發(fā)行版中，”他解釋道。他補充說，文件系統(tǒng)語義是在服務(wù)器端實現(xiàn)的，這樣就不需要復(fù)雜的客戶端驅(qū)動程序，并確保高保真的文件系統(tǒng)事務(wù)。

Willis補充說，為了提高分析性能，實現(xiàn)了支持原子文件和文件夾操作的分層命名空間(HNS)。“這很重要，因為它可以減少與處理blob存儲上的大數(shù)據(jù)相關(guān)的開銷。這可以加快作業(yè)執(zhí)行速度并降低成本，因為需要的計算操作更少。”

ABFS驅(qū)動程序和HNS都顯著提高了ADLS性能，消除了規(guī)模和性能瓶頸。與此同時，ADLS提供了與Azure Blob存儲相同的數(shù)據(jù)安全功能，包括通過TLS 1.2加密傳輸和靜態(tài)數(shù)據(jù)，存儲帳戶防火墻，虛擬網(wǎng)絡(luò)集成和基于角色的訪問安全性，他寫道。

Willis寫道，ADLS文件系統(tǒng)還支持POSIX兼容的訪問控制列表(ACL)，它提供精細(xì)的安全保護，限制只能訪問授權(quán)用戶，組或服務(wù)主體，并提供文件和對象數(shù)據(jù)保護。ADLS與Azure Databricks，Azure HDInsight，Azure數(shù)據(jù)工廠，Azure SQL數(shù)據(jù)倉庫和Power BI緊密集成，可實現(xiàn)跨組織的廣泛分析工作流程和業(yè)務(wù)洞察。

Willis寫道，Azure Data Lake Storage Gen2專為數(shù)據(jù)分析而構(gòu)建，是最全面的數(shù)據(jù)湖。

同時，Azure Data Explorer(ADX)是一種快速，完全托管的數(shù)據(jù)分析服務(wù)，用于對大量流數(shù)據(jù)進(jìn)行實時分析。Willis寫道，ADX可以在不到一秒的時間內(nèi)查詢10億條記錄，而無需修改所需的數(shù)據(jù)或元數(shù)據(jù)。ADX還包括Azure Data Lake Storage，Azure SQL數(shù)據(jù)倉庫和Power BI的本機連接器，并提供直觀的查詢語言，以便客戶在幾分鐘內(nèi)獲得洞察力。ADX在41個Azure區(qū)域提供，并且由不斷增長的合作伙伴生態(tài)系統(tǒng)(包括ISV和系統(tǒng)集成商)提供支持。

Willis寫道，Azure數(shù)據(jù)工廠(ADF)中的預(yù)覽映射數(shù)據(jù)流功能使客戶可以直觀地設(shè)計，構(gòu)建和管理數(shù)據(jù)轉(zhuǎn)換過程，而無需學(xué)習(xí)Spark或深入了解其分布式基礎(chǔ)架構(gòu)。ADF是一種基于云的混合數(shù)據(jù)集成服務(wù)，用于協(xié)調(diào)和自動化數(shù)據(jù)移動和轉(zhuǎn)換。ADF包含80多個內(nèi)置連接器，用于結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源。映射數(shù)據(jù)流將豐富的表達(dá)式語言與交互式調(diào)試器相結(jié)合，可輕松執(zhí)行，觸發(fā)和監(jiān)視ETL作業(yè)和數(shù)據(jù)集成過程。