萬通如何在其混合環(huán)境中控制和訪問大數(shù)據(jù)

處理大數(shù)據(jù)是件大事。 特別是如果你是一家擁有數(shù)百年歷史的金融服務(wù)公司，坐擁TB的機(jī)密信息。 安全地存儲數(shù)據(jù)是第一挑戰(zhàn)。 但靜態(tài)數(shù)據(jù)并不能在當(dāng)今的數(shù)字經(jīng)濟(jì)中獲得保存。

“您希望能夠使用這些數(shù)據(jù)，”馬薩諸塞州互助人壽保險公司Vertica數(shù)據(jù)倉庫管理員Joe Gonzalez（見圖）說，“您需要一個平臺，能夠訪問這些數(shù)據(jù)，將其提供給客戶，盡可能快地將其提供給客戶，而不是為此支付一條手臂和一條腿的特權(quán)。

岡薩雷斯在虛擬Vertica大數(shù)據(jù)會議上與CUBE、硅安格萊媒體的移動直播工作室主持人戴夫·韋蘭特進(jìn)行了交談。 他們討論了MassMutual是如何利用Vertica的Eon模式云分析平臺開發(fā)其數(shù)據(jù)管理策略的。 （*下文披露）

當(dāng)Gonzalez上船時，MassMutual將Vertica企業(yè)模式集群分開。 一個被分配給公司的數(shù)據(jù)科學(xué)家生成的非常密集的查詢，另一個分配給API，用于客戶帳戶訪問，這需要子秒查詢響應(yīng)。

問題是，通過MassMutual應(yīng)用程序訪問他們的帳戶的客戶并不總是能夠獲得他們所需的性能，因為快速查詢被需要更多資源的大型查詢所淹沒，Gonzalez說。

他的第一個挑戰(zhàn)是將這些分離的集群減少為一個單獨的集群，它可以處理密集的數(shù)據(jù)重查詢和響應(yīng)關(guān)鍵API查詢。 根據(jù)岡薩雷斯的說法，切換到Vertica的Eon模式云分析平臺使這一點成為可能。

他說：“Eon確實有助于這一點，因為它允許您將數(shù)據(jù)存儲在S3公共存儲中，”他解釋了如何設(shè)置主集群來運行重查詢，子集群將計算分離出來，從而給API自己的資源。 這帶來了巨大的成本節(jié)約，因為子團(tuán)組只有在需要時才被旋轉(zhuǎn)。

”岡薩雷斯說。 “您只為節(jié)點付費，當(dāng)您需要它們時，EC2實例正在運行，這是巨大的。

Vellante解釋說，在室內(nèi)和云層上分離存儲的能力是Vertica的一個區(qū)別，他將Eon描述為一個“重要的創(chuàng)新”。但是，對于一個沒有Gonzalez多年經(jīng)驗的數(shù)據(jù)庫管理員來說，搬到Eon很容易嗎？

岡薩雷斯回答說：“如果你至少有一點維蒂卡經(jīng)驗，你可以自己學(xué)習(xí)，這絕對是很容易的。

然而，讓客戶獨自去不是維蒂卡的方式。

他說：“我之所以留在維蒂卡，特別是在過去七年里一直是維蒂卡的DBA，是因為維蒂卡與客戶保持聯(lián)系的方式。 “他們真的和你坐在一起，談?wù)撃愕男枨?.....（他們）幫助我們找到了最好的方法，讓我們的數(shù)據(jù)從企業(yè)版非常迅速和高效地進(jìn)入Eon。