ANZ銀行如何自動(dòng)化并馴服了一批混亂的Unix服務(wù)器

該銀行被迫使其設(shè)置可以更容易地遵守澳大利亞銀行法規(guī)。該電子書基于最新的ZDNet / TechRepublic特色，探討了數(shù)據(jù)中心自動(dòng)化如何為新的敏捷性和數(shù)字化轉(zhuǎn)型提供動(dòng)力。澳大利亞銀行始終存在對(duì)合規(guī)性的需求，其范圍涉及組織的各個(gè)方面，從分類賬到費(fèi)用結(jié)構(gòu)，并包括支撐銀行運(yùn)營的IT。最近在悉尼的Puppetize發(fā)表講話時(shí)，一對(duì)ANZ企業(yè)平臺(tái)高級(jí)顧問Nathan Kroenert和Boyd Adamson詳細(xì)介紹了該銀行如何為其擁有7,000多個(gè)基于Unix的系統(tǒng)提供服務(wù) - 被描述為處于“各種各樣的狀態(tài)”并運(yùn)行Solaris，AIX或Linux風(fēng)格 - 受控制。“我們?cè)诓煌膰?地區(qū)擁有大約22個(gè)監(jiān)管機(jī)構(gòu)，監(jiān)督正在發(fā)生的事情，他們將擁有自己的規(guī)則，包括如何配置和需求等等，”亞當(dāng)森說。所以所有這些都必須精簡到基本上如何配置盒子或盒子上的某些要求。所以其中一些包括需要安裝或未安裝的軟件包，必須運(yùn)行或不運(yùn)行的服務(wù)，各個(gè)領(lǐng)域的各種安全設(shè)置。“與任何大型組織一樣，希望引入新理智定義的團(tuán)隊(duì)必須與傳統(tǒng)和技術(shù)債務(wù)搏斗。木偶戲Kroenert描述了團(tuán)隊(duì)如何利用Puppet作為其自動(dòng)化和編排策略的核心支柱，并開始使用非常廣泛的規(guī)則，例如不允許用戶將某些文件放在某些地方。“隨著時(shí)間的推移，你會(huì)有項(xiàng)目出現(xiàn)并說：'嘿，我們需要這個(gè)文件'。所以有一大堆 - 處理這個(gè)問題的人力成本，即：'但我們沒有要做到這一點(diǎn)，你要讓我這樣做!'，“他說。“嗯，因?yàn)槟阍?jīng)捅過某人并不意味著你應(yīng)該繼續(xù)刺傷他們，”Kroenert解釋道。在遷移到Puppet之前，ANZ使用了一種人工密集的方法來確定合規(guī)性，其中包括按需運(yùn)行的BMC BladeLogic腳本，并為某人進(jìn)行分析報(bào)告，隨后提供了因觀察到的任何違規(guī)行為而導(dǎo)致的故障單。通常情況下，門票是由引入不合規(guī)的團(tuán)隊(duì)修復(fù)的，僅僅因?yàn)檫@是一種更簡單的做事方式。“這些可怕的，糟糕的窮人不得不登錄箱子，實(shí)際登錄箱子來修理東西 - 他們登錄了40次，以便在40個(gè)主機(jī)上修復(fù)同樣的問題，”Kroenert說。“那不太理想，更糟糕的是......我問過那些做錯(cuò)事的人，但他們做錯(cuò)了，因?yàn)樗陂_發(fā)周期的早期解決了問題，所以實(shí)際上也在這里和那里引起了一些摩擦。“根據(jù)這對(duì)，該銀行是合規(guī)的，但它不具有可擴(kuò)展性或直接性。關(guān)于銀行是否可以證明合規(guī)的問題 - “地獄沒有”是Kroenert的回應(yīng)。他說：“我不想和審計(jì)員一起坐下六個(gè)月，向他們解釋我們是如何從這個(gè)系統(tǒng)轉(zhuǎn)到這種合規(guī)聲明的。”“這是一次非常非常困難的討論，并且讓他們?cè)谡麄€(gè)討論中保持背景。”“你要做的最后一件事就是證明你不知道它是如何運(yùn)作的，如果我說：'好吧，這個(gè)團(tuán)隊(duì)將它傳遞給這個(gè)團(tuán)隊(duì)，這個(gè)團(tuán)隊(duì)，傳遞給這個(gè)團(tuán)隊(duì)'，這就變成了我們作為一個(gè)組織要解決的問題確實(shí)非常困難。“因此決定引入Puppet并從能夠報(bào)告合規(guī)性到能夠強(qiáng)制執(zhí)行合規(guī)性。但該團(tuán)隊(duì)無法站起來建立全新的基礎(chǔ)架構(gòu)，這是“正確的方式”，可以輕松實(shí)現(xiàn)部署。“我們擁有7,000多個(gè)主機(jī)，在這些主機(jī)上有6,999種不同的配置，因?yàn)檫@就是它們建造時(shí)所需的業(yè)務(wù)。所以我們進(jìn)入了非常多的棕色區(qū)域，”Kroenert說。我們必須處理我們作為第一步所做的事情，這有可能使它成為最困難的方式，但那就是我們所處的位置，”他補(bǔ)充道。使難度更加復(fù)雜的是組織沒有所有盒子的中央列表，并且需要在不同的安全區(qū)域中安裝Puppet主站。但是，一旦發(fā)現(xiàn)系統(tǒng)的全部范圍，并且代理被推出，下一步就是在物理和虛擬硬件之間分布的7,000臺(tái)服務(wù)器上解決NTP或SSHD配置等低成本問題?？紤]到所涉及的數(shù)量，保證會(huì)出現(xiàn)某種破損。“當(dāng)我們快速行動(dòng)的時(shí)候，我們必須做好準(zhǔn)備，不時(shí)地我們要修剪一條排水溝。我們?cè)谶@里和那里做過，有些情況我們會(huì)說，'好吧，好吧，我們剛推出它。它看起來很棒。我們做了一堆測試。我們?cè)谒械男〗鸾z雀環(huán)境中進(jìn)行了測試，它看起來很棒'，“Kroenert說。“但實(shí)際情況是，一旦你打了5,500個(gè)盒子，這些盒子都是以不同方式構(gòu)建的，有些東西可能會(huì)破壞，我們有[管理層]的支持說：'看，我們真的很抱歉。我們把它推到了5,500我們打破了四個(gè)，但看看我們正在采取的前進(jìn)一步。““只要我們知道我們已經(jīng)完成它并且我們可以把它放回去 - 如果我們用Puppet打破它，我們就可以用Puppet修復(fù)它，”Adamson補(bǔ)充道。“我們沒事。”

部署并非沒有后退，因?yàn)閳F(tuán)隊(duì)不得不接受自動(dòng)化游戲的想法，而且由于ANZ的環(huán)境讓Puppet登錄到syslog，Puppet經(jīng)常是鞭打男孩。因此，在日志中通常發(fā)生錯(cuò)誤之前，可能會(huì)有一個(gè)Puppet條目。我認(rèn)為我最喜歡的是最后一條日志信息是Puppet，但它是兩周之前，”亞當(dāng)森說。Kroenert詳細(xì)介紹了操作人員如何嘗試關(guān)閉Puppet，使用該服務(wù)或刪除ruby或其他二進(jìn)制文件來阻止它運(yùn)行，徒勞地試圖修復(fù)他們?cè)噲D處理的問題。實(shí)際上，99.9% - 而且可能高于那個(gè) - 根本不是Puppet，”Kroenert說。“但它讓組織的其他部分空間可以回答說'哦不，這不是我們'。”該銀行知道它已達(dá)到目標(biāo)，因?yàn)樗軌蛳蚱鋬?nèi)部審計(jì)團(tuán)隊(duì)提供一個(gè)事實(shí)來源的儀表板，詳細(xì)說明每個(gè)主機(jī)的合規(guī)性。我們的內(nèi)部審計(jì)人員可以將其視為一個(gè)門戶，他們可以說：'嘿，我們需要轉(zhuǎn)換這個(gè)應(yīng)用程序集'。他們看看主機(jī)。他們說：'嘿，他們都是綠色的，那個(gè)看起來很棒'。他們很樂意直接推動(dòng)它，“Kroenert說。“沒有討論。沒有任何問題。沒有任何證據(jù)，因?yàn)樗麄円呀?jīng)查看了支持這一點(diǎn)的所有代碼。他們知道，如果我們說它符合要求，它實(shí)際上已經(jīng)符合要求。”“所以對(duì)我們來說，這已經(jīng)消除了大量的工時(shí) - 我會(huì)說每年需要花費(fèi)數(shù)千小時(shí)的時(shí)間進(jìn)行討論。所以對(duì)我們來說，這是合規(guī)方面的巨大勝利。”在轉(zhuǎn)向Puppet，并從單個(gè)主設(shè)備控制超過6,000個(gè)節(jié)點(diǎn)時(shí)，該對(duì)建議將業(yè)務(wù)流程主機(jī)部署到具有大量CPU物理內(nèi)核和大量內(nèi)存的物理硬件上。“很多CPU和真正的CPU - 不是VM CPU，不是線程，不是超線程線程，”Kroenert解釋說。“當(dāng)你在超線程環(huán)境中進(jìn)行交易時(shí)，Java會(huì)一直打擊對(duì)方的緩存。”“確保Java擁有足夠的內(nèi)存。我們將其擴(kuò)展起來，上升和上升，我認(rèn)為現(xiàn)在我們的運(yùn)行速度大約為64和96GB，”Kroenert說。