深度學(xué)習(xí)擴(kuò)大了對核廢料修復(fù)的研究

勞倫斯·伯克利國家實(shí)驗(yàn)室(伯克利實(shí)驗(yàn)室)，西北太平洋國家實(shí)驗(yàn)室(PNNL)，布朗大學(xué)和NVIDIA之間的研究合作已在Summit超級計(jì)算機(jī)上實(shí)現(xiàn)了exaflop性能，該應(yīng)用程序具有用于對核廢料研究中的地下流動建模的深度學(xué)習(xí)應(yīng)用程序補(bǔ)救措施。他們的成就將在SC19的“超級計(jì)算機(jī)上的深度學(xué)習(xí)”研討會上進(jìn)行介紹，展示了基于物理學(xué)的生成型對抗網(wǎng)絡(luò)(GANs)用于分析復(fù)雜的大規(guī)?？茖W(xué)問題的希望。

布朗應(yīng)用數(shù)學(xué)教授，SC19研討會論文的合著者喬治·卡尼亞達(dá)基斯(George Karniadakis)說：“在科學(xué)上，我們知道物理定律和觀測原理-質(zhì)量，動量，能量等。” “基于物理的GAN的概念是將來自物理的先驗(yàn)信息編碼到神經(jīng)網(wǎng)絡(luò)中。這使您可以超越訓(xùn)練領(lǐng)域，這在條件可能發(fā)生變化的應(yīng)用中非常重要。”

SC19論文的合著者Prabhat指出，GAN已被應(yīng)用到人臉外觀的建模中，準(zhǔn)確性很高。Prabhat領(lǐng)導(dǎo)了伯克利實(shí)驗(yàn)室國家能源研究科學(xué)計(jì)算中心的數(shù)據(jù)和分析服務(wù)團(tuán)隊(duì)。他說：“在科學(xué)上，伯克利實(shí)驗(yàn)室已探索了將香草GAN用于創(chuàng)建合成宇宙和粒子物理實(shí)驗(yàn)的應(yīng)用;迄今為止，面臨的開放挑戰(zhàn)之一是將物理約束條件納入預(yù)測之中。” “喬治和他在布朗的研究小組開創(chuàng)了將物理學(xué)納入GAN并使用它們來合成數(shù)據(jù)的方法(在這種情況下是地下流場)。”

在這項(xiàng)研究中，研究人員集中于1943年建立的漢福德基地，這是曼哈頓項(xiàng)目的一部分，該項(xiàng)目旨在生產(chǎn)用于核武器的eventually，并最終成為世界上第一座大規(guī)模scale生產(chǎn)反應(yīng)堆，另外八個核反應(yīng)堆和五個processing加工復(fù)合物。1989年p生產(chǎn)結(jié)束時，留下的是大型地下儲罐中的數(shù)千萬加侖放射性和化學(xué)廢物，以及估計(jì)向土壤處理場處置了4,500億加侖液體而造成的100平方英里以下的地下水污染。因此，在過去30年中，美國能源部一直與環(huán)境保護(hù)局和華盛頓州生態(tài)部合作，清理位于580平方英里(近500英里)的漢福德。

通過在Summit超級計(jì)算機(jī)上使用具有物理信息的GAN，研究團(tuán)隊(duì)能夠估算參數(shù)并量化地下流動的不確定性。此圖像顯示了1級(黑色)和2級(彩色)Hanford站點(diǎn)周圍傳感器的位置。單位為公里。圖片來源：勞倫斯·伯克利國家實(shí)驗(yàn)室

為了跟蹤清理工作，工人依靠漢福德工地的鉆井，并在這些井中放置傳感器來收集有關(guān)地質(zhì)特性和地下水流量的數(shù)據(jù)，并觀察污染物的進(jìn)程。PNNL的計(jì)算數(shù)學(xué)家，SC19論文的合著者亞歷克斯·塔塔科夫斯基(Alex Tartakovsky)解釋說，像漢福德遺址這樣的地下環(huán)境非常異質(zhì)，空間特性各不相同。“僅從數(shù)據(jù)中估算漢福德站點(diǎn)的屬性就需要進(jìn)行一百萬次以上的測量，實(shí)際上，我們可能需要進(jìn)行一千次測量。物理定律可以幫助我們彌補(bǔ)數(shù)據(jù)的不足。”

Tartakovsky補(bǔ)充說：“標(biāo)準(zhǔn)的參數(shù)估計(jì)方法是假設(shè)參數(shù)可以采用許多不同的形式，然后對于每種形式，您必須解決地下流動方程，可能需要數(shù)百萬次才能確定最適合觀測結(jié)果的參數(shù)。” 但是對于這項(xiàng)研究，研究團(tuán)隊(duì)采取了另一種方法：使用具有物理信息的GAN和高性能計(jì)算來估計(jì)參數(shù)并量化地下流動的不確定性。

對于這項(xiàng)早期的驗(yàn)證工作，研究人員選擇使用合成數(shù)據(jù)，即由基于漢福德站點(diǎn)專家知識的計(jì)算模型生成的數(shù)據(jù)。這使他們能夠創(chuàng)建現(xiàn)場的虛擬表示，然后可以根據(jù)他們感興趣的測量參數(shù)(主要是水力傳導(dǎo)率和水頭)，根據(jù)需要對其進(jìn)行操作，這兩個參數(shù)都是建模污染物位置的關(guān)鍵。未來的研究將結(jié)合實(shí)際的傳感器數(shù)據(jù)和實(shí)際條件。

Tartakovsky說：“該項(xiàng)目的最初目的是估計(jì)方法的準(zhǔn)確性，因此我們使用合成數(shù)據(jù)而不是實(shí)際測量值。” “這使我們能夠根據(jù)測量次數(shù)來估計(jì)具有物理信息的GANS的性能。”

在Oak Ridge領(lǐng)導(dǎo)力計(jì)算設(shè)施OLCF的Summit超級計(jì)算機(jī)上訓(xùn)練GAN時，團(tuán)隊(duì)能夠達(dá)到1.2 exaflop的峰值和持續(xù)的性能，這是應(yīng)用于SPDE的大規(guī)模GAN架構(gòu)的第一個示例。漢福德站點(diǎn)的地理范圍，空間異質(zhì)性和多個相關(guān)長度尺度需要將GAN模型訓(xùn)練到數(shù)千個維度，因此該團(tuán)隊(duì)開發(fā)了高度優(yōu)化的實(shí)現(xiàn)，可在Summit上擴(kuò)展到27,504個NVIDIA V100 Tensor Core GPU和4,584個節(jié)點(diǎn)， 93.1%縮放效率。

NVIDIA AI系統(tǒng)團(tuán)隊(duì)的負(fù)責(zé)人Mike Houston說：“要達(dá)到如此大規(guī)模和性能，就需要完整的堆棧優(yōu)化和多種策略來提取最大的并行度。” “在芯片級，我們優(yōu)化了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和設(shè)計(jì)，以通過TensorFlow中的cuDNN支持最大化Tensor Core的利用率。在節(jié)點(diǎn)級，我們使用NCCL和NVLink進(jìn)行高速數(shù)據(jù)交換。在系統(tǒng)級，我們不僅優(yōu)化了Horovod和MPI，不僅結(jié)合了數(shù)據(jù)和模型，而且還處理了敵對的并行策略。為了最大程度地利用我們的GPU，我們必須對數(shù)據(jù)進(jìn)行分片，然后進(jìn)行分發(fā)以與并行化技術(shù)保持一致。”

Prabhat說：“這是GAN架構(gòu)的新高潮。” “我們想創(chuàng)建一個廉價(jià)的替代品來進(jìn)行非常昂貴的仿真，而我們能夠在此處證明的是，受物理約束的GAN架構(gòu)可以產(chǎn)生與我們的物理知識相一致的空間場。此外，該示例項(xiàng)目還匯集了專家從地下建模，應(yīng)用數(shù)學(xué)，深度學(xué)習(xí)和HPC開始。美國能源部考慮了深度學(xué)習(xí)(尤其是GAN)在模擬問題中的廣泛應(yīng)用，我希望有多個研究團(tuán)隊(duì)會受到這些結(jié)果的啟發(fā)。”

論文“ 用于隨機(jī)PDE的學(xué)習(xí)解決方案的高度可擴(kuò)展的，具有物理信息的GAN ”將在SC19深度學(xué)習(xí)超級計(jì)算機(jī)研討會上發(fā)表。一世