學(xué)習(xí)數(shù)據(jù)庫可以將查詢從幾小時加速到幾秒

使大型數(shù)據(jù)庫更智能，更難實現(xiàn)的工具可以釋放大數(shù)據(jù)的潛力，推動醫(yī)學(xué)研究，為業(yè)務(wù)決策提供信息，并加速當(dāng)今陷入全球數(shù)據(jù)過剩的大量其他應(yīng)用程序。

密歇根大學(xué)的研究人員開發(fā)了名為Verdict的軟件，使現(xiàn)有數(shù)據(jù)庫能夠從用戶提交的每個查詢中學(xué)習(xí)，找到準確的答案，而無需一次又一次地瀏覽相同的數(shù)據(jù)。Verdict允許數(shù)據(jù)庫提供超過200倍的答案，同時保持99%的準確率。在研究環(huán)境中，這可能意味著在幾秒鐘而不是幾小時或幾天內(nèi)獲得答案。

當(dāng)不需要速度時，可以設(shè)置為節(jié)省電力，比傳統(tǒng)數(shù)據(jù)庫少200倍。研究人員說，這可以帶來大量的電力節(jié)省，因為數(shù)據(jù)中心吞噬了世界電力的不斷增長的份額。

判決被認為是新研究領(lǐng)域的第一個工作實例，稱為“數(shù)據(jù)庫學(xué)習(xí)”。

“過去40年來，數(shù)據(jù)庫一直在遵循相同的范例，”Morris Wellman計算機科學(xué)與工程系發(fā)展助理教授Barzan Mozafari說。“你提交一個查詢，它會做一些工作并提供一個答案。當(dāng)一個新的查詢進來時，它會重新開始。之前查詢的所有工作都被浪費了。”

判決改變了這一點。它依賴于先進的統(tǒng)計原則，使用過去的問答對來推斷未來查詢的答案可能位于何處。

研究人員表示，這項創(chuàng)新不可能很快實現(xiàn)，因為數(shù)字世界的存儲數(shù)據(jù)已超過10億千兆字節(jié) - 從基因組數(shù)據(jù)到醫(yī)院記錄和在線購物歷史。新數(shù)據(jù)的流式傳輸速度遠遠超過系統(tǒng)處理速度。增加處理能力無法解決問題，因為新數(shù)據(jù)生成速度的增長速度快于處理能力。

同時，數(shù)據(jù)已成為拯救生命的醫(yī)學(xué)研究和復(fù)雜的商業(yè)決策的驅(qū)動力。它的任務(wù)不僅僅是尋找答案，還要發(fā)現(xiàn)可以推動研究方向的新想法。醫(yī)學(xué)研究人員正在將大量庫存的患者數(shù)據(jù)放在數(shù)據(jù)庫中，以找到健康狀況與疾病之間的隱藏聯(lián)系。像亞馬遜這樣的零售商正采取類似的方法來準確找到促使客戶購買的動力以及如何優(yōu)化供應(yīng)鏈，而在線廣告公司則使用數(shù)據(jù)驅(qū)動的算法在適當(dāng)?shù)臅r候提供正確的廣告。

這樣的研究可能涉及數(shù)百或數(shù)千個同時進行的查詢，等待答案的時間不僅僅是一個不便之處。研究表明，即使是短暫的延遲也會妨礙生產(chǎn)力并扼殺創(chuàng)新。

判決如何運作

判決就是所謂的“薄層” - 一種可以放在任何現(xiàn)有數(shù)據(jù)庫前面的小巧靈活的軟件。首先，它只存儲進出數(shù)據(jù)庫的查詢，將它們編譯成所謂的查詢概要。

在存儲了給定數(shù)量的查詢之后，它將開始執(zhí)行，將每個查詢分解為稱為片段的組件部分，并使用它們構(gòu)建問題和答案的數(shù)學(xué)模型。當(dāng)新查詢進入時，它使用該模型將數(shù)據(jù)庫指向可能找到答案的特定數(shù)據(jù)子集。在某些情況下，它甚至可以僅使用模型找到答案，而無需查看數(shù)據(jù)庫。

判決本身使用最少的計算資源，Mozafari和研究員Youngjoo Park已經(jīng)證明它不會降低性能。它還使用戶能夠在速度和準確度之間定制平衡，以適應(yīng)各種應(yīng)用。Mozafari認為商業(yè)產(chǎn)品可能需要幾年時間。

“我們真的只是觸及了數(shù)據(jù)庫學(xué)習(xí)可以做的事情，”他說。“重要的是我們已經(jīng)將數(shù)據(jù)庫的機制顛倒過來了?，F(xiàn)在，每個查詢都是學(xué)習(xí)并使數(shù)據(jù)庫更好地工作的機會，而不僅僅是額外的工作。”

該項目在一項題為“ 數(shù)據(jù)庫學(xué)習(xí)：邁向每次都變得更聰明的數(shù)據(jù)庫 ”的研究中有詳細介紹。