學(xué)習(xí)數(shù)據(jù)庫(kù)可以將查詢從幾小時(shí)加速到幾秒

使大型數(shù)據(jù)庫(kù)更智能，更難實(shí)現(xiàn)的工具可以釋放大數(shù)據(jù)的潛力，推動(dòng)醫(yī)學(xué)研究，為業(yè)務(wù)決策提供信息，并加速當(dāng)今陷入全球數(shù)據(jù)過(guò)剩的大量其他應(yīng)用程序。

密歇根大學(xué)的研究人員開(kāi)發(fā)了名為Verdict的軟件，使現(xiàn)有數(shù)據(jù)庫(kù)能夠從用戶提交的每個(gè)查詢中學(xué)習(xí)，找到準(zhǔn)確的答案，而無(wú)需一次又一次地瀏覽相同的數(shù)據(jù)。Verdict允許數(shù)據(jù)庫(kù)提供超過(guò)200倍的答案，同時(shí)保持99%的準(zhǔn)確率。在研究環(huán)境中，這可能意味著在幾秒鐘而不是幾小時(shí)或幾天內(nèi)獲得答案。

當(dāng)不需要速度時(shí)，可以設(shè)置為節(jié)省電力，比傳統(tǒng)數(shù)據(jù)庫(kù)少200倍。研究人員說(shuō)，這可以帶來(lái)大量的電力節(jié)省，因?yàn)閿?shù)據(jù)中心吞噬了世界電力的不斷增長(zhǎng)的份額。

判決被認(rèn)為是新研究領(lǐng)域的第一個(gè)工作實(shí)例，稱(chēng)為“數(shù)據(jù)庫(kù)學(xué)習(xí)”。

“過(guò)去40年來(lái)，數(shù)據(jù)庫(kù)一直在遵循相同的范例，”Morris Wellman計(jì)算機(jī)科學(xué)與工程系發(fā)展助理教授Barzan Mozafari說(shuō)。“你提交一個(gè)查詢，它會(huì)做一些工作并提供一個(gè)答案。當(dāng)一個(gè)新的查詢進(jìn)來(lái)時(shí)，它會(huì)重新開(kāi)始。之前查詢的所有工作都被浪費(fèi)了。”

判決改變了這一點(diǎn)。它依賴(lài)于先進(jìn)的統(tǒng)計(jì)原則，使用過(guò)去的問(wèn)答對(duì)來(lái)推斷未來(lái)查詢的答案可能位于何處。

研究人員表示，這項(xiàng)創(chuàng)新不可能很快實(shí)現(xiàn)，因?yàn)閿?shù)字世界的存儲(chǔ)數(shù)據(jù)已超過(guò)10億千兆字節(jié) - 從基因組數(shù)據(jù)到醫(yī)院記錄和在線購(gòu)物歷史。新數(shù)據(jù)的流式傳輸速度遠(yuǎn)遠(yuǎn)超過(guò)系統(tǒng)處理速度。增加處理能力無(wú)法解決問(wèn)題，因?yàn)樾聰?shù)據(jù)生成速度的增長(zhǎng)速度快于處理能力。

同時(shí)，數(shù)據(jù)已成為拯救生命的醫(yī)學(xué)研究和復(fù)雜的商業(yè)決策的驅(qū)動(dòng)力。它的任務(wù)不僅僅是尋找答案，還要發(fā)現(xiàn)可以推動(dòng)研究方向的新想法。醫(yī)學(xué)研究人員正在將大量庫(kù)存的患者數(shù)據(jù)放在數(shù)據(jù)庫(kù)中，以找到健康狀況與疾病之間的隱藏聯(lián)系。像亞馬遜這樣的零售商正采取類(lèi)似的方法來(lái)準(zhǔn)確找到促使客戶購(gòu)買(mǎi)的動(dòng)力以及如何優(yōu)化供應(yīng)鏈，而在線廣告公司則使用數(shù)據(jù)驅(qū)動(dòng)的算法在適當(dāng)?shù)臅r(shí)候提供正確的廣告。

這樣的研究可能涉及數(shù)百或數(shù)千個(gè)同時(shí)進(jìn)行的查詢，等待答案的時(shí)間不僅僅是一個(gè)不便之處。研究表明，即使是短暫的延遲也會(huì)妨礙生產(chǎn)力并扼殺創(chuàng)新。

判決如何運(yùn)作

判決就是所謂的“薄層” - 一種可以放在任何現(xiàn)有數(shù)據(jù)庫(kù)前面的小巧靈活的軟件。首先，它只存儲(chǔ)進(jìn)出數(shù)據(jù)庫(kù)的查詢，將它們編譯成所謂的查詢概要。

在存儲(chǔ)了給定數(shù)量的查詢之后，它將開(kāi)始執(zhí)行，將每個(gè)查詢分解為稱(chēng)為片段的組件部分，并使用它們構(gòu)建問(wèn)題和答案的數(shù)學(xué)模型。當(dāng)新查詢進(jìn)入時(shí)，它使用該模型將數(shù)據(jù)庫(kù)指向可能找到答案的特定數(shù)據(jù)子集。在某些情況下，它甚至可以僅使用模型找到答案，而無(wú)需查看數(shù)據(jù)庫(kù)。

判決本身使用最少的計(jì)算資源，Mozafari和研究員Youngjoo Park已經(jīng)證明它不會(huì)降低性能。它還使用戶能夠在速度和準(zhǔn)確度之間定制平衡，以適應(yīng)各種應(yīng)用。Mozafari認(rèn)為商業(yè)產(chǎn)品可能需要幾年時(shí)間。

“我們真的只是觸及了數(shù)據(jù)庫(kù)學(xué)習(xí)可以做的事情，”他說(shuō)。“重要的是我們已經(jīng)將數(shù)據(jù)庫(kù)的機(jī)制顛倒過(guò)來(lái)了?，F(xiàn)在，每個(gè)查詢都是學(xué)習(xí)并使數(shù)據(jù)庫(kù)更好地工作的機(jī)會(huì)，而不僅僅是額外的工作。”

該項(xiàng)目在一項(xiàng)題為“ 數(shù)據(jù)庫(kù)學(xué)習(xí)：邁向每次都變得更聰明的數(shù)據(jù)庫(kù) ”的研究中有詳細(xì)介紹。