新算法可在VR中實(shí)現(xiàn)更逼真的聲音效果

當(dāng)我們觀看電影或玩視頻游戲時(shí)，正確的聲音效果可以幫助使場(chǎng)景變得更加逼真：當(dāng)一個(gè)頭發(fā)花白的賭徒在一個(gè)銀色屏幕的紙牌桌上滾動(dòng)一個(gè)銀元時(shí)，聲音似乎從一個(gè)耳朵到另一個(gè)耳朵，一招電影制作者可以通過(guò)拼接預(yù)先錄制的從揚(yáng)聲器到揚(yáng)聲器的聲音來(lái)完成。

但到目前為止，在虛擬現(xiàn)實(shí)中創(chuàng)造這樣的感覺(jué)實(shí)際上是不可能的，因?yàn)閂R是沒(méi)有腳本的。很難預(yù)測(cè)一個(gè)物體可能產(chǎn)生什么噪音，或者它們可能被聽(tīng)到的地方。為了使VR聽(tīng)起來(lái)更逼真，工程師必須創(chuàng)建大量的“聲音模型” - 計(jì)算機(jī)化的預(yù)錄制等效物。每個(gè)聲音模型都可以使VR系統(tǒng)在需要的精確時(shí)刻合成特定的聲音。到目前為止，一組計(jì)算機(jī)需要花費(fèi)數(shù)小時(shí)來(lái)創(chuàng)建一個(gè)單獨(dú)的聲音模型，并且由于需要許多不同的模型來(lái)合成許多不同的潛在聲音，因此在交互式環(huán)境中創(chuàng)建逼真的聲音一直是難以實(shí)現(xiàn)的目標(biāo)。

現(xiàn)在斯坦福大學(xué)的計(jì)算機(jī)科學(xué)家已經(jīng)發(fā)明了一種能夠在幾秒鐘內(nèi)創(chuàng)建聲音模型的算法，這使得在虛擬環(huán)境中模擬許多不同對(duì)象的聲音具有成本效益。當(dāng)需要聲音的動(dòng)作發(fā)生時(shí)，這個(gè)新模型可以將每個(gè)聲音合成的聲音與過(guò)去慢得多且仍然是實(shí)驗(yàn)性算法產(chǎn)生的聲音一樣逼真。“讓創(chuàng)建模型變得更容易使得構(gòu)建具有逼真音效的交互式環(huán)境變得切實(shí)可行，”計(jì)算機(jī)科學(xué)教授道格·詹姆斯(Doug James)說(shuō)道。

用于創(chuàng)建聲音模型的現(xiàn)有算法基于19世紀(jì)科學(xué)家赫爾曼·馮·赫爾姆霍茲(Hermann von Helmholtz)所做的工作，他將自己的名字命名為描述聲音如何傳播的等式?；谶@一理論基礎(chǔ)，科學(xué)家們?cè)O(shè)計(jì)了算法來(lái)創(chuàng)建三維聲音模型：軟件程序能夠合成似乎真實(shí)的音頻，因?yàn)槁曇舻囊袅亢头较蛉Q于動(dòng)作相對(duì)于聽(tīng)眾的位置而變化。到目前為止，用于創(chuàng)建三維聲音模型的最佳算法依賴于邊界元素方法(BEM)，這是一個(gè)對(duì)商業(yè)用途來(lái)說(shuō)成本太高的緩慢過(guò)程。

詹姆斯和他的研究生合作者王瑞賢開(kāi)發(fā)了一種算法，通過(guò)避免亥姆霍茲方程和BEM，可以快速計(jì)算聲音模型數(shù)百到數(shù)千倍。他們的方法靈感來(lái)自20世紀(jì)奧地利作曲家弗里茨海因里?？巳R因，他發(fā)現(xiàn)了一種方法，將大量的鋼琴音調(diào)和音符融合成一種叫做母弦的單一悅耳聲音。科學(xué)家們將他們的算法KleinPAT命名為他的靈感 - 解釋他們的方法是如何產(chǎn)生聲音的他們?cè)贏CM SIGGRAPH 2019計(jì)算機(jī)圖形和交互技術(shù)會(huì)議上發(fā)表的科學(xué)論文中的模型。“我們認(rèn)為這是一個(gè)改變互動(dòng)環(huán)境的游戲規(guī)則，”詹姆斯說(shuō)。