聲音 振動識別增強(qiáng)了上下文感知計(jì)算

如果智能設(shè)備不了解它們的位置或者周圍的人正在做什么，它們看起來就會顯得愚蠢?？▋?nèi)基梅隆大學(xué)的研究人員表示，通過分析聲音和振動的補(bǔ)充方法可以增強(qiáng)環(huán)保意識。

CMU人機(jī)交互研究所(HCII)的助理教授克里斯哈里森說：“坐在廚房臺面上的智能揚(yáng)聲器無法弄清楚它是否在廚房里，更不用說知道一個人在廚房里做了什么。” “但如果這些設(shè)備能夠理解周圍發(fā)生的事情，那么它們可能會更有幫助。”

Harrison和Future Interfaces Group的同事今天將在柏林的計(jì)算機(jī)協(xié)會用戶界面軟件和技術(shù)研討會上報(bào)告這個問題的兩種方法 - 一種使用最普遍的傳感器，麥克風(fēng)，另一種采用現(xiàn)代傳感器20世紀(jì)50年代克格勃使用的日常版竊聽技術(shù)。

在第一種情況下，研究人員試圖開發(fā)一種基于聲音的活動識別系統(tǒng)，稱為Ubicoustics。該系統(tǒng)將使用智能揚(yáng)聲器，智能手機(jī)和智能手表中的現(xiàn)有麥克風(fēng)，使他們能夠識別與地點(diǎn)相關(guān)的聲音，如臥室，廚房，工作室，入口和辦公室。

“這里的主要思想是利用娛樂業(yè)中常用的專業(yè)音效庫，”Gierad Laput博士說。HCII的學(xué)生。“它們干凈，標(biāo)簽清晰，分割良好且多樣化。此外，我們可以將它們轉(zhuǎn)換并投影到數(shù)百種不同的變體中，創(chuàng)建大量數(shù)據(jù)，非常適合培訓(xùn)深度學(xué)習(xí)模型。

“這個系統(tǒng)可以作為軟件更新部署到現(xiàn)有設(shè)備并立即工作，”他補(bǔ)充說。

即插即用系統(tǒng)可以在任何環(huán)境中工作。例如，當(dāng)有人敲擊前門時(shí)它可以提醒用戶，或者當(dāng)檢測到活動時(shí)移動到食譜中的下一步，例如運(yùn)行攪拌器或切碎。

研究人員包括Karan Ahuja，博士。HCII的學(xué)生和軟件研究所助理教授Mayank Goel開始使用現(xiàn)有的聲音標(biāo)簽?zāi)Ｐ?，并使用專業(yè)圖書館的聲音效果進(jìn)行調(diào)整，如廚房用具，電動工具，吹風(fēng)機(jī)，鍵盤等。特定于語境的聲音。然后，他們合成地改變了聲音，創(chuàng)造了數(shù)百種變化。

拉普特說，識別聲音并將它們置于正確的環(huán)境中是一項(xiàng)挑戰(zhàn)，部分原因是因?yàn)榻?jīng)常出現(xiàn)多種聲音并且可能相互干擾。在他們的測試中，Ubicoustics的準(zhǔn)確度大約為80%，與人類的準(zhǔn)確性相比具有競爭力，但還不足以支持用戶應(yīng)用程序。更好的麥克風(fēng)，更高的采樣率和不同的模型架構(gòu)都可以通過進(jìn)一步的研究提高準(zhǔn)確性。

在另一篇論文中，HCII博士。學(xué)生楊章，拉普特和哈里森，描述了他們所謂的Vibrosight，它可以使用激光振動測量法檢測房間特定位置的振動。它類似于KGB曾用于檢測窗戶等反光表面上的振動的基于光的設(shè)備，允許他們收聽產(chǎn)生振動的對話。

“關(guān)于振動的一個很酷的事情是，它是大多數(shù)人類活動的副產(chǎn)品，”張說。在跑步機(jī)上跑步，敲擊錘子或在鍵盤上打字都會產(chǎn)生可在遠(yuǎn)處探測到的振動。“另一個很酷的事情是振動局限于表面，”他補(bǔ)充道。與麥克風(fēng)不同，一項(xiàng)活動的振動不會干擾另一種活動的振動。與麥克風(fēng)和攝像頭不同，監(jiān)控特定位置的振動會使這種技術(shù)變得謹(jǐn)慎并保護(hù)隱私。

這種方法確實(shí)需要一個特殊的傳感器，一個低功率激光器和一個電動的可操縱鏡子。研究人員以約80美元的價(jià)格建造了他們的實(shí)驗(yàn)裝置 反光標(biāo)簽 - 用于制造夜間更加明顯的自行車和行人的相同材料 - 應(yīng)用于要監(jiān)控的物體。傳感器可以安裝在房間的角落，可以監(jiān)控多個物體的振動。

張說，傳感器可以檢測設(shè)備是否開啟或關(guān)閉，準(zhǔn)確度達(dá)到98%，并根據(jù)物體的振動曲線識別出設(shè)備的準(zhǔn)確率為92%。它還可以檢測移動，例如當(dāng)有人坐在其中時(shí)椅子的移動，并且它知道某人何時(shí)阻擋了傳感器的標(biāo)簽視圖，例如當(dāng)有人使用水槽或洗眼器時(shí)。