聲音 振動識別增強了上下文感知計算

如果智能設備不了解它們的位置或者周圍的人正在做什么，它們看起來就會顯得愚蠢?？▋?nèi)基梅隆大學的研究人員表示，通過分析聲音和振動的補充方法可以增強環(huán)保意識。

CMU人機交互研究所(HCII)的助理教授克里斯哈里森說：“坐在廚房臺面上的智能揚聲器無法弄清楚它是否在廚房里，更不用說知道一個人在廚房里做了什么。” “但如果這些設備能夠理解周圍發(fā)生的事情，那么它們可能會更有幫助。”

Harrison和Future Interfaces Group的同事今天將在柏林的計算機協(xié)會用戶界面軟件和技術(shù)研討會上報告這個問題的兩種方法 - 一種使用最普遍的傳感器，麥克風，另一種采用現(xiàn)代傳感器20世紀50年代克格勃使用的日常版竊聽技術(shù)。

在第一種情況下，研究人員試圖開發(fā)一種基于聲音的活動識別系統(tǒng)，稱為Ubicoustics。該系統(tǒng)將使用智能揚聲器，智能手機和智能手表中的現(xiàn)有麥克風，使他們能夠識別與地點相關的聲音，如臥室，廚房，工作室，入口和辦公室。

“這里的主要思想是利用娛樂業(yè)中常用的專業(yè)音效庫，”Gierad Laput博士說。HCII的學生。“它們干凈，標簽清晰，分割良好且多樣化。此外，我們可以將它們轉(zhuǎn)換并投影到數(shù)百種不同的變體中，創(chuàng)建大量數(shù)據(jù)，非常適合培訓深度學習模型。

“這個系統(tǒng)可以作為軟件更新部署到現(xiàn)有設備并立即工作，”他補充說。

即插即用系統(tǒng)可以在任何環(huán)境中工作。例如，當有人敲擊前門時它可以提醒用戶，或者當檢測到活動時移動到食譜中的下一步，例如運行攪拌器或切碎。

研究人員包括Karan Ahuja，博士。HCII的學生和軟件研究所助理教授Mayank Goel開始使用現(xiàn)有的聲音標簽模型，并使用專業(yè)圖書館的聲音效果進行調(diào)整，如廚房用具，電動工具，吹風機，鍵盤等。特定于語境的聲音。然后，他們合成地改變了聲音，創(chuàng)造了數(shù)百種變化。

拉普特說，識別聲音并將它們置于正確的環(huán)境中是一項挑戰(zhàn)，部分原因是因為經(jīng)常出現(xiàn)多種聲音并且可能相互干擾。在他們的測試中，Ubicoustics的準確度大約為80%，與人類的準確性相比具有競爭力，但還不足以支持用戶應用程序。更好的麥克風，更高的采樣率和不同的模型架構(gòu)都可以通過進一步的研究提高準確性。

在另一篇論文中，HCII博士。學生楊章，拉普特和哈里森，描述了他們所謂的Vibrosight，它可以使用激光振動測量法檢測房間特定位置的振動。它類似于KGB曾用于檢測窗戶等反光表面上的振動的基于光的設備，允許他們收聽產(chǎn)生振動的對話。

“關于振動的一個很酷的事情是，它是大多數(shù)人類活動的副產(chǎn)品，”張說。在跑步機上跑步，敲擊錘子或在鍵盤上打字都會產(chǎn)生可在遠處探測到的振動。“另一個很酷的事情是振動局限于表面，”他補充道。與麥克風不同，一項活動的振動不會干擾另一種活動的振動。與麥克風和攝像頭不同，監(jiān)控特定位置的振動會使這種技術(shù)變得謹慎并保護隱私。

這種方法確實需要一個特殊的傳感器，一個低功率激光器和一個電動的可操縱鏡子。研究人員以約80美元的價格建造了他們的實驗裝置 反光標簽 - 用于制造夜間更加明顯的自行車和行人的相同材料 - 應用于要監(jiān)控的物體。傳感器可以安裝在房間的角落，可以監(jiān)控多個物體的振動。

張說，傳感器可以檢測設備是否開啟或關閉，準確度達到98%，并根據(jù)物體的振動曲線識別出設備的準確率為92%。它還可以檢測移動，例如當有人坐在其中時椅子的移動，并且它知道某人何時阻擋了傳感器的標簽視圖，例如當有人使用水槽或洗眼器時。