研究人員首次將腦信號直接翻譯成語音

在“科學(xué)報(bào)告”雜志上發(fā)表的一項(xiàng)突破性研究中，來自紐約哥倫比亞大學(xué)(CU)的工程師描述了一種能夠監(jiān)測人的大腦活動并將相關(guān)位翻譯成清晰，易于識別的語音的系統(tǒng)。

“我們的聲音有助于將我們與我們的朋友，家人和我們周圍的世界聯(lián)系起來，這就是為什么由于受傷或疾病而失去一個(gè)人聲音的力量是如此具有破壞性，”該論文的高級作者，校長Nima Mesgarani博士說。 CU的Mortimer B. Zuckermann Mind Brain Behavior Institute的研究員。

通過進(jìn)一步的調(diào)整和更新，該系統(tǒng) - 使用當(dāng)前可用的語音合成器和人工智能構(gòu)建 - 可能很快成為那些由于中風(fēng)或肌萎縮側(cè)索硬化癥(ALS)等疾病而失去說話能力的人的生命線。

此外，轉(zhuǎn)換與聽說和產(chǎn)生的語音相關(guān)的大腦模式的能力對于從事腦 - 計(jì)算機(jī)接口(BCI)應(yīng)用的研究人員來說非常有用。

在這項(xiàng)研究中，Nima Mesgarani及其同事招募了一組接受腦外科手術(shù)的癲癇患者，當(dāng)研究小組測量他們的大腦活動時(shí)，他們被要求聽取不同人說的句子。

接下來，參與者聆聽講述0到9之間數(shù)字的人，同時(shí)記錄他們的大腦信號，然后將其輸入聲碼器 - 一種計(jì)算機(jī)算法，能夠在人們談話的錄音訓(xùn)練后合成語音(相同的技術(shù)是由Amazon Echo和Apple Siri使用)。

經(jīng)過一些清理后，多達(dá)75%的參與者成功識別出機(jī)器人發(fā)出的聲音，這超出了之前的嘗試范圍。

該團(tuán)隊(duì)現(xiàn)在計(jì)劃使用更多強(qiáng)制性句子進(jìn)行進(jìn)一步的實(shí)驗(yàn)，希望最終將該系統(tǒng)用作植入物的一部分，類似于癲癇患者所使用的系統(tǒng)，這將直接在語音中轉(zhuǎn)換思想。

“在這種情況下，如果穿著者認(rèn)為'我需要一杯水'，我們的系統(tǒng)可以接受這種想法產(chǎn)生的大腦信號，并將它們變成合成的口頭語言，”Mesgarani博士說。“這將改變游戲規(guī)則。它會讓任何失去講話能力的人，無論是受傷還是疾病，都有可能重新接觸周圍的世界。“