人工智能能否推動(dòng)個(gè)人助理設(shè)備和手語(yǔ)的創(chuàng)新

推進(jìn)技術(shù)創(chuàng)新和對(duì)抗與手語(yǔ)相關(guān)的數(shù)據(jù)甜點(diǎn)一直是AI for Accessibility計(jì)劃的重點(diǎn)領(lǐng)域。為了實(shí)現(xiàn)這些目標(biāo)，該團(tuán)隊(duì)在 2019 年舉辦了手語(yǔ)研討會(huì)，征求該領(lǐng)域頂尖研究人員的申請(qǐng)。亞伯拉罕·格拉瑟，博士 計(jì)算機(jī)和信息科學(xué)專業(yè)的學(xué)生和一位本土手語(yǔ) (ASL) 的簽名者，由 Matt Huenerfauth 教授監(jiān)督，獲得了為期三年的資助。他的工作將專注于一個(gè)非常務(wù)實(shí)的需求和機(jī)會(huì)：通過(guò)專注于并改善與使用手語(yǔ)作為主要交流形式的人們的家庭智能助手的常見(jiàn)互動(dòng)來(lái)推動(dòng)包容性。

從那時(shí)起，羅徹斯特理工學(xué)院 (RIT) Golisano 計(jì)算與信息科學(xué)學(xué)院的教職員工和學(xué)生在無(wú)障礙和包容性研究中心(CAIR) 開展了這項(xiàng)工作。CAIR 發(fā)表了關(guān)于計(jì)算可訪問(wèn)性的研究，其中包括許多使用英語(yǔ)和手語(yǔ)雙語(yǔ)操作的失聰和聽力障礙 (DHH) 學(xué)生。

為了開始這項(xiàng)研究，該團(tuán)隊(duì)調(diào)查了 DHH 用戶如何以最佳方式與其個(gè)人助理設(shè)備進(jìn)行交互，無(wú)論是智能揚(yáng)聲器還是家庭中響應(yīng)口頭命令的其他類型的設(shè)備。傳統(tǒng)上，這些設(shè)備使用基于語(yǔ)音的交互，隨著技術(shù)的發(fā)展，新型號(hào)現(xiàn)在包含攝像頭和顯示屏。目前，市場(chǎng)上的可用設(shè)備都不能理解 ASL 或其他手語(yǔ)的命令，因此引入該功能是解決未開發(fā)客戶群和推動(dòng)包容性的重要未來(lái)技術(shù)發(fā)展。亞伯拉罕探索了模擬場(chǎng)景，通過(guò)設(shè)備上的攝像頭，技術(shù)人員能夠觀察用戶的簽名，處理他們的請(qǐng)求，并在設(shè)備的屏幕上顯示輸出結(jié)果。

一些先前的研究集中在與個(gè)人助理設(shè)備交互的階段，但很少包括 DHH 用戶。可用研究的一些示例包括研究設(shè)備激活，包括喚醒設(shè)備的問(wèn)題，以及視頻、ASL 頭像和英文??字幕形式的設(shè)備輸出模式。從研究的角度來(lái)看，行動(dòng)呼吁包括收集更多數(shù)據(jù)，這是手語(yǔ)技術(shù)的關(guān)鍵瓶頸。

為了為技術(shù)進(jìn)步鋪平道路，了解 DHH 用戶希望與設(shè)備交互的外觀以及他們希望發(fā)出的命令類型至關(guān)重要。亞伯拉罕和他的團(tuán)隊(duì)建立了一個(gè)綠野仙蹤視頻會(huì)議裝置。一位“向?qū)?rdquo;ASL 口譯員在他們的房間里有一個(gè)家庭個(gè)人助理設(shè)備，在沒(méi)有被攝像頭看到的情況下加入通話。該設(shè)備的屏幕和輸出將在通話的視頻窗口中可見(jiàn)，每個(gè)參與者都由研究主持人指導(dǎo)。當(dāng)聾人參與者在個(gè)人家用設(shè)備上簽名時(shí)，他們不知道 ASL 口譯員正在用英語(yǔ)口語(yǔ)發(fā)出命令。一組注釋者觀看了錄像，確定了視頻的關(guān)鍵片段，并將每個(gè)命令轉(zhuǎn)錄成英語(yǔ)和 ASL 光澤度。

亞伯拉罕能夠識(shí)別用戶與設(shè)備交互的新方式，例如以前研究中未捕獲的“喚醒”命令。