StorySign應(yīng)用程序?qū)和瘯械奈谋巨D(zhuǎn)換為手語

華為AI的一個研究人員和工程師團隊提出了一種獨特的方式來幫助聾兒學(xué)習(xí)閱讀手語 - 通過使用AI和增強現(xiàn)實來解讀印刷書籍。他們還有一種方法可以幫助聾兒在閱讀中獲得樂趣。

該應(yīng)用程序的想法是對許多父母在試圖向他們的聾啞孩子讀書時感到沮喪的回應(yīng) - 在大多數(shù)此類情況下，聽力家長試圖將他們的聾兒包括在一項自動通過的活動中對于沒有聽力障礙的人。為了解決這個問題，華為的研究人員發(fā)現(xiàn)了使用人工智能幫助孩子讀書的想法。AI / AR系統(tǒng)嵌入在名為StorySign的應(yīng)用程序中，可以在手機或平板電腦上運行 - 父母或孩子將手機放在頁面上，并在文本旁邊疊加化身并通過簽名解釋單詞。

隨著故事的進展，應(yīng)用程序突出顯示正在簽名的單詞，幫助孩子理解單詞與用于表示它們的符號相關(guān)聯(lián)。研究人員報告稱，他們還開展了大量工作來開發(fā)兒童可能涉及的化身。他們與Aardman Animations合作創(chuàng)建了一個名為Star的化身，它不僅僅展示手勢 - 還使用身體和面部表情來傳達情感，幫助孩子更好地理解書中材料的背景特性。有一點需要注意的是，該應(yīng)用程序僅適用于某些兒童書籍，全部由Penguin Random House出版。

該應(yīng)用程序是在歐洲聾人聯(lián)盟和英國聾人協(xié)會的支持下開發(fā)的。它是免費的，適用于10個歐洲國家的10種語言的Android和Apple產(chǎn)品。開發(fā)人員說，如果該應(yīng)用程序受到歡迎，它將在更多地區(qū)和更多語言中提供。