CISL研究人員展示了AI輔助的普通話漢語學(xué)習(xí)輔助工具

IBM Research和Rensselaer Polytechnic Institute(RPI)正在合作開發(fā)一種新方法來幫助學(xué)生學(xué)習(xí)普通話。該策略將AI驅(qū)動(dòng)的助手與沉浸式教室環(huán)境(以前從未用于語言教學(xué))配對。這個(gè)名為“認(rèn)知沉浸式房間”(CIR)的教室使學(xué)生感覺就像在的飯店，花園還是太極拳課上，他們可以在這里與AI聊天代理練習(xí)講普通話。CIR由認(rèn)知與沉浸系統(tǒng)實(shí)驗(yàn)室(CISL)開發(fā)，CISL是IBM Research與RPI之間的研究合作。

當(dāng)學(xué)習(xí)一種新的語言時(shí)，尤其是與普通話一樣難的一種語言時(shí)，重要的是，學(xué)生有很多機(jī)會(huì)講和練習(xí)他們的會(huì)話技巧。通過文化浸入自然地習(xí)得一種新語言可能比非浸入式實(shí)踐更有效。然而，大多數(shù)新的普通話學(xué)習(xí)者無法進(jìn)行體驗(yàn)式學(xué)習(xí)。這就是我們開發(fā)CIR的原因。

沉浸式游戲化教室環(huán)境

CIR匯集了幾種最先進(jìn)的技術(shù)，例如語音轉(zhuǎn)文本，自然語言理解和計(jì)算機(jī)視覺，可實(shí)現(xiàn)沉浸式和自然的多模式對話。該會(huì)議室包括一個(gè)360度全景顯示系統(tǒng)，一個(gè)音頻系統(tǒng)，多個(gè)攝像頭，多個(gè)Kinect設(shè)備和多個(gè)麥克風(fēng)，以及支持AI技術(shù)的計(jì)算機(jī)系統(tǒng)，其中一些位于會(huì)議室中，而其他位于云中。

我們的目標(biāo)是將認(rèn)知，沉浸式技術(shù)與游戲玩法元素相結(jié)合，使學(xué)生能夠體驗(yàn)文化環(huán)境，練習(xí)日常任務(wù)并獲得智能代理的幫助。通過“ 普通話項(xiàng)目”，我們在CIR中使用IBM Watson作為對話代理，以在學(xué)生學(xué)習(xí)語言時(shí)吸引他們。我們的方法涉及針對英文和中文的IBM Watson語音識別和自然語言理解技術(shù)。

通過沉浸式學(xué)習(xí)外語的最大障礙之一是學(xué)生擔(dān)心會(huì)被母語使用者判斷。但是，在CIR中，學(xué)生可以與虛擬對話伙伴一起練習(xí)詞匯和發(fā)音，而無需承受真實(shí)環(huán)境的壓力。

許多語言學(xué)習(xí)研究人員正在使用虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)技術(shù)，但是我們正在研究人類規(guī)模的，身臨其境的游戲環(huán)境，在這種環(huán)境下，學(xué)生無需穿戴特殊的設(shè)備即可四處走動(dòng)。這反映了人機(jī)交互的廣泛趨勢，因?yàn)槲覀冊谌粘Ｉ钪袑π畔⒌膮⑴c變得更加身臨其境，而我們與智能機(jī)器的交互也朝著伙伴關(guān)系轉(zhuǎn)變。

我們的系統(tǒng)于2017年秋末在RPI校園的中文1課中進(jìn)行了測試。今年秋天，我們將繼續(xù)使用AI作為中文1、2和3課的教學(xué)工具，目的是提供合并中文的新課。 2019年夏季為1-3。

作為IBM AI Horizo??ns Network的一部分，CISL創(chuàng)建并使用了以下技術(shù)：上下文感知系統(tǒng)，音調(diào)輪廓分析，人與AI代理之間自然語言對話中的中英文語言切換，多用戶多模式交互，決策過程中的推理和計(jì)劃以及自動(dòng)生成敘事，可視化和聲音化的多模式故事講述。

CIR是CISL中的四個(gè)用例之一。該實(shí)驗(yàn)室還致力于增強(qiáng)團(tuán)體情報(bào)，以在董事會(huì)等現(xiàn)實(shí)環(huán)境中進(jìn)行關(guān)鍵決策。將來，這些新的認(rèn)知和沉浸式系統(tǒng)可能會(huì)從根本上改變?nèi)藗兊纳詈凸ぷ鞣绞健IR的早期原型還為用戶交互研究提供了機(jī)會(huì)，使我們能夠發(fā)現(xiàn)并應(yīng)對語言學(xué)習(xí)中的新挑戰(zhàn)。