通過手勢引導(dǎo)的2-D顯示設(shè)備上的形狀的視覺呈現(xiàn)

NIT Kurukshetra，IIT Roorkee和IIT Bhubaneswar的研究人員開發(fā)了一種新的基于Leap Motion控制器的方法，可以改善顯示設(shè)備上二維和三維形狀的渲染。在arXiv上發(fā)表的一篇論文中概述的這種新方法跟蹤手指運(yùn)動(dòng)，同時(shí)用戶在傳感器視野內(nèi)執(zhí)行自然手勢。

近年來，研究人員一直在嘗試設(shè)計(jì)創(chuàng)新的非接觸式用戶界面。這樣的接口可以允許用戶即使在他們的手臟或不導(dǎo)電時(shí)也與電子設(shè)備交互，同時(shí)還幫助人們部分身體殘疾。低成本傳感器的出現(xiàn)增強(qiáng)了探索這些可能性的研究，例如Leap Motion，Kinect和RealSense器件所使用的傳感器。

“我們希望開發(fā)一種能夠?yàn)閷W(xué)習(xí)粘土藝術(shù)的學(xué)生提供引人入勝的教學(xué)體驗(yàn)的技術(shù)，甚至是學(xué)習(xí)基本字母的孩子，”進(jìn)行這項(xiàng)研究的研究人員Debi Prosad Dogra博士告訴TechXplore。“了解兒童從視覺刺激中學(xué)習(xí)得更好的事實(shí)，我們利用著名的手部動(dòng)作捕捉設(shè)備來提供這種體驗(yàn)。我們想設(shè)計(jì)一個(gè)框架，可以識(shí)別教師的手勢并在屏幕上呈現(xiàn)視覺效果。設(shè)置可以是用于需要手勢引導(dǎo)的視覺渲染的應(yīng)用程序。“

Dogra博士及其同事提出的框架有兩個(gè)不同的部分。在第一部分中，用戶從Leap Motion設(shè)備的視野內(nèi)可用的36種類型的手勢中執(zhí)行自然手勢。

“傳感器內(nèi)的兩個(gè)紅外攝像機(jī)可以記錄手勢序列，”Dogra博士說。“提議的機(jī)器學(xué)習(xí)模塊可以預(yù)測手勢類，渲染單元在屏幕上呈現(xiàn)相應(yīng)的形狀。”

分析用戶的手部軌跡以提取3-D中的擴(kuò)展Npen ++特征。表示用戶在手勢期間的手指運(yùn)動(dòng)的這些特征被饋送到用于訓(xùn)練的單向從左到右的隱馬爾可夫模型(HMM)。然后，系統(tǒng)在手勢和形狀之間執(zhí)行一對一的映射。最后，使用MuPad界面在顯示器上呈現(xiàn)與這些手勢對應(yīng)的形狀。

“從開發(fā)人員的角度來看，擬議的框架是一個(gè)典型的開放式框架，”Dogra博士解釋說。“為了增加更多的手勢，開發(fā)人員只需要從一些志愿者那里收集手勢序列數(shù)據(jù)，并為新課程重新訓(xùn)練機(jī)器學(xué)習(xí)(ML)模型。這個(gè)ML模型可以學(xué)習(xí)一個(gè)廣義的表示。”

作為他們研究的一部分，研究人員創(chuàng)建了一個(gè)由10名志愿者記錄的5400個(gè)樣本的數(shù)據(jù)集。他們的數(shù)據(jù)集包含18種幾何形狀和18種非幾何形狀，包括圓形，矩形，花形，圓錐形，球形等等。

“特征選擇是典型機(jī)器學(xué)習(xí)應(yīng)用的重要部分之一，”Dogra博士說。“在我們的工作中，我們已經(jīng)擴(kuò)展了3-D中現(xiàn)??有的2-D Npen ++功能。已經(jīng)證明擴(kuò)展功能可以顯著提高性能.3-D Npen ++功能也可以用于其他類型的信號(hào)，例如正文 - 檢測，活動(dòng)識(shí)別等。“

Dogra博士及其同事用五重交叉驗(yàn)證評估了他們的方法，發(fā)現(xiàn)它的準(zhǔn)確率達(dá)到了92.87%。它們擴(kuò)展的3-D特征優(yōu)于現(xiàn)有的3-D特征，用于形狀表示和分類。將來，研究人員設(shè)計(jì)的方法可以幫助開發(fā)智能顯示設(shè)備的有用的人機(jī)交互(HCI)應(yīng)用程序。

“我們的手勢識(shí)別方法非常普遍，”Dogra博士補(bǔ)充道。“我們將這項(xiàng)技術(shù)視為聾人和殘疾人溝通的工具。我們現(xiàn)在希望利用該系統(tǒng)來理解手勢并將其轉(zhuǎn)換成書面形式或形狀，以協(xié)助人們進(jìn)行日常生活對話。隨著先進(jìn)的機(jī)器學(xué)習(xí)的出現(xiàn)像遞歸神經(jīng)網(wǎng)絡(luò)(RNN)和長期短期記憶(LSTM)這樣的模型，時(shí)間信號(hào)分類也有很多范圍。“