通過手勢引導的2-D顯示設備上的形狀的視覺呈現(xiàn)

NIT Kurukshetra，IIT Roorkee和IIT Bhubaneswar的研究人員開發(fā)了一種新的基于Leap Motion控制器的方法，可以改善顯示設備上二維和三維形狀的渲染。在arXiv上發(fā)表的一篇論文中概述的這種新方法跟蹤手指運動，同時用戶在傳感器視野內(nèi)執(zhí)行自然手勢。

近年來，研究人員一直在嘗試設計創(chuàng)新的非接觸式用戶界面。這樣的接口可以允許用戶即使在他們的手臟或不導電時也與電子設備交互，同時還幫助人們部分身體殘疾。低成本傳感器的出現(xiàn)增強了探索這些可能性的研究，例如Leap Motion，Kinect和RealSense器件所使用的傳感器。

“我們希望開發(fā)一種能夠為學習粘土藝術(shù)的學生提供引人入勝的教學體驗的技術(shù)，甚至是學習基本字母的孩子，”進行這項研究的研究人員Debi Prosad Dogra博士告訴TechXplore。“了解兒童從視覺刺激中學習得更好的事實，我們利用著名的手部動作捕捉設備來提供這種體驗。我們想設計一個框架，可以識別教師的手勢并在屏幕上呈現(xiàn)視覺效果。設置可以是用于需要手勢引導的視覺渲染的應用程序。“

Dogra博士及其同事提出的框架有兩個不同的部分。在第一部分中，用戶從Leap Motion設備的視野內(nèi)可用的36種類型的手勢中執(zhí)行自然手勢。

“傳感器內(nèi)的兩個紅外攝像機可以記錄手勢序列，”Dogra博士說。“提議的機器學習模塊可以預測手勢類，渲染單元在屏幕上呈現(xiàn)相應的形狀。”

分析用戶的手部軌跡以提取3-D中的擴展Npen ++特征。表示用戶在手勢期間的手指運動的這些特征被饋送到用于訓練的單向從左到右的隱馬爾可夫模型(HMM)。然后，系統(tǒng)在手勢和形狀之間執(zhí)行一對一的映射。最后，使用MuPad界面在顯示器上呈現(xiàn)與這些手勢對應的形狀。

“從開發(fā)人員的角度來看，擬議的框架是一個典型的開放式框架，”Dogra博士解釋說。“為了增加更多的手勢，開發(fā)人員只需要從一些志愿者那里收集手勢序列數(shù)據(jù)，并為新課程重新訓練機器學習(ML)模型。這個ML模型可以學習一個廣義的表示。”

作為他們研究的一部分，研究人員創(chuàng)建了一個由10名志愿者記錄的5400個樣本的數(shù)據(jù)集。他們的數(shù)據(jù)集包含18種幾何形狀和18種非幾何形狀，包括圓形，矩形，花形，圓錐形，球形等等。

“特征選擇是典型機器學習應用的重要部分之一，”Dogra博士說。“在我們的工作中，我們已經(jīng)擴展了3-D中現(xiàn)??有的2-D Npen ++功能。已經(jīng)證明擴展功能可以顯著提高性能.3-D Npen ++功能也可以用于其他類型的信號，例如正文 - 檢測，活動識別等。“

Dogra博士及其同事用五重交叉驗證評估了他們的方法，發(fā)現(xiàn)它的準確率達到了92.87%。它們擴展的3-D特征優(yōu)于現(xiàn)有的3-D特征，用于形狀表示和分類。將來，研究人員設計的方法可以幫助開發(fā)智能顯示設備的有用的人機交互(HCI)應用程序。

“我們的手勢識別方法非常普遍，”Dogra博士補充道。“我們將這項技術(shù)視為聾人和殘疾人溝通的工具。我們現(xiàn)在希望利用該系統(tǒng)來理解手勢并將其轉(zhuǎn)換成書面形式或形狀，以協(xié)助人們進行日常生活對話。隨著先進的機器學習的出現(xiàn)像遞歸神經(jīng)網(wǎng)絡(RNN)和長期短期記憶(LSTM)這樣的模型，時間信號分類也有很多范圍。“