用于人體動(dòng)作識(shí)別的26層卷積神經(jīng)網(wǎng)絡(luò)

諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)之類的深度學(xué)習(xí)算法已在各種任務(wù)上取得了顯著成果，包括那些涉及識(shí)別圖像中特定人物或物體的任務(wù)。基于視覺的人類動(dòng)作識(shí)別(HAR)是計(jì)算機(jī)科學(xué)家經(jīng)常嘗試使用深度學(xué)習(xí)解決的任務(wù)，它特別需要識(shí)別圖像或視頻中捕獲的人類動(dòng)作。

HITEC大學(xué)和巴基斯坦伊斯蘭堡基礎(chǔ)大學(xué)，韓國(guó)世宗大學(xué)和中正大學(xué)，英國(guó)萊斯特大學(xué)和沙特阿拉伯蘇丹王子大學(xué)的研究人員最近開發(fā)了一種新的CNN，用于識(shí)別視頻中的人類行為。該CNN在Springer Link的“多媒體工具和應(yīng)用程序”期刊上發(fā)表的一篇論文中進(jìn)行了介紹，經(jīng)過(guò)培訓(xùn)可以區(qū)分幾種不同的人類動(dòng)作，包括拳擊，拍手，揮舞，慢跑，跑步和散步。

研究人員在論文中寫道：“我們?cè)O(shè)計(jì)了一種新的26層卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)，用于精確的復(fù)雜動(dòng)作識(shí)別。” “這些特征是從全局平均池化層和完全連接(FC)層中提取的，并通過(guò)建議的基于高熵的方法進(jìn)行融合。”

當(dāng)試圖識(shí)別人類在圖像或視頻中的動(dòng)作時(shí)，CNN通常會(huì)將其分析重點(diǎn)放在許多潛在的相關(guān)特征上。但是，某些人類動(dòng)作(例如慢跑和步行)可能非常相似，這使得這些算法很難區(qū)分它們，特別是如果它們專注于相似性核心的特征時(shí)。為了克服這一挑戰(zhàn)，研究人員使用了一種方法，該方法將稱為Poisson分布的特征選擇方法與單變量測(cè)量(PDaUM)合并在一起。

研究人員觀察到，CNN所基于的分析功能有時(shí)可能不相關(guān)或多余，這導(dǎo)致它們做出錯(cuò)誤的預(yù)測(cè)。為了降低發(fā)生這種情況的風(fēng)險(xiǎn)，他們的PDaUM方法僅選擇最強(qiáng)大的功能來(lái)識(shí)別特定的人類行為，并確保CNN基于這些功能做出最終預(yù)測(cè)。

研究人員在DB51，UFC Sports，KH和Weizmann數(shù)據(jù)集這四個(gè)數(shù)據(jù)集上訓(xùn)練和評(píng)估了兩個(gè)截然不同的CNN，一個(gè)極端機(jī)器學(xué)習(xí)(EML)和一個(gè)Softmax分類器。這些數(shù)據(jù)集包含幾個(gè)人類執(zhí)行不同類型動(dòng)作的視頻。

然后，研究人員比較了兩個(gè)CNN的性能，這兩個(gè)CNN均使用其特征選擇方法進(jìn)行了增強(qiáng)。在他們的評(píng)估中，ELM分類器的性能明顯優(yōu)于Softmax算法，可以從視頻中識(shí)別出人類動(dòng)作，其在DB51數(shù)據(jù)集上的準(zhǔn)確性為81.4%，在UCF Sports數(shù)據(jù)集上的準(zhǔn)確性為99.2%，在KTH數(shù)據(jù)集上的準(zhǔn)確性為98.3%，在KTH數(shù)據(jù)集上的準(zhǔn)確性為98.7%。魏茨曼數(shù)據(jù)集。

值得注意的是，PDaUM增強(qiáng)的ELM分類器在準(zhǔn)確性和預(yù)測(cè)時(shí)間方面也優(yōu)于研究人員將其與之相比的所有現(xiàn)有深度學(xué)習(xí)技術(shù)。因此，這些結(jié)果凸顯了研究人員介紹的特征選擇方法在提高CNN在HAR任務(wù)上的性能方面的潛力。

將來(lái)，本文介紹的ELM分類器和PDaUM方法可以開發(fā)更有效的工具，以自動(dòng)區(qū)分人類在錄制和實(shí)況錄像中正在做什么。這些工具可以通過(guò)幾種不同的方式證明其價(jià)值，例如，幫助執(zhí)法人員監(jiān)視CCTV視頻上嫌疑犯的行為，或者允許研究人員快速分析大量視頻。