新框架提高了深度神經(jīng)網(wǎng)絡(luò)的性能

研究人員開(kāi)發(fā)了一種新的框架，用于通過(guò)語(yǔ)法引導(dǎo)的網(wǎng)絡(luò)生成器構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。在實(shí)驗(yàn)測(cè)試中，新的網(wǎng)絡(luò)(稱(chēng)為AOGNets)在視覺(jué)識(shí)別任務(wù)中的表現(xiàn)優(yōu)于現(xiàn)有的最先進(jìn)的框架，包括廣泛使用的ResNet和DenseNet系統(tǒng)。北卡羅來(lái)納州立大學(xué)的研究人員開(kāi)發(fā)了一種新的框架，用于通過(guò)語(yǔ)法引導(dǎo)網(wǎng)絡(luò)生成器構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。在實(shí)驗(yàn)測(cè)試中，新的網(wǎng)絡(luò)(稱(chēng)為AOGNets)在視覺(jué)識(shí)別任務(wù)中的表現(xiàn)優(yōu)于現(xiàn)有的最先進(jìn)的框架，包括廣泛使用的ResNet和DenseNet系統(tǒng)。

“AOGNets比我們比較的任何網(wǎng)絡(luò)都具有更好的預(yù)測(cè)準(zhǔn)確性，”北卡羅來(lái)納州電氣和計(jì)算機(jī)工程助理教授兼工作論文的通訊作者Tianfu Wu說(shuō)。“AOGNets也更具解釋性，這意味著用戶(hù)可以看到系統(tǒng)如何得出結(jié)論。”

新框架使用組合語(yǔ)法方法進(jìn)行系統(tǒng)架構(gòu)，該方法利用先前網(wǎng)絡(luò)系統(tǒng)的最佳實(shí)踐，以更有效地從原始數(shù)據(jù)中提取有用信息。

“我們發(fā)現(xiàn)，分層和組合語(yǔ)法為我們提供了一種簡(jiǎn)單，優(yōu)雅的方式來(lái)統(tǒng)一以前的系統(tǒng)架構(gòu)所采用的方法，而據(jù)我們所知，這是第一項(xiàng)利用語(yǔ)法進(jìn)行網(wǎng)絡(luò)生成的工作，”Wu說(shuō)。

為了測(cè)試他們的新框架，研究人員開(kāi)發(fā)了AOGNets，并針對(duì)三種圖像分類(lèi)基準(zhǔn)測(cè)試它們：CIFAR-10，CIFAR-100和ImageNet-1K。

“AOGNets在公平比較中獲得的性能明顯優(yōu)于所有最先進(jìn)的網(wǎng)絡(luò)，包括ResNets，DenseNets，ResNeXts和DualPathNets，”Wu說(shuō)。“AOGNets還使用ImageNet中的網(wǎng)絡(luò)剖析度量獲得了最佳模型可解釋性評(píng)分.AOGNets進(jìn)一步顯示了對(duì)抗性防御和平臺(tái)無(wú)關(guān)部署(移動(dòng)與云端)的巨大潛力。”

研究人員還使用vanilla Mask R-CNN系統(tǒng)在Microsoft COCO基準(zhǔn)測(cè)試中測(cè)試了AOGNets在對(duì)象檢測(cè)和實(shí)例語(yǔ)義分割方面的性能。

“AOGNets獲得了比ResNet和ResNeXt主干更好的結(jié)果，模型尺寸更小，推理時(shí)間相似或稍好一些，”Wu說(shuō)。“結(jié)果顯示了AOGNets在對(duì)象檢測(cè)和分割任務(wù)中學(xué)習(xí)更好功能的有效性。

這些測(cè)試是相關(guān)的，因?yàn)閳D像分類(lèi)是視覺(jué)識(shí)別的核心基本任務(wù)之一，ImageNet是標(biāo)準(zhǔn)的大規(guī)模分類(lèi)基準(zhǔn)。同樣，對(duì)象檢測(cè)和分割是兩個(gè)核心高級(jí)視覺(jué)任務(wù)，MS-COCO是最廣泛使用的基準(zhǔn)之一。

“為了評(píng)估視覺(jué)識(shí)別中深度學(xué)習(xí)的新網(wǎng)絡(luò)架構(gòu)，它們是金色的測(cè)試平臺(tái)，”吳說(shuō)。“AOGNets是在原則語(yǔ)法框架下開(kāi)發(fā)的，并且在ImageNet和MS-COCO中都獲得了顯著的改進(jìn)，因此在許多實(shí)際應(yīng)用中表現(xiàn)出對(duì)表示學(xué)習(xí)的潛在廣泛和深遠(yuǎn)的影響。

“我們對(duì)語(yǔ)法引導(dǎo)的AOGNet框架感到興奮，并且正在探索其在其他深度學(xué)習(xí)應(yīng)用中的表現(xiàn)，例如深層自然語(yǔ)言理解，深度生成學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)，”吳說(shuō)。

該論文“AOGNets：深度學(xué)習(xí)的組合語(yǔ)法架構(gòu)”將于6月16日至20日在加利福尼亞州長(zhǎng)灘舉行的IEEE計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)上發(fā)表。論文的第一作者是李希來(lái)，博士.D。NC州的學(xué)生。該論文由獨(dú)立研究員習(xí)松共同撰寫(xiě)。

這項(xiàng)工作是在美國(guó)陸軍研究辦公室的支持下完成的，資金來(lái)源為W911NF1810295和W911NF1810209。

提交了一份專(zhuān)利申請(qǐng)。作者有興趣與潛在的學(xué)術(shù)和行業(yè)合作伙伴合作。