新框架提高了深度神經(jīng)網(wǎng)絡(luò)的性能

研究人員開發(fā)了一種新的框架，用于通過語法引導(dǎo)的網(wǎng)絡(luò)生成器構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。在實驗測試中，新的網(wǎng)絡(luò)(稱為AOGNets)在視覺識別任務(wù)中的表現(xiàn)優(yōu)于現(xiàn)有的最先進(jìn)的框架，包括廣泛使用的ResNet和DenseNet系統(tǒng)。北卡羅來納州立大學(xué)的研究人員開發(fā)了一種新的框架，用于通過語法引導(dǎo)網(wǎng)絡(luò)生成器構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。在實驗測試中，新的網(wǎng)絡(luò)(稱為AOGNets)在視覺識別任務(wù)中的表現(xiàn)優(yōu)于現(xiàn)有的最先進(jìn)的框架，包括廣泛使用的ResNet和DenseNet系統(tǒng)。

“AOGNets比我們比較的任何網(wǎng)絡(luò)都具有更好的預(yù)測準(zhǔn)確性，”北卡羅來納州電氣和計算機(jī)工程助理教授兼工作論文的通訊作者Tianfu Wu說。“AOGNets也更具解釋性，這意味著用戶可以看到系統(tǒng)如何得出結(jié)論。”

新框架使用組合語法方法進(jìn)行系統(tǒng)架構(gòu)，該方法利用先前網(wǎng)絡(luò)系統(tǒng)的最佳實踐，以更有效地從原始數(shù)據(jù)中提取有用信息。

“我們發(fā)現(xiàn)，分層和組合語法為我們提供了一種簡單，優(yōu)雅的方式來統(tǒng)一以前的系統(tǒng)架構(gòu)所采用的方法，而據(jù)我們所知，這是第一項利用語法進(jìn)行網(wǎng)絡(luò)生成的工作，”Wu說。

為了測試他們的新框架，研究人員開發(fā)了AOGNets，并針對三種圖像分類基準(zhǔn)測試它們：CIFAR-10，CIFAR-100和ImageNet-1K。

“AOGNets在公平比較中獲得的性能明顯優(yōu)于所有最先進(jìn)的網(wǎng)絡(luò)，包括ResNets，DenseNets，ResNeXts和DualPathNets，”Wu說。“AOGNets還使用ImageNet中的網(wǎng)絡(luò)剖析度量獲得了最佳模型可解釋性評分.AOGNets進(jìn)一步顯示了對抗性防御和平臺無關(guān)部署(移動與云端)的巨大潛力。”

研究人員還使用vanilla Mask R-CNN系統(tǒng)在Microsoft COCO基準(zhǔn)測試中測試了AOGNets在對象檢測和實例語義分割方面的性能。

“AOGNets獲得了比ResNet和ResNeXt主干更好的結(jié)果，模型尺寸更小，推理時間相似或稍好一些，”Wu說。“結(jié)果顯示了AOGNets在對象檢測和分割任務(wù)中學(xué)習(xí)更好功能的有效性。

這些測試是相關(guān)的，因為圖像分類是視覺識別的核心基本任務(wù)之一，ImageNet是標(biāo)準(zhǔn)的大規(guī)模分類基準(zhǔn)。同樣，對象檢測和分割是兩個核心高級視覺任務(wù)，MS-COCO是最廣泛使用的基準(zhǔn)之一。

“為了評估視覺識別中深度學(xué)習(xí)的新網(wǎng)絡(luò)架構(gòu)，它們是金色的測試平臺，”吳說。“AOGNets是在原則語法框架下開發(fā)的，并且在ImageNet和MS-COCO中都獲得了顯著的改進(jìn)，因此在許多實際應(yīng)用中表現(xiàn)出對表示學(xué)習(xí)的潛在廣泛和深遠(yuǎn)的影響。

“我們對語法引導(dǎo)的AOGNet框架感到興奮，并且正在探索其在其他深度學(xué)習(xí)應(yīng)用中的表現(xiàn)，例如深層自然語言理解，深度生成學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)，”吳說。

該論文“AOGNets：深度學(xué)習(xí)的組合語法架構(gòu)”將于6月16日至20日在加利福尼亞州長灘舉行的IEEE計算機(jī)視覺與模式識別大會上發(fā)表。論文的第一作者是李希來，博士.D。NC州的學(xué)生。該論文由獨立研究員習(xí)松共同撰寫。

這項工作是在美國陸軍研究辦公室的支持下完成的，資金來源為W911NF1810295和W911NF1810209。

提交了一份專利申請。作者有興趣與潛在的學(xué)術(shù)和行業(yè)合作伙伴合作。