一種可以增強(qiáng)計(jì)算機(jī)視覺的新機(jī)器學(xué)習(xí)策略

來自巴塞羅那自治大學(xué)，卡內(nèi)基梅隆大學(xué)和印度海德拉巴國際信息技術(shù)研究所的研究人員開發(fā)出一種技術(shù)，可以讓深度學(xué)習(xí)算法以自我監(jiān)督的方式學(xué)習(xí)圖像的視覺特征，而無需人類研究人員的注釋。

為了在計(jì)算機(jī)視覺任務(wù)中取得顯著成果，深度學(xué)習(xí)算法需要在包含有關(guān)每個(gè)圖像的大量信息的大規(guī)模注釋數(shù)據(jù)集上進(jìn)行訓(xùn)練。但是，收集和手動(dòng)注釋這些圖像需要大量的時(shí)間，資源和人力。

“我們的目標(biāo)是讓計(jì)算機(jī)能夠閱讀和理解現(xiàn)實(shí)世界中任何類型圖像的文本信息，”進(jìn)行這項(xiàng)研究的研究人員之一Dimosthenis Karatzas在接受Tech Xplore采訪時(shí)表示。

人類使用文本信息來解釋呈現(xiàn)給他們的所有情況，以及描述他們周圍或特定圖像中發(fā)生的事情。研究人員現(xiàn)在正在嘗試為機(jī)器提供類似的功能，因?yàn)檫@會(huì)大大減少用于注釋大型數(shù)據(jù)集的資源量。

在他們的研究中，Karatzas和他的同事設(shè)計(jì)了計(jì)算模型，使用維基百科或其他在線平臺(tái)的數(shù)據(jù)，將圖像的文本信息與其中包含的視覺信息相結(jié)合。然后，他們使用這些模型來訓(xùn)練深度學(xué)習(xí)算法，以了解如何選擇語義描述圖像的良好視覺特征。

與基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的其他模型一樣，端到端學(xué)習(xí)特征，不同的層自動(dòng)學(xué)習(xí)專注于不同的事物，從第一層中的像素級(jí)細(xì)節(jié)到最后層中的更抽象特征。 。

然而，Karatzas及其同事開發(fā)的模型不需要為每個(gè)圖像指定特定的注釋。相反，找到圖像的文本上下文(例如維基百科文章)充當(dāng)監(jiān)督信號(hào)。

換句話說，這個(gè)研究小組創(chuàng)建的新技術(shù)提供了完全無監(jiān)督算法的替代方案，該算法使用與圖像相關(guān)的非視覺元素，作為自我監(jiān)督訓(xùn)練的來源。

“這將成為學(xué)習(xí)如何在計(jì)算機(jī)中表示圖像的一種非常有效的方式，無需任何明確的注釋 - 關(guān)于圖像內(nèi)容的標(biāo)簽 - 這需要花費(fèi)大量時(shí)間和手動(dòng)工作，”Karatzas解釋說。“這些新的圖像表示以自我監(jiān)督的方式學(xué)習(xí)，具有足夠的辨別力，可用于一系列典型的計(jì)算機(jī)視覺任務(wù)，如圖像分類和物體檢測。”

研究人員開發(fā)的方法允許使用文本作為監(jiān)督信號(hào)來學(xué)習(xí)有用的圖像特征。這可以為深度學(xué)習(xí)開辟新的可能性，允許算法在不需要注釋的情況下學(xué)習(xí)高質(zhì)量的圖像特征，只需分析在線即可獲得的文本和視覺資源。

通過使用來自互聯(lián)網(wǎng)的圖像訓(xùn)練他們的算法，研究人員強(qiáng)調(diào)了在線可以獲得的內(nèi)容的價(jià)值。

“我們的研究表明，網(wǎng)絡(luò)可以作為一組嘈雜的數(shù)據(jù)被利用來學(xué)習(xí)有關(guān)圖像內(nèi)容的有用表現(xiàn)，”Karatzas說。“我們不是第一個(gè)，也不是唯一暗示這個(gè)方向的人，但我們的工作已經(jīng)證明了這樣做的具體方法，利用維基百科文章作為數(shù)據(jù)來學(xué)習(xí)。”

在未來的研究中，Karatzas和他的同事將嘗試確定使用圖像嵌入文本信息自動(dòng)描述和回答圖像內(nèi)容問題的最佳方法。

“我們將繼續(xù)致力于文本和視覺信息的聯(lián)合嵌入，尋找通過利用網(wǎng)絡(luò)和社交媒體中可用的嘈雜信息進(jìn)行語義檢索的新方法，”Karatzas補(bǔ)充道。