識(shí)別軟件可以驅(qū)動(dòng)多個(gè)科學(xué)領(lǐng)域的匹配

世界充斥著各種形象。目前的估計(jì)是，2016年中期有21億智能手機(jī)用戶(hù)，比2014年中期增加了5億，他們正在制作大量的照片。在完美的世界中，沒(méi)有人會(huì)在沒(méi)有仔細(xì)注釋圖像旁邊的地點(diǎn)，時(shí)間和內(nèi)容的情況下存儲(chǔ)照片。當(dāng)然，我們大多數(shù)人都忙于抓取新圖像來(lái)精心策劃現(xiàn)有圖像。

對(duì)于工作中的科學(xué)家來(lái)說(shuō)，情況也是如此，他們?cè)诓豢偸亲⑨屗屑?xì)節(jié)的情況下收集圖像。此外，絕大多數(shù)科學(xué)圖像都是以更快的速度自動(dòng)拍攝的，探測(cè)器，計(jì)算機(jī)和帶寬達(dá)到了前所未有的采集水平。

在收集這些圖像時(shí)對(duì)它們進(jìn)行注釋是不可行的 - 它們顯示得太快，無(wú)法進(jìn)行分析和編目。有時(shí)很難確切地知道圖像是什么，直到與其他圖像進(jìn)行比較。

現(xiàn)在，幫助在線購(gòu)物者搜索類(lèi)似鞋子或燈具的相同技術(shù)也有望幫助科學(xué)家更好地存儲(chǔ)，分析和比較實(shí)驗(yàn)圖像。美國(guó)能源部勞倫斯伯克利國(guó)家實(shí)驗(yàn)室(伯克利實(shí)驗(yàn)室)的科學(xué)家與加州大學(xué)伯克利分校伯克利數(shù)據(jù)科學(xué)研究所的同事合作，正在構(gòu)建自動(dòng)機(jī)器學(xué)習(xí)工具，以便通過(guò)細(xì)胞實(shí)驗(yàn)產(chǎn)生的圖像進(jìn)行推斷和識(shí)別。復(fù)合材料。

該團(tuán)隊(duì)由伯克利實(shí)驗(yàn)室計(jì)算研究部門(mén)的Daniela Ushizima領(lǐng)導(dǎo)，已經(jīng)構(gòu)建了一個(gè)基于Python的新工具，用于基于內(nèi)容的圖像檢索(CBIR)，能夠從大型數(shù)據(jù)集中搜索相關(guān)項(xiàng)目，并提供看不見(jiàn)的樣本。該工具命名為“pyCBIR”，可用于編目和檢索來(lái)自不同科學(xué)領(lǐng)域的圖像，如生物學(xué)，材料研究和地質(zhì)學(xué)。這個(gè)概念類(lèi)似于在Facebook上標(biāo)記朋友照片的過(guò)程 - 在多次明確地將照片標(biāo)記為屬于同一個(gè)人之后，F(xiàn)acebook“學(xué)會(huì)”將標(biāo)簽應(yīng)用于同一個(gè)人的新照片帖子。

與幾乎所有具有相同基本標(biāo)志的面部圖片不同，來(lái)自實(shí)驗(yàn)的科學(xué)圖像通常呈現(xiàn)更廣泛的屬性，甚至專(zhuān)家可能難以解密。這使得自動(dòng)識(shí)別過(guò)程更加復(fù)雜。為了開(kāi)發(fā)出能夠應(yīng)用這么多不同特征的方法，Ushizima和她的團(tuán)隊(duì)必須自己進(jìn)行一些實(shí)驗(yàn)。

為了將原始圖像轉(zhuǎn)換為一組簽名，該團(tuán)隊(duì)使用稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò)的一系列算法通過(guò)處理層運(yùn)行圖像。目標(biāo)是創(chuàng)建幾個(gè)數(shù)據(jù)驅(qū)動(dòng)的模型，使用他們感興趣的科學(xué)圖像自動(dòng)將模式(例如細(xì)胞)分配到不同的類(lèi)。通過(guò)反復(fù)重復(fù)該過(guò)程，他們“訓(xùn)練”應(yīng)用程序以提高其準(zhǔn)確性。

“我們研究了形狀的特征，包括圖像顏色和紋理，然后如何將這些信息轉(zhuǎn)化為數(shù)字，以便我們可以索引和編目不同的模式，”Ushizima說(shuō)，他也是加州大學(xué)伯克利分校數(shù)據(jù)科學(xué)研究所的研究員。伯克利和伯克利實(shí)驗(yàn)室能源研究應(yīng)用高級(jí)數(shù)學(xué)中心(CAMERA)的成員。Ushizima正在尋求其他組織的興趣，并打算很快將pyCBIR公之于眾。pyCBIR內(nèi)部的核心思想是在8月12日至14日在舊金山舉行的2016年P(guān)yData會(huì)議上的一次演講中提出的，但在提交出版的新文章中概述了許多其他發(fā)展。

“挑戰(zhàn)在于如何表現(xiàn)這些簽名以反映圖像中的距離，角度和邊界，”Ushizima說(shuō)。“我的想法是提出一種方法來(lái)理解與其他類(lèi)似的東西，在處理非常抽象的數(shù)據(jù)時(shí)特別有用.pyCBIR允許您使用圖像查詢(xún)大型數(shù)據(jù)集，并自動(dòng)確定與之前編目的圖像的相關(guān)性它們的相似性。“

Ushizima利用她2015年DOE早期職業(yè)研究計(jì)劃獎(jiǎng)的一部分來(lái)啟動(dòng)算法項(xiàng)目，目標(biāo)是制作一個(gè)可以跨越科學(xué)領(lǐng)域的工具，將價(jià)值匯總到能源部成像設(shè)施及其他部門(mén)收集的數(shù)據(jù)。

基礎(chǔ)算法的首次使用之一是在細(xì)胞圖像的搜索數(shù)據(jù)庫(kù)中，包括與宮頸癌相關(guān)的那些。宮頸癌篩查程序目前依賴(lài)于兩名或更多細(xì)胞學(xué)家在顯微鏡下觀察圖像，但如果能夠以更高的速度準(zhǔn)確地進(jìn)行，那么醫(yī)生可以更早地識(shí)別癌細(xì)胞，這將為治療提供更多選擇并改善生存的機(jī)會(huì)。

典型的子宮頸抹片檢查包含50,000到300,000個(gè)細(xì)胞，在某些情況下，其中可能潛伏著一個(gè)異常細(xì)胞。不同的細(xì)胞形狀，重疊的細(xì)胞，細(xì)胞質(zhì)的不良對(duì)比以及血液，炎性細(xì)胞和粘液的存在可能使分析進(jìn)一步復(fù)雜化并導(dǎo)致假陰性。

在中國(guó)北京舉行的IEEE國(guó)際生物醫(yī)學(xué)成像研討會(huì)(ISBI 2014)上，Ushizima與巴西歐魯普雷托聯(lián)合大學(xué)(UFOP)教授Andrea Bianchi和Claudia Carneiro合作開(kāi)發(fā)的方法被評(píng)為最快，在軟件工具之間的競(jìng)爭(zhēng)中最準(zhǔn)確的是從重疊的宮頸細(xì)胞圖像中提取單個(gè)細(xì)胞質(zhì)和細(xì)胞核的邊界。

與科學(xué)家直接合作

該團(tuán)隊(duì)匯集了一系列科學(xué)領(lǐng)域，包括Advanced Light Source材料科學(xué)家Alexander Hexemer和Dula Parkinson，科學(xué)無(wú)國(guó)界訪問(wèn)計(jì)算機(jī)科學(xué)教授Flavio Araujo和來(lái)自巴西塞阿拉聯(lián)邦大學(xué)的Romuere Silva，以及來(lái)自巴西Ceara聯(lián)邦大學(xué)的宮頸細(xì)胞研究人員。英格蘭曼徹斯特大學(xué)和巴西歐魯普雷圖聯(lián)邦大學(xué)。

席爾瓦表示，該團(tuán)隊(duì)已經(jīng)在下一版pyCBIR中工作，目標(biāo)是縮短檢索圖像和改進(jìn)圖形界面的時(shí)間。“通過(guò)這種方式，我們希望這個(gè)工具對(duì)科學(xué)家來(lái)說(shuō)更有用，”他說(shuō)。

她的一個(gè)合作伙伴是在伯克利實(shí)驗(yàn)室的DOE科學(xué)辦公室國(guó)家用戶(hù)設(shè)施Advanced Light Source工作的材料科學(xué)家。一個(gè)ALS實(shí)驗(yàn)涉及將復(fù)合陶瓷材料置于增加的壓力下直至裂縫開(kāi)始形成。部分實(shí)驗(yàn)是在材料中嵌入纖維以幫助抵抗開(kāi)裂。這項(xiàng)工作是與加州大學(xué)伯克利分校教授Robert Ritchie教授合作完成的，他已經(jīng)研究了材料失效30多年。

帕金森說(shuō)：“通常情況下，科學(xué)家會(huì)依靠博士后手動(dòng)檢查圖像，尋找纖維的位置并逐一識(shí)別它們。” “我們希望使用pyCBIR來(lái)利用投入的手工勞動(dòng)并根據(jù)人工策劃數(shù)據(jù)創(chuàng)建模型。并且，下一步，pyCBIR還可以通過(guò)自動(dòng)建議光纖位置來(lái)簡(jiǎn)化進(jìn)行實(shí)驗(yàn)所需的工作量。我們經(jīng)常施加壓力在材料上直到它破裂，這需要全天候觀察。但是如果我們知道它會(huì)在何時(shí)何地破裂，我們可以將光束線精確地聚焦在該區(qū)域上并獲得更高分辨率的圖像，這將為我們提供更多信息“。

社區(qū)建設(shè)方面

未來(lái)可能會(huì)帶來(lái)一個(gè)“Facebook”的科學(xué)圖像，并通過(guò)識(shí)別他們共同知道的材料和特征來(lái)幫助研究人員聯(lián)系。例如，共享特定顯微鏡或跨多個(gè)光束線工作的科學(xué)家可能能夠合并他們正在收集的圖像中的結(jié)構(gòu)信息，而不共享其數(shù)據(jù)本身，并且可以檢測(cè)和識(shí)別共同特征。

“我們的原型工具解決了圖像搜索中的一些問(wèn)題，我們將通過(guò)幫助識(shí)別依賴(lài)于研究特定圖片作為調(diào)查一部分的科學(xué)家的模式來(lái)推進(jìn)，”Ushizima說(shuō)。“合作對(duì)于開(kāi)發(fā)這些工具至關(guān)重要，我們認(rèn)為這些工具將使更大的社區(qū)受益。”