闡明人工智能系統(tǒng)如何做出選擇

人工智能(AI)和機(jī)器學(xué)習(xí)架構(gòu)(如深度學(xué)習(xí))已成為我們?nèi)粘Ｉ钪胁豢苫蛉钡慕M成部分 - 它們可實(shí)現(xiàn)數(shù)字語(yǔ)音助理或翻譯服務(wù)，改善醫(yī)療診斷，是未來(lái)技術(shù)(如自動(dòng)駕駛)不可或缺的一部分?；诓粩嘣黾拥臄?shù)據(jù)量和強(qiáng)大的新型計(jì)算機(jī)體系結(jié)構(gòu)，學(xué)習(xí)算法似乎接近人類的能力，有時(shí)甚至超越它們。然而，到目前為止，用戶通常不知道AI系統(tǒng)究竟是如何得出他們的結(jié)論的。因此，人們常常不清楚人工智能的決策行為是否真正智能，或者程序是否只是平均成功。

來(lái)自TU Berlin，F(xiàn)raunhofer Heinrich Hertz Institute HHI和新加坡科技與設(shè)計(jì)大學(xué)(SUTD)的研究人員已經(jīng)解決了這個(gè)問(wèn)題，并提供了對(duì)當(dāng)前AI系統(tǒng)中觀察到的各種“智能”頻譜的一瞥，特別是用小說(shuō)分析這些AI系統(tǒng)允許自動(dòng)化分析和量化的技術(shù)。

這項(xiàng)新技術(shù)最重要的先決條件是TU Berlin和Fraunhofer HHI早期開(kāi)發(fā)的方法，即所謂的分層相關(guān)傳播(LRP)算法，該算法允許根據(jù)AI系統(tǒng)做出決策的輸入變量進(jìn)行可視化。擴(kuò)展LRP，新穎的頻譜相關(guān)性分析(SpRAy)可以識(shí)別和量化廣泛的學(xué)習(xí)決策行為。以這種方式，現(xiàn)在即使在非常大的數(shù)據(jù)集中也可以檢測(cè)到不期望的決策。

據(jù)柏林工業(yè)大學(xué)機(jī)器學(xué)習(xí)教授Klaus-RobertMüller博士稱，這種所謂的“可解釋人工智能”已成為人工智能實(shí)際應(yīng)用的最重要步驟之一。“特別是在醫(yī)療診斷或安全關(guān)鍵系統(tǒng)中，不應(yīng)使用采用片狀甚至作弊問(wèn)題解決策略的AI系統(tǒng)。”

通過(guò)使用他們新開(kāi)發(fā)的算法，研究人員終于能夠?qū)⑷魏维F(xiàn)有的AI系統(tǒng)進(jìn)行測(cè)試并獲得有關(guān)它們的定量信息：從幼稚的問(wèn)題解決行為開(kāi)始，到欺騙策略到高度精細(xì)的“智能”戰(zhàn)略解決方案。觀察到了。

Fraunhofer HHI的組長(zhǎng)Wojciech Samek博士說(shuō)：“我們對(duì)廣泛的學(xué)習(xí)問(wèn)題解決策略感到非常驚訝。即使是現(xiàn)代人工智能系統(tǒng)也并非總能找到一個(gè)從人類角度看起來(lái)有意義的解決方案，但有時(shí)會(huì)使用被稱為聰明的漢斯戰(zhàn)略。“

聰明的漢斯是一匹可以算數(shù)的馬，在20世紀(jì)初被認(rèn)為是一種科學(xué)感受。正如后來(lái)發(fā)現(xiàn)的那樣，漢斯并沒(méi)有掌握數(shù)學(xué)，但在大約90%的案例中，他能夠從提問(wèn)者的反應(yīng)中得出正確的答案。

Klaus-RobertMüller和Wojciech Samek周圍的團(tuán)隊(duì)也在各種AI系統(tǒng)中發(fā)現(xiàn)了類似的“聰明漢斯”策略。例如，幾年前贏得多個(gè)國(guó)際圖像分類競(jìng)賽的人工智能系統(tǒng)采用了一種從人類的角度來(lái)看可以被認(rèn)為是天真的策略。它主要根據(jù)背景對(duì)圖像進(jìn)行分類。當(dāng)圖片中有大量的水時(shí)，圖像被分配到“船”類別。如果有鐵軌，其他圖像被歸類為“火車”。還通過(guò)其版權(quán)水印為其他圖片分配了正確的類別。因此，人工智能系統(tǒng)無(wú)法解決真正的任務(wù)，即檢測(cè)船舶或火車的概念，即使它確實(shí)對(duì)大多數(shù)圖像進(jìn)行了正確分類。

研究人員還能夠在一些最先進(jìn)的人工智能算法中找到這些類型的錯(cuò)誤解決問(wèn)題的策略，即所謂的深度神經(jīng)網(wǎng)絡(luò)算法，這種算法被認(rèn)為可以免受這種失誤的影響。這些網(wǎng)絡(luò)的分類決策部分基于在準(zhǔn)備圖像期間創(chuàng)建的工件，并且與實(shí)際圖像內(nèi)容無(wú)關(guān)。

“這種人工智能系統(tǒng)在實(shí)踐中沒(méi)有用。它們?cè)卺t(yī)療診斷或安全關(guān)鍵領(lǐng)域的使用甚至?xí)?lái)巨大的危險(xiǎn)，”Klaus-RobertMüller說(shuō)。“可以想象，目前使用的大約一半AI系統(tǒng)隱含或明確地依賴于這種Clever Hans戰(zhàn)略?，F(xiàn)在是時(shí)候系統(tǒng)地檢查它，以便開(kāi)發(fā)安全的AI系統(tǒng)。”

通過(guò)他們的新技術(shù)，研究人員還確定了意外學(xué)習(xí)“智能”策略的人工智能系統(tǒng)。例子包括學(xué)會(huì)玩Atari游戲Breakout和Pinball的系統(tǒng)。“在這里，人工智能清楚地理解了游戲的概念，并找到了一種以有針對(duì)性和低風(fēng)險(xiǎn)的方式收集大量積分的智能方式。系統(tǒng)有時(shí)甚至以真正的玩家不會(huì)干預(yù)的方式進(jìn)行干預(yù)，”Wojciech說(shuō)。薩梅克。

“除了理解AI策略之外，我們的工作為迭代數(shù)據(jù)集設(shè)計(jì)建立了可解釋AI的可用性，即用于移除數(shù)據(jù)集中的人工制品，這會(huì)導(dǎo)致AI學(xué)習(xí)有缺陷的策略，以及幫助確定哪些未標(biāo)記的示例需要注釋和SUTD助理教授Alexander Binder表示，人工智能系統(tǒng)的故障可以減少。

“我們的自動(dòng)化技術(shù)是開(kāi)源的，可供所有科學(xué)家使用。我們認(rèn)為我們的工作是使AI系統(tǒng)在未來(lái)更加強(qiáng)大，可解釋和安全的重要的第一步，并且必須遵循更多。這是一般必不可少的先決條件。使用AI，“Klaus-RobertMüller說(shuō)。