新的IBM Cloud Service如何檢測(cè)AI中的偏差

人工智能為企業(yè)提供了承諾，使其能夠使用復(fù)雜的算法來(lái)處理大量數(shù)據(jù)，發(fā)現(xiàn)模式，返回洞察力，并幫助推動(dòng)更快更好的業(yè)務(wù)決策。通過(guò)神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)獲得的圖像識(shí)別，自然語(yǔ)言處理，翻譯和其他功能將幫助高管們開(kāi)辟新的收入來(lái)源，提高效率，降低成本并推動(dòng)自動(dòng)化。

與此同時(shí)，AI被視為各種各樣的“黑匣子”。數(shù)據(jù)在一端，調(diào)查結(jié)果，決策和見(jiàn)解從另一端出來(lái)，但是對(duì)于如何達(dá)到這些結(jié)果幾乎沒(méi)有可見(jiàn)性，并且隨著企業(yè)和消費(fèi)者都學(xué)會(huì)更多地依賴人工智能技術(shù)，人們?cè)絹?lái)越擔(dān)心調(diào)查結(jié)果存在偏差。神經(jīng)網(wǎng)絡(luò)與進(jìn)入的數(shù)據(jù)一樣好，并且數(shù)據(jù)可能會(huì)受到輸入數(shù)據(jù)的人的影響。

將透明度帶到前臺(tái)

IBM官員現(xiàn)在提供基于云的服務(wù)，旨在檢測(cè)AI中的偏差，并為AI驅(qū)動(dòng)的系統(tǒng)決策提供透明度。該服務(wù)在IBM Cloud上運(yùn)行，可用于管理來(lái)自各種技術(shù)供應(yīng)商的AI系統(tǒng)。與此同時(shí)，該公司將向開(kāi)源社區(qū)發(fā)布一個(gè)工具包，其中包括其他人可用于檢測(cè)和減輕AI偏差的技術(shù)和教育工具。

IBM Watson的首席架構(gòu)師兼IBM研究員Ruchir Puri表示，隨著行業(yè)采用該技術(shù)，能夠檢測(cè)偏差并更好地了解AI系統(tǒng)的決策過(guò)程至關(guān)重要。

“為了讓人工智能蓬勃發(fā)展，企業(yè)要從中獲益，高管們需要信任他們的人工智能系統(tǒng)，”普里在公司博客上寫(xiě)道。“他們需要能力來(lái)管理這些系統(tǒng)，并檢測(cè)和減輕偏見(jiàn)。關(guān)鍵 - 通常是法律要求 - 透明度被納入人工智能決策。例如，在保險(xiǎn)業(yè)中，索賠理算人可能需要向客戶解釋為什么他們的自動(dòng)索賠被自動(dòng)處理系統(tǒng)拒絕。

“現(xiàn)在是時(shí)候開(kāi)始打開(kāi)人工智能的黑匣子，讓組織對(duì)他們管理這些系統(tǒng)的能力充滿信心，并解釋如何做出決策。”

隨著人工智能的新信任和透明度功能的出現(xiàn)，認(rèn)知和人工智能系統(tǒng)和軟件的支出繼續(xù)迅速增加。IDC分析師本月表示，認(rèn)知和人工智能系統(tǒng)的支出今年將達(dá)到240億美元，到2022年將增長(zhǎng)到776億美元，在此期間每年平均增長(zhǎng)37.3%。

大量公司轉(zhuǎn)向人工智能采用

IBM自己的研究發(fā)現(xiàn)，82%的企業(yè)正在考慮或正在推進(jìn)人工智能的采用，重點(diǎn)是創(chuàng)造收入，而60%的企業(yè)擔(dān)心人工智能涉及的責(zé)任問(wèn)題。IBM發(fā)現(xiàn)，63%的人缺乏利用AI的技能。

IBM的自動(dòng)化服務(wù)與從流行的機(jī)器學(xué)習(xí)框架和AI環(huán)境構(gòu)建的模型一起工作，如Watson，TensorFlow，SparkML，來(lái)自Amazon Web Services(AWS)的Sagemaker和Microsoft的AzureML。IBM官員表示，用戶還可以自定義服務(wù)的軟件，以更好地適應(yīng)其組織的細(xì)節(jié)。

該服務(wù)可以解釋如何做出決策并在做出決策時(shí)檢測(cè)偏差，并自動(dòng)推薦可以添加到正在運(yùn)行的模型中的數(shù)據(jù)，以減輕發(fā)現(xiàn)的偏差。

該服務(wù)可以解釋決策中的因素，是否將決策推向一個(gè)方向，并記錄模型的準(zhǔn)確性，性能和公平性。此外，AI系統(tǒng)的譜系可以跟蹤客戶服務(wù)，監(jiān)管和合規(guī)性原因。所有這些都可以通過(guò)可視化儀表板訪問(wèn)。

人工智能與培訓(xùn)一樣好

“公平是企業(yè)將AI部署到根據(jù)用戶信息做出決策的應(yīng)用程序中的關(guān)鍵問(wèn)題，”Puri寫(xiě)道。“對(duì)任何一組用戶表現(xiàn)出偏見(jiàn)所造成的聲譽(yù)損害和法律影響可能對(duì)企業(yè)造成嚴(yán)重?fù)p害。AI模型與用于訓(xùn)練它們的數(shù)據(jù)一樣好，開(kāi)發(fā)具有代表性的有效訓(xùn)練數(shù)據(jù)集非常具有挑戰(zhàn)性。“

即使在訓(xùn)練期間發(fā)現(xiàn)偏見(jiàn)，“該模型仍可能在運(yùn)行時(shí)出現(xiàn)偏差。這可能是由于不同權(quán)重分配給不同特征而導(dǎo)致的優(yōu)化不協(xié)調(diào)，“他寫(xiě)道。

公司官員表示，面向開(kāi)源社區(qū)的IBM AI Fairness 360工具包包括初始九種算法，代碼和三種教程，供數(shù)據(jù)科學(xué)家，學(xué)者和研究人員使用。將來(lái)會(huì)添加更多工具和教程。