面部識別系統(tǒng)長期以來一直在為女性和色彩人群提供更高的錯誤率

昨天，亞馬遜安靜的Rekognition計劃變得非常公開，因為北加州ACLU獲得的新文件顯示該系統(tǒng)與奧蘭多市和摩托羅拉解決方案等警察攝像機供應(yīng)商合作，提供積極的新型實時面部識別服務(wù)。亞馬遜堅持認(rèn)為該服務(wù)是一種簡單的對象識別工具，僅用于法律目的。但即使我們接受公司的承諾，該項目也會引起嚴(yán)重關(guān)注，特別是在種族偏見方面。

面部識別系統(tǒng)長期以來一直在為女性和色彩人群提供更高的錯誤率 - 錯誤率可以直接轉(zhuǎn)化為邊緣化群體的更多停留和逮捕。雖然有些公司已通過公開偏見測試做出回應(yīng)，但亞馬遜尚未共享任何有關(guān)該問題的數(shù)據(jù)，如果它根本收集數(shù)據(jù)的話。與此同時，它已經(jīng)在美國各個城市部署其軟件，其增長受到世界上最大的云基礎(chǔ)設(shè)施之一的推動。對于任何擔(dān)心算法偏見的人來說，這是一個可怕的想法。

對于曾參與昨天報告的ACLU-NC的Matt Cagle來說，偏見的可能性是系統(tǒng)最大的問題之一。“我們對亞馬遜明顯無法理解其產(chǎn)品對真人的影響感到震驚，”Cagle說。“人臉識別是一種有偏見的技術(shù)。它不會使社區(qū)更安全。它只是為更大的歧視性監(jiān)視和警務(wù)提供動力。“

最具體的問題是錯誤的識別。警方通常使用面部識別來尋找特定的嫌疑人，將可疑照片與相機鏡頭或照片陣列進行比較。但是白人受試者產(chǎn)生錯誤匹配的可能性始終低于黑人受試者，這是在許多算法中發(fā)現(xiàn)的偏見。從最基本的角度來看，這意味著面部識別系統(tǒng)會給非白人帶來非法指控和逮捕的額外威脅。偏見似乎來自用于訓(xùn)練算法的數(shù)據(jù)，這通常會使白人和男性產(chǎn)生偏差。有可能解決這個問題，但沒有公開證據(jù)表明亞馬遜正在解決這個問題。

到目前為止，Rekognition沒有共享數(shù)據(jù)，這不是一個好兆頭。該項目擁有廣泛的開發(fā)人員文檔，涉及從泳衣檢測到名人隱私要求的所有內(nèi)容，但沒有任何關(guān)于種族偏見的可能性。ACLU的報告昨天破了之后，我直接詢問了亞馬遜公司是否有任何有關(guān)Rekognition偏差測試的數(shù)據(jù)，但到目前為止，沒有任何數(shù)據(jù)出現(xiàn)過。

這是一個明顯的疏忽，部分原因是公共測試在其他面部識別公司中相對普遍。一年多以來，作為一個名為面部識別供應(yīng)商測試(FRVT)的政府項目的一部分，已有數(shù)十家公司在公共場合測量他們的系統(tǒng)。FRVT由美國國家標(biāo)準(zhǔn)與技術(shù)研究院運行，是我們對算法偏差進行的最系統(tǒng)的研究之一。供應(yīng)商提交算法，NIST通過一組受控測試運行它們，盡可能少地報告結(jié)果。

由此產(chǎn)生的報告可以向您展示60種不同算法的錯誤率如何在種族和性別偏見中發(fā)揮作用。它看起來像這樣：

這基本上就是偏見。線越高，錯誤率越高。因此，在紅線高于藍線的任何地方，你都會看到種族偏見。只要整條線高于虛線，你就會看到性別偏見。(從技術(shù)上講，X和Y軸是假陽性和假陰性的比率，但實質(zhì)上，更高的更差。)通過圖表，您可以看到偏差是一個行業(yè)范圍的問題，但它也是一個可解決的問題。來自NEC和Tongyi Trans的最佳算法幾乎沒有顯示任何線條之間的差距，大概是因為公司一直在研究訓(xùn)練數(shù)據(jù)集，直到他們解決了問題。

關(guān)于此圖表的另一個重要事項：亞馬遜不在其中。FRVT是一個嚴(yán)格自愿的過程，面向試圖給人留下良好印象的聯(lián)邦承包商，所以亞馬遜不在名單上并不奇怪。不過，值得考慮的原因不是。您可以提出商業(yè)機密，但已經(jīng)有60種算法排名，很難說參與此類測試會受到很多懲罰。但是，如果沒有一些外部力量迫使亞馬遜進入它，它就沒有理由讓它登錄。

我們經(jīng)常談?wù)撍惴ㄆ?，好像它是邪惡的魔法，但在這些方面，問題很簡單。亞馬遜和它喜歡的公司需要在這些系統(tǒng)推出之前公開偏見評論。有很多方法可以做到這一點，無論是自愿的行業(yè)參與，如FRVT還是州級透明度法，這些法律在刑事司法算法中越來越受歡迎。這可能是嚴(yán)格的規(guī)定或輕觸規(guī)范。但是當(dāng)這樣的算法在公共場合使用時，我們應(yīng)該對它的工作效果和失敗感有所了解。

亞馬遜龐大的云基礎(chǔ)設(shè)施使其成為面部識別行業(yè)的一個令人生畏的競爭對手，其實時試點顯示，它已經(jīng)開始超越其更透明的競爭對手。如果你擔(dān)心有偏見的算法會滑入野外，這是一個令人不安的想法。我們知道在這些類型的系統(tǒng)中，偏差是可能的，甚至是可能的。問題是：亞馬遜將采取什么措施?