面部識別系統長期以來一直在為女性和色彩人群提供更高的錯誤率

昨天，亞馬遜安靜的Rekognition計劃變得非常公開，因為北加州ACLU獲得的新文件顯示該系統與奧蘭多市和摩托羅拉解決方案等警察攝像機供應商合作，提供積極的新型實時面部識別服務。亞馬遜堅持認為該服務是一種簡單的對象識別工具，僅用于法律目的。但即使我們接受公司的承諾，該項目也會引起嚴重關注，特別是在種族偏見方面。

面部識別系統長期以來一直在為女性和色彩人群提供更高的錯誤率 - 錯誤率可以直接轉化為邊緣化群體的更多停留和逮捕。雖然有些公司已通過公開偏見測試做出回應，但亞馬遜尚未共享任何有關該問題的數據，如果它根本收集數據的話。與此同時，它已經在美國各個城市部署其軟件，其增長受到世界上最大的云基礎設施之一的推動。對于任何擔心算法偏見的人來說，這是一個可怕的想法。

對于曾參與昨天報告的ACLU-NC的Matt Cagle來說，偏見的可能性是系統最大的問題之一。“我們對亞馬遜明顯無法理解其產品對真人的影響感到震驚，”Cagle說。“人臉識別是一種有偏見的技術。它不會使社區(qū)更安全。它只是為更大的歧視性監(jiān)視和警務提供動力。“

最具體的問題是錯誤的識別。警方通常使用面部識別來尋找特定的嫌疑人，將可疑照片與相機鏡頭或照片陣列進行比較。但是白人受試者產生錯誤匹配的可能性始終低于黑人受試者，這是在許多算法中發(fā)現的偏見。從最基本的角度來看，這意味著面部識別系統會給非白人帶來非法指控和逮捕的額外威脅。偏見似乎來自用于訓練算法的數據，這通常會使白人和男性產生偏差。有可能解決這個問題，但沒有公開證據表明亞馬遜正在解決這個問題。

到目前為止，Rekognition沒有共享數據，這不是一個好兆頭。該項目擁有廣泛的開發(fā)人員文檔，涉及從泳衣檢測到名人隱私要求的所有內容，但沒有任何關于種族偏見的可能性。ACLU的報告昨天破了之后，我直接詢問了亞馬遜公司是否有任何有關Rekognition偏差測試的數據，但到目前為止，沒有任何數據出現過。

這是一個明顯的疏忽，部分原因是公共測試在其他面部識別公司中相對普遍。一年多以來，作為一個名為面部識別供應商測試(FRVT)的政府項目的一部分，已有數十家公司在公共場合測量他們的系統。FRVT由美國國家標準與技術研究院運行，是我們對算法偏差進行的最系統的研究之一。供應商提交算法，NIST通過一組受控測試運行它們，盡可能少地報告結果。

由此產生的報告可以向您展示60種不同算法的錯誤率如何在種族和性別偏見中發(fā)揮作用。它看起來像這樣：

這基本上就是偏見。線越高，錯誤率越高。因此，在紅線高于藍線的任何地方，你都會看到種族偏見。只要整條線高于虛線，你就會看到性別偏見。(從技術上講，X和Y軸是假陽性和假陰性的比率，但實質上，更高的更差。)通過圖表，您可以看到偏差是一個行業(yè)范圍的問題，但它也是一個可解決的問題。來自NEC和Tongyi Trans的最佳算法幾乎沒有顯示任何線條之間的差距，大概是因為公司一直在研究訓練數據集，直到他們解決了問題。

關于此圖表的另一個重要事項：亞馬遜不在其中。FRVT是一個嚴格自愿的過程，面向試圖給人留下良好印象的聯邦承包商，所以亞馬遜不在名單上并不奇怪。不過，值得考慮的原因不是。您可以提出商業(yè)機密，但已經有60種算法排名，很難說參與此類測試會受到很多懲罰。但是，如果沒有一些外部力量迫使亞馬遜進入它，它就沒有理由讓它登錄。

我們經常談論算法偏見，好像它是邪惡的魔法，但在這些方面，問題很簡單。亞馬遜和它喜歡的公司需要在這些系統推出之前公開偏見評論。有很多方法可以做到這一點，無論是自愿的行業(yè)參與，如FRVT還是州級透明度法，這些法律在刑事司法算法中越來越受歡迎。這可能是嚴格的規(guī)定或輕觸規(guī)范。但是當這樣的算法在公共場合使用時，我們應該對它的工作效果和失敗感有所了解。

亞馬遜龐大的云基礎設施使其成為面部識別行業(yè)的一個令人生畏的競爭對手，其實時試點顯示，它已經開始超越其更透明的競爭對手。如果你擔心有偏見的算法會滑入野外，這是一個令人不安的想法。我們知道在這些類型的系統中，偏差是可能的，甚至是可能的。問題是：亞馬遜將采取什么措施?