2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
一些科技公司在成立之初就引起了轟動,而另一些公司似乎則大跌眼鏡。
Genderify是一項(xiàng)新服務(wù),承諾通過幫助AI通過分析某人的姓名,電子郵件地址或用戶名來識別某人的性別,該服務(wù)肯定會進(jìn)入后者。該公司上周在Product Hunt上啟動,但由于用戶發(fā)現(xiàn)其算法中存在偏見和不準(zhǔn)確之處,因此在社交媒體上引起了很多關(guān)注。
例如,在Genderify中輸入名稱“ Meghan Smith”,該服務(wù)將提供評估:“男性:39.60%,女性:60.40%。” 將該名稱更改為“ Dr. 但是,梅根·史密斯(Meghan Smith)的評估改為:“男性:75.90%,女性:24.10%。” 以“ Dr”開頭的其他名稱也會產(chǎn)生相似的結(jié)果,而輸入似乎通常會使男性傾斜。例如,“ Test@test.com”是男性的96.90%,而“ Joan smith太太”是男性的94.10%。
對該服務(wù)的強(qiáng)烈抗議令Genderify告訴The Verge它已完全關(guān)閉。“如果社區(qū)不想要它,也許這很公平,”一位代表通過電子郵件說。Genderify.com已脫機(jī),其免費(fèi)API不再可用。
盡管這類偏見經(jīng)常出現(xiàn)在機(jī)器學(xué)習(xí)系統(tǒng)中,但是Genderify的輕率性似乎使該領(lǐng)域的許多專家感到驚訝。AI Now Institute的聯(lián)合創(chuàng)始人梅雷迪思·惠特克(Meredith Whittaker)的回應(yīng)有些典型,它研究了人工智能對社會的影響。“我們被巨魔了嗎?” 她問。“這是一種意念,旨在分散技術(shù)+正義世界的注意力嗎?現(xiàn)在是愚蠢的高科技愚人節(jié)嗎?”
對人們的性別進(jìn)行大規(guī)模假設(shè)可能有害
問題不在于Genderify根據(jù)某人的名字對某人的性別做出假設(shè)。人們一直在這樣做,有時(shí)會在過程中犯錯(cuò)。這就是為什么禮貌地找出人們?nèi)绾巫晕易R別以及如何應(yīng)對他們的原因。Genderify的問題在于它會自動執(zhí)行這些假設(shè)。在將個(gè)體分類為男性/女性二進(jìn)制數(shù)(從而忽略識別為非二進(jìn)制數(shù)的個(gè)體)的同時(shí)大規(guī)模應(yīng)用它們,同時(shí)在此過程中加強(qiáng)性別定型觀念(例如:如果您是醫(yī)生,您可能是男人)。
這樣做的潛在危害取決于使用Genderify的方式和位置。例如,如果將服務(wù)集成到醫(yī)療聊天機(jī)器人中,則其關(guān)于用戶性別的假設(shè)可能導(dǎo)致聊天機(jī)器人發(fā)布誤導(dǎo)性的醫(yī)療建議。
值得慶幸的是,Genderify似乎并非旨在實(shí)現(xiàn)這種系統(tǒng)的自動化,而是主要被設(shè)計(jì)為一種營銷工具。正如Genderify的創(chuàng)建者Arevik Gasparyan在Product Hunt上所說:“ Genderify可以獲得的數(shù)據(jù)將有助于您進(jìn)行分析,增強(qiáng)客戶數(shù)據(jù),細(xì)分營銷數(shù)據(jù)庫,人口統(tǒng)計(jì)數(shù)據(jù)等。”
在同一評論節(jié)中,Gasparyan承認(rèn)一些用戶對偏見和無雙數(shù)個(gè)人的關(guān)注,但未提供任何具體答案。
一位用戶問:“假設(shè)我選擇不識別男性還是女性,您如何處理?您如何避免性別歧視?您如何應(yīng)對性別偏見?” Gasparyan回答說,該服務(wù)基于“已經(jīng)存在的二進(jìn)制名稱/性別數(shù)據(jù)庫”做出決定,并且該公司正在“通過分離“概念”來“積極尋找改善跨性別和非二進(jìn)制訪問者體驗(yàn)的方法”。性別身份的姓名/用戶名/電子郵件。” 鑒于Genderify的整個(gè)前提是該數(shù)據(jù)是性別身份的可靠代表,所以這是一個(gè)令人困惑的答案。
該公司告訴The Verge,該服務(wù)與使用名稱數(shù)據(jù)庫猜測一個(gè)人的性別的現(xiàn)有公司非常相似,盡管它們都沒有使用AI。
一位代表通過電子郵件表示:“我們知道我們的模型永遠(yuǎn)無法提供理想的結(jié)果,并且算法需要進(jìn)行重大改進(jìn),但我們的目標(biāo)是構(gòu)建一種不會像任何現(xiàn)有解決方案一樣受到偏見的自學(xué)習(xí)AI。” “并且要使其發(fā)揮作用,我們非常依賴跨性別和非二進(jìn)制訪問者的反饋,以幫助我們?yōu)長GBTQ +社區(qū)盡最大可能改善我們的性別檢測算法。”
2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。