2015年，一名憂(yōu)心忡忡的父親問(wèn)了Rhema Vaithianathan一個(gè)問(wèn)題，這個(gè)問(wèn)題至今依然縈繞在她的記憶里。當時(shí)，一小群人聚集在美國賓夕法尼亞州匹茲堡的一個(gè)地下室內，聽(tīng)她講軟件如何解決虐待兒童的問(wèn)題。該區域的熱線(xiàn)每一天都會(huì )接聽(tīng)到數十個(gè)電話(huà)，指稱(chēng)懷疑有兒童處于危險中；其中一些電話(huà)被呼叫中心的工作人員標記為要調查的對象。但該系統并不能發(fā)現所有虐待兒童的案例。Vaithianathan和同事剛剛獲得了一份50萬(wàn)美元的合同，以創(chuàng )建幫助解決這個(gè)問(wèn)題的算法。

新西蘭奧克蘭理工大學(xué)社會(huì )數據分析中心聯(lián)席主管、健康經(jīng)濟學(xué)家Vaithianathan告訴聽(tīng)眾，該算法會(huì )如何工作。例如，一個(gè)包括家庭背景和犯罪記錄的經(jīng)過(guò)大量數據訓練的工具，可以在來(lái)電時(shí)產(chǎn)生風(fēng)險分數。這或有助于讓篩選人員對應該調查哪些家庭作出標記。

在Vaithianathan請聽(tīng)眾提問(wèn)后，這位父親站起來(lái)發(fā)言。他說(shuō)自己曾與毒癮作斗爭，過(guò)去社會(huì )工作者曾把他的孩子從家里帶走。但他已經(jīng)有很長(cháng)時(shí)間不再吸毒。如果用一臺電腦評估他的檔案，他為改變自己的生活所作的努力會(huì )毫無(wú)意義嗎？換句話(huà)說(shuō)：算法會(huì )不公平地評判他嗎？

Vaithianathan向他保證，會(huì )有人一直參與其中，所以他的努力不會(huì )被忽視。但現在自動(dòng)化工具已經(jīng)部署完畢，她仍在考慮這位父親的問(wèn)題。 計算機算法越來(lái)越多地被用于指導可能改變生活的決定，包括在被指控犯罪后拘留哪些人，應該調查哪些家庭潛在的虐待兒童問(wèn)題，以及被稱(chēng)為“預測性警務(wù)”的趨勢，如警察應該關(guān)注哪些社區。這些工具被認為可以讓決策更加一致、準確和嚴謹。但2016年，美國記者稱(chēng)，一個(gè)用于評估未來(lái)犯罪活動(dòng)風(fēng)險的系統會(huì )歧視黑人被告。其潛在不公平性正在引起警惕。且監管是有限的：沒(méi)有人知道該類(lèi)工具有多少正在被使用。

公平交易

2016年5月，美國新聞網(wǎng)站ProPublica的記者報道了佛羅里達州布勞沃德縣的法官使用商業(yè)軟件，幫助決定被指控犯罪的人在審判前是否應該從監獄中釋放出來(lái)。記者報道稱(chēng)，該軟件對黑人被告存在偏見(jiàn)。這個(gè)名為COMPAS的工具產(chǎn)生的分數旨在衡量一個(gè)人釋放后在兩年內再次犯罪的可能性。

ProPublica團隊調查了數千名被告的COMPAS分數，這些是他們通過(guò)公共記錄請求獲得的。對比黑人和白人被告后，記者發(fā)現一定比例的黑人被告是“假陽(yáng)性”：他們被COMPAS列為高風(fēng)險，但隨后未被指控另一項罪行。

該算法的開(kāi)發(fā)者是密歇根州的一家名為Northpointe（即現在俄亥俄州坎頓市的Equivant）的公司。該公司稱(chēng)，COMPAS還擅長(cháng)預測被列為高風(fēng)險的白人或黑人被告是否會(huì )再次犯罪。匹茲堡卡內基梅隆大學(xué)統計學(xué)家Alexandra Chouldechova很快發(fā)現Northpointe與ProPublica衡量公平的標準存在沖突。預測奇偶性、相同的假陽(yáng)性錯誤率和相同的假陰性錯誤率都是達到“公平”的方式，但如果兩個(gè)群體之間存在差異，那么在統計上就是不可能調和的，比如白人和黑人再次被捕的比率?！澳悴豢赡芗娑兄?。如果你想在一個(gè)方面做到公平，那么在另一種聽(tīng)起來(lái)合理的定義下，你必然是不公平的?！庇鴤惗卮髮W(xué)學(xué)院負責機器學(xué)習的研究人員Michael Veale說(shuō)。

實(shí)際上，從數學(xué)角度看，對公平的定義還有更多的方式：在今年2月的一次會(huì )議上，計算機科學(xué)家Arvind Narayanan作了一場(chǎng)題為《21個(gè)公平定義及其政治性》的報告，他指出，還有其他定義公平的方式。包括Chouldechova在內的一些研究人員對ProPublica案例進(jìn)行了研究，他們表示尚不清楚不平等的錯誤率是否表明存在偏見(jiàn)。斯坦福大學(xué)計算機科學(xué)家Sharad Goel說(shuō)，它們反映了一個(gè)事實(shí)，即一個(gè)群體比另一個(gè)群體更難預測?！笆聦?shí)證明，它或多或少是一種統計學(xué)上的人為現象?！?/p>

雖然統計上的不平衡是一個(gè)問(wèn)題，但算法中潛藏著(zhù)更深層次的不公平，而且它們可能會(huì )加劇社會(huì )不公。例如，COMPAS之類(lèi)的算法可能會(huì )聲稱(chēng)，它們可以預測未來(lái)犯罪活動(dòng)的可能性，但它只能依賴(lài)可測量的代表，比如被捕。而警務(wù)實(shí)踐的變化意味著(zhù)一些社區可能不相稱(chēng)地被列為攻擊目標，人們可能會(huì )因為在其他社區可以被忽視的罪行而被捕?！凹词刮覀儨蚀_地預測了一些事情，準確預測的事情也可能是強加的不公正?！比A盛頓特區非營(yíng)利性社會(huì )正義組織Upturn的行政主任David Robinson說(shuō)。很多時(shí)候它會(huì )取決于法官在多大程度上依賴(lài)這種算法作出決定，而人們對此知之甚少。

透明度與局限性

盡管一些機構建立了自己的工具或是使用商業(yè)軟件，但學(xué)術(shù)界發(fā)現自己依然對公共部門(mén)的算法有需求。人們對提高透明度的要求很高。紐約大學(xué)人工智能社會(huì )影響研究中心“現在A(yíng)I研究所”共同創(chuàng )始人Kate Crawford說(shuō)，當算法是“封閉的環(huán)，不允許算法檢查、評估或公開(kāi)辯論”時(shí)，通常會(huì )加劇問(wèn)題。但目前尚不清楚如何才能讓算法更加開(kāi)放。伊利諾伊州芝加哥大學(xué)數據科學(xué)和公共政策中心主任Rayid Ghani說(shuō)，僅僅公布一個(gè)模型的所有參數并不能提供它如何運作的更多信息。透明度還可能與保護隱私相沖突。在某些情況下，披露太多關(guān)于算法如何運行的信息可能會(huì )讓人們挑戰該系統。

Goel說(shuō)，問(wèn)責制面臨的一大障礙是，各機構往往會(huì )不收集有關(guān)工具的使用情況或表現的相關(guān)數據?！昂芏鄷r(shí)候沒(méi)有透明度，因為沒(méi)有什么可分享的?！崩?，加州立法機構有一項草案呼吁使用風(fēng)險評估工具，以幫助減少被告支付保釋金的頻率，這種做法因存在處罰低收入被告的情況而受到批評。Goel希望該法案強制規定，在法官與該工具存在異議的情況下，收集每個(gè)案件的具體細節（包括結果）等信息。他說(shuō)：“我們的目標是在維護公共安全的同時(shí)，從根本上減少監禁，所以我們必須知道這樣做是否有效?！?/p>

許多人希望法律能夠推動(dòng)這些目標。紐約伊薩卡康奈爾大學(xué)人工智能倫理和政策問(wèn)題研究員Solon Barocas說(shuō)，這是有先例的。在美國，一些消費者保護規定允許公民在對其信用作出不利判決時(shí)作出解釋。Veale說(shuō)，在法國，早在20世紀70年代就有立法賦予公民解釋的權利以及對自動(dòng)決策提出異議的能力。

最大的考驗將是5月25日生效的歐洲《通用數據保護條例》（GDPR）。一些條款似乎促進(jìn)了算法問(wèn)責制。但英國牛津互聯(lián)網(wǎng)研究所數據倫理學(xué)家Brent Mittelstadt表示，GDPR實(shí)際上可能會(huì )為那些希望評估公平的人設立一個(gè)“法律雷區”，從而阻礙它的發(fā)展。測試一種算法是否在某些方面存在偏差的最佳方法需要了解進(jìn)入系統的人員的相關(guān)屬性，例如它是否會(huì )傾向于一個(gè)種族而非另一個(gè)。

審計算式

與此同時(shí)，研究人員正在推進(jìn)尚未公開(kāi)接受公眾監督的算法偏差的策略檢測。Barocas說(shuō)，企業(yè)可能不愿討論它們如何解決公平的問(wèn)題，因為這意味著(zhù)它們要承認一開(kāi)始就存在問(wèn)題。他說(shuō)，即使它們這樣做了，其行動(dòng)只可能改善但不會(huì )消除偏見(jiàn)?！耙虼?，任何有關(guān)這一問(wèn)題的公開(kāi)聲明，都不可避免地承認問(wèn)題依然存在?！弊罱鼛讉€(gè)月，微軟和臉譜網(wǎng)都宣布開(kāi)發(fā)檢測偏見(jiàn)的工具。

一些研究人員已經(jīng)開(kāi)始呼吁在刑事司法應用和其他領(lǐng)域后退一步，不再局限于建立預測性的算法。例如，一個(gè)工具或可很好地預測誰(shuí)不會(huì )出庭。但最好應該問(wèn)人們?yōu)槭裁床怀鐾?，或許還可以設計出一些干預措施，比如短信提醒或交通援助，這些措施可能會(huì )提高人們的出庭率?！斑@些工具通?？蓭椭覀冃扪a邊緣問(wèn)題，但我們需要的是徹底改變?！泵駲嗦蓭?、紐約大學(xué)法學(xué)院種族正義倡導者Vincent Southerland說(shuō)。他表示，這也就是說(shuō)，圍繞算法的激烈辯論“迫使我們所有人去詢(xún)問(wèn)并回答關(guān)于我們所使用的系統及其運作方式的真正棘手的基本問(wèn)題”。

Vaithianathan看到了構建更好算法的價(jià)值，即使它們嵌入的總體系統是有缺陷的?！耙簿褪钦f(shuō)，算法不能被直升機空投到這些復雜的系統中?！彼f(shuō)，“它們必須在了解更廣泛背景的人的幫助下運行?！钡幢闶亲詈玫乃惴ㄒ矔?huì )面臨挑戰，因此在缺乏直接答案和完美解決方案的情況下，透明度是最好的策略?！拔铱偸钦f(shuō)，如果你不可能是對的，那就誠實(shí)點(diǎn)?！保〞x楠編譯）

摘自《中國科學(xué)報》