As machine learning infiltrates society, scientists are trying to help ward off injustice.隨著機器學習對社會各領域的滲透，科學家正努力去防止一些不公平的現象產生。

Illustration by Mario Wagner

一、背景人工智能無處不在，但在科學家真正信任人工智能之前，首先需要去理解機器是如何學習的。

隨著人工智能技術的應用，計算機的決策會逐漸被人們所接受，但一些決策可能會影響人們的生活。比如，機器學習算法應用于虐童家庭預測和犯罪預測等。每天頭條新聞都有人說孩子們處于危險中，而算法正在幫助公共部門改善兒童的危險處境。2015年，Rhema Vaithianathan在賓夕法尼亞州匹茲堡解釋了軟件怎么樣幫我們改善兒童的危險處境。從匹茲堡的早期運行效果來看，算法預測分析技術似乎是兒童保護領域在過去20年間最令人興奮的創新之一。在刑事司法領域，算法預測分析也已經被確立為法官和假釋委員會的工具。

這些算法預測工具應該是一致、準確、嚴謹的。但對這些工具的監督卻非常有限，因為沒有人知道有多少人在使用這樣的工具。2016年有美國記者稱判定未來犯罪風險的系統會歧視黑人被告，算法運作本身的保密性（不透明性）激起了公眾更為強烈的不滿，而且大部分算法是由私營公司所開發、銷售和嚴密保護的。

在這樣的背景下，政府也在嘗試讓這樣的軟件更具可解釋性。2017年12月11日，美國紐約市議會通過了《算法問責法案》，以解決算法歧視問題。根據該法案，紐約市將成立一個由自動化決策系統專家和受自動化決策系統影響的公民組織代表組成的工作組，專門監督市政機構使用的自動決策算法的公平性、問責性和透明度。該小組負責推動政府決策算法開源，使公眾了解市政機構自動化決策的過程，并就如何改進算法問責制和避免算法歧視提出了一些建議。

今年年初，法國稱會將政府使用的算法進行公開。6月英國政府發布了《數據倫理框架》，要求在公共領域使用數據要滿足透明性和可解釋性。5月底實施的歐盟GDPR中的內容也在推進算法可解釋性。

Rhema Vaithianathan建立算法來幫助標記少兒虐待的案例

科學家正面臨一個復雜的問題，就是算法公平到底意味著什么？像Vaithianathan這樣正在與公共組織協作去建立負責、高效的軟件的研究人員，必須解決的難題就是自動化的工具如何引入偏見或擴展當前的不平等性，尤其是當這種工具被應用到本來就有歧視的社會系統時。

理論計算機科學家Suresh Venkatasubramanian稱，自動化決策工具軟件引發的問題其實并不是新問題。評定犯罪或信用風險的工具已經存在數十年了。但隨著更大的數據集和更復雜的模型的廣泛應用，就不能忽視其中存在的倫理問題。

二、對公平的權衡

2014年，當Allegheny人類服務部的官員提出使用自動化的工具時，他們并沒有決定是否要使用這些工具。但他們想公開這樣的新系統。該部門數據分析研究和評估辦公室副主任Erin Dalton說，“他個人非常反對使用政府資金提出黑盒的解決方案”。

Allegheny Family Screening Tool （AFST）項目是2016年8月發起的。對每個打進熱線的電話，呼叫中心職員會看到一個自動風險評定系統給出的分值，范圍為1～20，分值越大代表風險越高。目前的情況是呼叫中心職員得出的結論并不必須與算法給出的風險分值一致，但政府部門希望這兩個結果能夠保持一致性。

預測犯罪改革

隨著AFST項目的應用，Dalton希望有更多的人能幫助發現該系統是否存在偏見。2016年，她與卡內基梅隆大學的數據分析師Alexandra Chouldechova一起分析了該軟件是否對特定群體存在歧視。Chouldechova也一直在研究算法本身可能存在的一些偏見。

今年5月，新聞網站ProPublica報道說佛羅里達州Broward縣法官使用了一款可以幫助決定罪犯在審判前是否可以保釋的商業軟件COMPAS。記者通過分析發現該軟件對黑人被告存在偏見，因為該軟件對黑人的打分有很大比例是假陽性的，也就是說軟件給出的風險值很高，但在之后被沒有被控訴。COMPAS算法的開發者稱該工具是沒有偏見的，在預測評分較高的白人被告和黑人被告再犯罪的準確率是相當的。

三、如何定義公平（FAIR）

研究算法偏見的研究人員說有許多方法來定義公平，而其中一些方法是互相矛盾的。

假設刑事司法使用的系統可以給兩組人（藍色和紫色）評定再次被捕的風險。歷史數據表明，紫色組被捕的概率略高，所以模型更容易會將紫色組的人分類為高風險。即使模型開發人員盡力去彌補這種偏見，但模型根據數據集的學習可能也會得出這樣的關聯。

高風險的狀態不能完美預測被捕率，但算法開發者嘗試讓預測是公正的：對兩組人來說，高風險對應2年內被捕的概率是2/3。未來被捕的概率可能不會遵循過去的模型。但舉一個簡單的例子，假設藍色組中有3/10最終被捕，紫色組中有6/10最終被捕。

在藍色組中，1/7的人被誤認為是高風險的；紫色組中，1/2的人被誤認為是高風險的。所以紫色組看起來更像是“假陽性的”——被誤認為是高風險的。

因為藍色和紫色組成員以不同的比例被再次逮捕，所以很難去得到一個預測的公平性，也無法讓假陽性率相等。有人就會認為紫色組的假陽性率太高本身就是一種歧視。但也有研究人員認為這并不足以說明算法存在偏見。

事實上，有很多的方法來定義公平。那么從數學的角度講，計算機科學家Arvind Narayanan在今年2月的會議上做了題為“21 fairness definitions and their politics”的演講。一些研究人員也研究了ProPublica的案例，他們認為這確實不足以證明算法存在偏見；但確實映射出了一種統計假象。

有些人認為ProPublica強調許多機構缺乏資源和合適的算法評估工具。芝加哥大學數據科學和公共政策中心主任Rayid Ghani說，雇傭Northpointe的政府機關沒有給他們一個好的定義，政府需要學習和訓練如何向這些系統尋求幫助，如何定義度量的標準來確保供應商、咨詢者和研究者給出的系統的公平的。

Allegheny縣的經驗說明了駕馭這些問題的難度。Chouldechova發現他們的公司也存在同樣的統計不平衡性。該模型有一些不想要的特征，這種錯誤率在種族和民族方面的期望要高很多，但是原因尚不清楚。Allegheny縣和Vaithianathan團隊也在考慮使用其他的模型來降低這種不平衡性。

雖然統計不平衡性是一個問題，算法中的不公平可能會加強社會中的不公平現象。比如， COMPAS這樣的算法可能會用來預測未來犯罪情況，但只能利用一些可度量的指標來進行預測，比如再次被捕。即使我們準確預測了一些事情，但我們準確預測的事情也可能是不公平的。

卡姆登（美國新澤西州）的檢查用自動化工具來預測哪些區域需要巡邏。

圖片來源:Timothy Clary/AFP/Getty

Allegheny使用的工具同樣飽受詬病。作家、政治學者Virginia Eubanks說，不論算法是不是準確的，輸入本身就是不公平的，因為黑人和兩種人種（兩種膚色結合）的家庭更容易被舉報。而且，因為該模型使用的數據是Allegheny系統中的公共服務信息，因為使用這些服務的家庭總體來說比較窮，所以算法對這種家庭更多監管本身也是不公平的。Dalton承認數據本身是有限的，但她認為這樣的工具還是很有必要的。

四、算法透明性和限制

芝加哥大學、劍橋大學、斯坦福等高校和科研機構都在進行這類算法的研究。地區檢察官辦公室分析師Maria McKee說，“我們知道什么是對的，什么是公平的，但是我們沒有工具或研究成果來準確地解釋。”

算法確實需要更多的透明性，當算法不審計、不評審、不進行公開討論、形成閉環的時候就會產生一些問題。但算法如何公開也是一個問題，而且算法的透明性和隱私性也可能會存在沖突。泄漏太多算法工作原理的信息可能會讓有些人去探測系統。

算法審計的一個障礙是機構不會收集預測工具使用的過程信息和性能信息。算法不透明的原因是因為沒有可共享的信息。California立法機關起草了一個法案草案，呼吁風險評定工具幫助減少被告必須支付保釋金的頻率，因為人們認為這是一種懲罰低收入被告的方式。Goel希望該法案批準收集法官不同意工具產生的結果的情況。這樣做的目的是在維護公共安全的同時盡量減少監禁的情況。因為需要一些正當程序（due process）基礎設施來確保算法是可審計的。今年4月，AI Now Institute就列出了公共機構感興趣的算法決策工具負責任的應用，還呼吁社區參與來給予市民申訴有關自己的決策的能力。

許多人也希望法律可以強制實現這樣的目標。在美國，一些消費者保護規則在有不利于公民的決策產生時，會給公民一個詳細的解釋。在法國，關于解釋的權利和爭議處理的立法可以追溯到20世紀70年代。

最大范圍的一次測試就是歐盟的GDPR，該法案于今年5月25日正式實施。其中的一些條款看似在推動算法可審計性，比如自動決策過程實例中的邏輯相關信息的權利等。但牛津互聯網研究院數據倫理學家Brent Mittelstadt認為，GDPR也可能會阻礙算法可審計性。因為它為那些需要評估公平性的人創造了一個雷區。

測試算法是否存在偏見最好的辦法就是讓相關人員了解相關的屬性。但GDPR對敏感信息使用的限制太嚴厲、罰金太高，以致評估算法的公司可能沒有太多的動機去處理這些信息。所以說，這對我們評估公平性的能力來說可能是一種限制。

而且一些GDPR的規則只適用于全自動化的系統，這會將那些算法做出參考決策、人類做最終決定的情況排除在外。

五、算法審計

同時，研究人員正在向那些并未受到公共監管的領域中的算法歧視進行檢測。企業可能并不愿意去討論他們是如何解決公平性的，因為這首先承認了他們存在公平性的問題。即使存在這樣的問題，企業的行為可能也只是去緩解而不是徹底消除歧視。最近，微軟和Facebook都聲明正在開發檢測算法歧視的工具。

還有研究人員嘗試從外部去找出商業算法中的歧視問題。比如，通過向求職網站投遞簡歷來檢測性別歧視問題。今年5月，Ghani發布了一個開源軟件Aequitas，該軟件可以幫助工程師、政策制定者、數據分析師等來審計機器學習模型中的歧視問題。

還有研究人員選擇了不同的研究方向。比如，刑事司法應用和其他領域目前主要是構建算法模型來預測犯罪。還有一種更好的方式就是找出人們犯罪的影響因素，然后進行干預，達到降低犯罪率的目的。

Vaithianathan目前仍在繼續推廣她的虐童預測模型，同時她也意識到需要構建更好的算法。在復雜的系統中，算法不可能像直升機一樣直上直下，必須要有理解全局的人來幫助實施。但無論如何都會遇到一些挑戰，所以在沒有直接答案和完美解決方案之前，算法透明應該是最好的策略。

“If you can't be right,

be honest.”