自動(dòng)化決策工具在組織的應(yīng)用中正變得越來(lái)越普遍。然而，其背后的一些機(jī)器學(xué)習(xí)（ML）模型（從面部識(shí)別系統(tǒng)到在線廣告）都清楚地表明在種族和性別方面存在偏見。隨著機(jī)器學(xué)習(xí)模型的廣泛采用，需要專業(yè)知識(shí)來(lái)確保人工智能更加公平。

機(jī)器學(xué)習(xí)模型應(yīng)該消除偏見，而不是加劇歧視。為了構(gòu)建公平的人工智能模型，必須首先使用更好的方法來(lái)識(shí)別產(chǎn)生人工智能偏見的原因，因此必須了解人工智能模型如何學(xué)習(xí)其輸入和輸出之間的偏差關(guān)系。

研究人員已經(jīng)確定了人工智能中具有的三種偏見：算法偏見、負(fù)面影響、低估。當(dāng)受保護(hù)的特性和用于決策的信息之間存在統(tǒng)計(jì)的依賴性時(shí)，就會(huì)出現(xiàn)算法偏見。負(fù)面影響是指用于訓(xùn)練人工智能模型的數(shù)據(jù)中已經(jīng)存在的偏差。當(dāng)沒有足夠的數(shù)據(jù)使人工智能模型對(duì)人口的某些部分做出可靠的結(jié)論時(shí)，就會(huì)出現(xiàn)低估。

以下深入研究每一個(gè)問題：

1. 算法偏見

算法上的偏見源于受保護(hù)的特性與其他因素之間的相關(guān)性。當(dāng)發(fā)生這種情況時(shí)，不能僅通過從分析中刪除受保護(hù)的特性來(lái)減少偏差，因?yàn)槠湎嚓P(guān)性可能導(dǎo)致基于非保護(hù)因素的有偏見的決策。

例如，美國(guó)早期的預(yù)測(cè)性警務(wù)算法在進(jìn)行預(yù)測(cè)時(shí)并不能直接獲取種族的數(shù)據(jù)，這些模型嚴(yán)重依賴于與種族相關(guān)的地理數(shù)據(jù)（如郵政編碼）。這樣，對(duì)性別和種族等人口統(tǒng)計(jì)數(shù)據(jù)“盲目”的模型仍然可以通過與受保護(hù)屬性統(tǒng)計(jì)相關(guān)的其他特征對(duì)這些信息進(jìn)行判斷。

美國(guó)消費(fèi)者金融保護(hù)局致力于確保貸款機(jī)構(gòu)遵守其公平貸款法規(guī)，該局發(fā)現(xiàn)了一些統(tǒng)計(jì)方法將地理和姓氏信息結(jié)合起來(lái)，對(duì)于種族和族裔代理的判斷提供了更高的準(zhǔn)確率。這個(gè)發(fā)現(xiàn)駁斥了一種普遍存在的誤解，即如果算法不能訪問受保護(hù)的數(shù)據(jù)，將自動(dòng)減少偏差。這種被稱為代理歧視的現(xiàn)象，一旦查明了根本原因，就可以緩解這種稱為代理歧視的現(xiàn)象。也就是說，可以通過在創(chuàng)建代理功能的模型中定位中間計(jì)算，并將其替換為與受保護(hù)屬性相關(guān)性較小的值來(lái)糾正違規(guī)行為。

與人們的直覺相反，在某些情況下，從模型訓(xùn)練中刪除受保護(hù)特性的解決方案實(shí)際上會(huì)傷害到已經(jīng)處于不利地位的群體。例如，在美國(guó)司法系統(tǒng)中，美國(guó)懲教機(jī)構(gòu)和假釋委員會(huì)使用風(fēng)險(xiǎn)因素清單對(duì)監(jiān)禁和釋放做出公正的決定。當(dāng)人類和人工智能模型處理具有諸如性別、年齡、當(dāng)前指控以及先前成人和青少年犯罪數(shù)量等基本信息時(shí)，人類和人工智能模型的表現(xiàn)是相當(dāng)?shù)摹?/p>

然而，通過給人類和人工智能模型10個(gè)額外的與教育和物質(zhì)使用相關(guān)的風(fēng)險(xiǎn)因素，研究人員發(fā)現(xiàn)機(jī)器學(xué)習(xí)模型更準(zhǔn)確，更不容易產(chǎn)生偏見。這強(qiáng)調(diào)了需要了解人工智能模型偏差的根本原因，而不是盲目地采用補(bǔ)救策略。

2. 負(fù)面影響

人工智能算法的偏見也有可能直接來(lái)自其訓(xùn)練數(shù)據(jù)中存在的類似偏差。例如，受過訓(xùn)練以執(zhí)行語(yǔ)言翻譯任務(wù)的機(jī)器學(xué)習(xí)模型傾向于將女性名字與“父母”和“婚禮”等屬性相關(guān)聯(lián)，而男性名字與諸如“專業(yè)”和“薪酬”之類的單詞之間的關(guān)聯(lián)性更強(qiáng)。該模型不太可能會(huì)自己建立關(guān)聯(lián)。與其相反，它是在反映這些性別取向的文本素材庫(kù)上進(jìn)行訓(xùn)練的。這是產(chǎn)生負(fù)面影響的一個(gè)例子。

在自然語(yǔ)言處理中，性別偏見是一個(gè)令人困擾但經(jīng)過充分研究的問題：對(duì)原因的清晰了解提供了糾正它的途徑。在英語(yǔ)這樣的名詞和形容詞傾向于性別的語(yǔ)言中，研究人員發(fā)現(xiàn)了強(qiáng)制詞嵌入以保持性別中立的方法。而在其他語(yǔ)言具有固有性別詞語(yǔ)的情況下，可以通過引入打破性別和中性詞之間因果關(guān)系的示例來(lái)增強(qiáng)語(yǔ)言素材庫(kù)，以防止出現(xiàn)偏見。

在其他應(yīng)用領(lǐng)域中，負(fù)面影響可能是最難緩解的偏見之一，因?yàn)槠姽逃械貎?nèi)置于機(jī)器學(xué)習(xí)模型從中學(xué)習(xí)的數(shù)據(jù)集中。因此，該模型可以將多年來(lái)對(duì)某一人群的系統(tǒng)性偏見進(jìn)行編碼。例如，或者根據(jù)人們居住的地方拒絕向他們提供貸款，可能會(huì)使貸款批準(zhǔn)數(shù)據(jù)集更側(cè)重于白人。數(shù)據(jù)中的這種偏差會(huì)導(dǎo)致人工智能模型的偏見。

盡管現(xiàn)有的緩解偏見策略可能會(huì)嘗試提高黑人申請(qǐng)者的信用接受率，但這可能會(huì)掩蓋該模型偏見的真正原因，并使其難以解決根本問題。FICO分?jǐn)?shù)通常用作信貸決策的輸入，已經(jīng)顯示出種族歧視。在這種情況下，事后偏差緩解策略的有效性將低于尋找與信用價(jià)值也存在因果關(guān)系的替代數(shù)據(jù)源。因此，通過尋找替代數(shù)據(jù)可以減輕負(fù)面影響。

3. 低估

正如數(shù)據(jù)可能存在偏差一樣，也可能出現(xiàn)數(shù)據(jù)不足的情況。如果沒有足夠的數(shù)據(jù)，機(jī)器學(xué)習(xí)模型可能無(wú)法提供可靠的預(yù)測(cè)。這是被低估的問題。亞馬遜公司最近訓(xùn)練了一種機(jī)器學(xué)習(xí)模型，以在招聘過程中篩選求職者，但與許多其他科技公司一樣，亞馬遜的勞動(dòng)力隊(duì)伍男性比例過高。這種數(shù)據(jù)失衡使得其人工智能模型在評(píng)估男性時(shí)更加側(cè)重，亞馬遜公司認(rèn)識(shí)到這種模型的推薦人選存在偏差，因此在其招聘渠道中取消了這種模型。

如果尋找更多或更好的數(shù)據(jù)，亞馬遜公司或許能夠構(gòu)建出一種無(wú)偏見的招聘工具，但是如果不能正確地理解出現(xiàn)這種偏見的原因，這是不可能實(shí)現(xiàn)的。而在低估的情況下，模型的預(yù)測(cè)確定性可以跨人群的子組進(jìn)行分析，通過自動(dòng)增加新實(shí)例，可以使基礎(chǔ)數(shù)據(jù)集實(shí)現(xiàn)多樣化。

衡量模型確定性和穩(wěn)定性的方法對(duì)于了解模型是否準(zhǔn)備好對(duì)所有人群做出可靠的預(yù)測(cè)至關(guān)重要。在低估的情況下，提供的數(shù)據(jù)集無(wú)法充分表現(xiàn)出數(shù)據(jù)的細(xì)微差別。但是，用于促進(jìn)公平或事后偏向緩解策略的對(duì)抗性訓(xùn)練技術(shù)可能不會(huì)像將數(shù)據(jù)集擴(kuò)展得更全面。

人工智能算法可以編碼并保持偏見，這已經(jīng)不是什么秘密，這可能會(huì)帶來(lái)不良的后果。盡管這描繪了一種嚴(yán)峻的場(chǎng)景，但重要的是要記住，如果處理得當(dāng)，算法偏差（與人類偏見不同）最終是可以量化和固定的。與盲目減少人工智能偏見不同，準(zhǔn)確理解偏見背后的真正原因?qū)Σ渴鸢踩煽康娜斯ぶ悄苤陵P(guān)重要。

盡管這些原因很復(fù)雜，但研究人員仍在繼續(xù)開發(fā)更好的方法來(lái)衡量特定人群的不同結(jié)果，確定導(dǎo)致這些差異的特征，并為特定的偏見來(lái)源選擇合理的緩解策略。隨著越來(lái)越多的決策實(shí)現(xiàn)自動(dòng)化，必須從根本上消除人工智能偏見，以創(chuàng)建公平和公正的模型。
責(zé)編AJX