2014年7月17日，紐約市斯塔頓島的一條人行道上，一群警察走近43歲的埃里克?加納（Eric Garner），準備逮捕他，理由是他涉嫌非法售賣煙草。當加納試圖掙脫時，一名警官用胳膊鎖住他的脖子，將其臉朝下按倒在地上。加納患有哮喘和心臟病，他苦苦哀求“我不能呼吸了”，隨后便失去了知覺。在送至醫(yī)院一小時后，他被宣布死亡。不久之后，法醫(yī)判定加納死于他殺。

這起悲劇引起了全美范圍的關(guān)注。一份手機視頻詳細記錄了加納被警方過度暴力執(zhí)法的全過程，其中的細節(jié)令人震驚。加納的死以及警察曾經(jīng)暴力射殺手無寸鐵的黑人公民的事件，激起了全美范圍的強烈抗議。

此后，美國和其他地區(qū)的改革派政客開始主張警察佩戴執(zhí)法記錄儀，以督促警察對自己的行為負責。另一方面，警察們也樂于佩戴執(zhí)法記錄儀，這有利于警察在面臨錯誤指控時洗脫嫌疑。

執(zhí)法記錄儀的主要生產(chǎn)商是Axon Enterprise，人們更熟悉它的原名泰瑟國際（Taser International）及其招牌產(chǎn)品——泰瑟電擊槍。2015年，當時的泰瑟國際敏銳地捕捉到了執(zhí)法記錄儀產(chǎn)品的巨大市場，專門成立了一個部門銷售警用Axon執(zhí)法記錄儀。去年，公司正式更名為Axon，標志著公司的業(yè)務(wù)重心轉(zhuǎn)向警方記錄及證據(jù)的收集和管理。執(zhí)法記錄儀的視頻則是重中之重。

目前，Axon公司不僅為警察局提供免費的執(zhí)法記錄儀，而且警察局可在一年之內(nèi)免費使用其網(wǎng)站Evidence.com的數(shù)據(jù)存儲服務(wù)。公司此舉旨在營造一個長久、穩(wěn)定的盈利模式。

毫無疑問，Axon公司將業(yè)務(wù)從電擊槍轉(zhuǎn)向執(zhí)法記錄儀的舉措將引起投資者的興趣，但吸引我們的并不是這種新的商業(yè)模式。本文的兩位作者都是技術(shù)人員：Greene，美國馬里蘭大學信息學院教授，研究科技對人類社會的影響；Patterson，計算機視覺專家，在位于紐約市的初創(chuàng)公司Trash擔任首席科學家。Axon公司宣稱，公司的目標是建立一個預(yù)期能夠處理、標記和解讀海量執(zhí)法記錄儀視頻資料的人工智能系統(tǒng)。我們對這一策略是否合理和明智深感擔憂。

根據(jù)Axon公司的聲明，他們將使用現(xiàn)有的執(zhí)法記錄儀視頻資料對人工智能系統(tǒng)進行訓練，目前共收集到20萬名警官提供的30拍字節(jié)（petabyte）的視頻資料。系統(tǒng)將對視頻資料進行編輯，以保護個人隱私，并將視頻記錄的事件轉(zhuǎn)換為文字記錄，生成警方報告，這種自動化的工具有利于警察擠出更多的時間執(zhí)行更重要的任務(wù)。此外，公司還將建立一個可檢索的警察與公眾互動數(shù)據(jù)庫。Axon公司已經(jīng)為實時人臉識別技術(shù)申請了專利，競爭對手也在積極開發(fā)這一技術(shù)，用于執(zhí)法記錄儀。

大約兩年前，Axon公司的創(chuàng)始人兼首席執(zhí)行官里克?史密斯（Rick Smith）在一次公司投資者收益電話會議上表示，公司將在2018年推出人工智能輔助視頻系統(tǒng)，但至今，Axon公司的Evidence.com產(chǎn)品依然表現(xiàn)平平。它能自動模糊或遮擋人臉，或編輯個人身份信息（要先標記出哪些人或物體需要被遮蔽），或根據(jù)警方調(diào)度系統(tǒng)的信息對視頻進行標記，如案件的編號、地址以及類型等。這與Axon公司銷售辭令中描述的目標相去甚遠。比如，史密斯在2018年6月的Axon公司工作促進會議上說過：“終有一天，我們能夠通過人工智能處理便攜式和車載式執(zhí)法記錄儀視頻，并生成警員可進行編輯和調(diào)查的報告初稿。”

不可否認，按照執(zhí)法記錄儀視頻中的人物、事件和地點進行自動分類，進而減輕人們繁冗的文書工作，這確實是一個有吸引力的想法。但是，我們和其他外部觀察者都擔心這其中存在著潛在危險。Axon公司計劃使用的大部分人工智能技術(shù)尚不成熟。即便這些技術(shù)已經(jīng)成熟，由于無法對Axon公司的私有軟件進行獨立審查，也無法判定技術(shù)的確不存在偏差和其他令人擔憂的問題。

由于這些原因，機器學習在執(zhí)法記錄儀視頻分類中的應(yīng)用已經(jīng)成為一個導火索，引起了對“私有軟件是否可以并入刑事司法系統(tǒng)”這一更廣義問題的爭論。我們在此將表述我們的擔憂，并對如何管理這一即將出現(xiàn)的新技術(shù)提出建議，不管你是否喜歡這項技術(shù)。

━━━━

在Axon公司的視頻管理系統(tǒng)中，至少有一項功能是可行且有益的，這就是將執(zhí)法記錄儀視頻中的人臉進行模糊處理。如果視頻被公開，視頻中的人不會被他人認出來。Axon公司的人工智能和機器學習主管莫吉塔巴?索爾吉（Mojtaba Solgi）說，他和他的團隊還在研究如何將視頻中的聲音進行自動轉(zhuǎn)錄。人們普遍希望這些簡單而繁冗的任務(wù)能夠?qū)崿F(xiàn)自動化，我們對此沒有異議。

然而，用機器審查和分類視頻腳本中所發(fā)生的事情是一項非常困難的任務(wù)。誠然，一些簡單的圖像很容易被識別，今天的計算機技術(shù)能準確無誤地將狗和飛機或樹區(qū)分開。但是，即便是目前最好的人工智能技術(shù)，也無法像專業(yè)人士那樣準確地區(qū)分影像或場景中的復(fù)雜或細微差別。盡管近年來研究人員已經(jīng)取得一些重大進展，但若要解釋復(fù)雜圖像或視頻片段中的事件，即便是最先進的人工智能系統(tǒng)，也仍然處于相對原始的階段。

加州大學伯克利分校的吉滕德拉?馬立克（Jitendra Malik）以及其他11位機器學習專家近期發(fā)表了一項研究成果。在這項研究中，他們使用了一份帶有詳細注釋的新型視頻數(shù)據(jù)集來測試一款最前沿的深度學習系統(tǒng)。深度學習涉及人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用，人工神經(jīng)網(wǎng)絡(luò)即仿照人腦中神經(jīng)元網(wǎng)絡(luò)構(gòu)建的計算機程序。

馬立克和他的同事們打算訓練一個網(wǎng)絡(luò)，識別視頻資料中出現(xiàn)頻率較高的行為。為此，他們結(jié)合了兩個流行的神經(jīng)網(wǎng)絡(luò)的特點，這兩個神經(jīng)網(wǎng)絡(luò)分別是13D和Faster-RCNN，前者的前身是廣泛使用的Inception Network。這一網(wǎng)絡(luò)要識別的動作很簡單：站姿、坐姿、行走、跳躍、進食、睡覺、閱讀、說話、抽煙、騎車或攜帶物品等，共計80種動作。更為復(fù)雜的動作（比如入店行竊或鎖喉）沒有涉及。視頻資料來自電影或電視節(jié)目，這些視頻動作清晰，光線充足，拍攝角度合理。

即便如此，這款深度學習系統(tǒng)在新視頻資料集中的測試還是經(jīng)常出錯。以動作識別為例，當人把手機貼近耳朵時，系統(tǒng)誤認為是在抽煙。作者這樣描述這種低級錯誤：“它在識別一些微小細節(jié)時很吃力。”這么說，一個人是在掏錢包還是掏槍也是一種“微小細節(jié)”，當今最先進的人工智能視頻分析技術(shù)也很容易誤解。

我們估計，即便是Axon公司相對保守的系統(tǒng)計劃也很難跳出實驗室，直接應(yīng)用于實際警務(wù)工作。比如，Axon公司宣稱，對視頻中的某人進行標記后，它們的系統(tǒng)就能夠在視頻的多個幀里面對其進行追蹤鎖定。

世界上最尖端的計算機視覺系統(tǒng)的確能實現(xiàn)這種目標追蹤，但研究文獻中成功追蹤的案例使用的都是高品質(zhì)的視頻資料，并且視頻里的人都在相對簡單的環(huán)境中移動。到目前為止，還沒有用移動攝像頭在光線不足、視野不穩(wěn)的視頻中成功追蹤目標的先例。

━━━━

無論在哪個領(lǐng)域，自動化視頻解讀都是一個棘手的問題。警務(wù)工作對這方面的要求非常高，一旦人工智能系統(tǒng)出錯，后果可能極其嚴重，而且這些錯誤可能經(jīng)常發(fā)生且難以察覺。

例如，如果自動影像分類系統(tǒng)的功能是從混亂、不完整或有偏差的數(shù)據(jù)中學習得到的，也會出現(xiàn)問題。一個有名的例子是，2015年黑人程序設(shè)計員杰克?阿爾辛（Jacky Alciné）發(fā)現(xiàn)，谷歌的照片App采用機器學習方法對內(nèi)容進行分類，將他與一位黑人朋友的合照歸類為“猩猩”。

人工智能專家可以通過徹底篩查和系統(tǒng)迭代更新來修正這類問題。加州理工學院和加州大學圣地亞哥分校的人工智能研究者們在開發(fā)美靈鳥類識別（Merlin Bird ID）App時就采取了這種方法。他們收集了數(shù)量龐大的鳥類照片，然后將鳥類分類的工作分包給眾人。然后利用這些結(jié)果訓練第一代物種分類人工智能，但分類器的性能很差。

為了弄清楚原因，計算機科學家們聯(lián)系了康奈爾大學鳥類實驗室的專家。鳥類專家立即發(fā)現(xiàn)，因為眾包人員的鳥類知識有限，訓練數(shù)據(jù)集中有大量的鳥類分類是錯誤的。

花費了大量精力修正訓練數(shù)據(jù)集中的錯誤后，他們?yōu)楸姲藛T重新編寫和完善工作指導書，并將整個程序反復(fù)運行多次。最終，美靈的設(shè)計師們發(fā)布的這款A(yù)pp運行良好。然后，他們利用用戶數(shù)據(jù)并根據(jù)鳥類專家的修正意見不斷完善人工智能系統(tǒng)。

Dextro是一家位于紐約的計算機視覺初創(chuàng)公司，去年被Axon公司收購。Dextro公司也采用了類似的方法調(diào)試人工智能視頻識別系統(tǒng)，通過識別誤報（false positives）和漏報（false negatives）來反復(fù)訓練神經(jīng)網(wǎng)絡(luò)系統(tǒng)并評估系統(tǒng)的變化。我們可以期待，研究人員將作為Axon公司的一部分，繼續(xù)推進這些實踐。但自從Dextro公司被收購后，Axon公司的人工智能團隊沒有公布警用執(zhí)法記錄儀視頻所采用技術(shù)的相關(guān)消息。

2018年9月，歐洲計算機視覺國際大會（European Conference on Computer Vision）在慕尼黑召開。Axon公司的人工智能專家在會上提到，他們的技術(shù)在一場視頻理解公開賽上表現(xiàn)卓越并取得了很好的排名。考慮到這場比賽采用的是來自YouTube的視頻，其結(jié)果與警方執(zhí)法記錄儀視頻之間的相關(guān)性尚不明確。對于其人工智能的功能，Axon公司分享的信息遠少于中國計算機視覺初創(chuàng)公司——北京曠視科技有限公司，該公司定期向公開賽提交圖像分析系統(tǒng)，并且經(jīng)常在比賽中獲勝。

人工智能開發(fā)者經(jīng)常使用某些已確立的標準來評估系統(tǒng)的性能，定位系統(tǒng)的缺陷并找出原因。這就是人工智能研究，特別是計算機視覺研究（比如美靈鳥類識別應(yīng)用）嚴重依賴領(lǐng)域?qū)＜业脑颉Ｒ惶坠_的標準、一系列公開的比賽和任何興趣團體都能參與的研討會，這些也共同營造了一個容易發(fā)現(xiàn)人工智能系統(tǒng)問題的氛圍。

但是，正如加州大學戴維斯分校的法學學者伊麗莎白?喬（Elizabeth Joh）所說，如果私有監(jiān)控技術(shù)公司要維護這些軟件的商業(yè)機密特權(quán)，這個程序就亂套了。毫無疑問，警局需要從私人企業(yè)采購裝備和服務(wù)。但是，Axon公司開發(fā)的這類人工智能軟件與采購的復(fù)印紙、保潔服務(wù)或其他常規(guī)電腦軟件等相比，有著本質(zhì)的區(qū)別，因為這項技術(shù)本身會影響警方的判斷和行動。

舉一個例子，解讀視頻的人工智能將戴有面紗的女士歸類為戴面具的人，這有可能提示警察下意識地認為她們有更大的嫌疑，甚至可能會激怒她們，導致她們不予合作。這種改變會被執(zhí)法記錄儀拍攝下來，影響Axon公司用于開發(fā)未來人工智能工具的訓練數(shù)據(jù)集，導致這一偏見被進一步固化，而起因只是軟件的錯誤判斷。

在這個過程中，如果沒有獨立的專家對這些自動解讀進行徹查，這個循環(huán)系統(tǒng)很快就會退化，導致人工智能產(chǎn)生偏差或不可靠的結(jié)果。

現(xiàn)在還不能確定Axon公司的視頻管理系統(tǒng)會不會發(fā)生這種情況。但是，ProPublica公司曾在2016年披露過，刑事司法系統(tǒng)使用的分類工具——替代性處罰矯正罪犯管理分析（Correctional Offender Management Profiling for Alternative Sanctions，COMPAS）中就曾存在此類問題。法官根據(jù)審判前風險評估算法的結(jié)果，決定被捕者是否適用緩刑或其他替代入獄方式。

根據(jù)佛羅里達州布勞沃德郡被捕者的記錄，ProPublica公司對COMPAS造成的危險因素評分高達7 000分。將這些預(yù)測與接下來兩年里的逮捕記錄進行比對發(fā)現(xiàn)，即使是查證了犯罪歷史和犯罪類型以后，帶有種族偏見的錯誤預(yù)測依然存在。作為COMPAS的銷售方，NorthPointe公司盡管對ProPublica的研究表示質(zhì)疑，但從未公布過任何技術(shù)細節(jié)供人們監(jiān)督和審查。一位來自威斯康星州的男子埃里克?盧米斯（Eric Loomis）在法庭上挑戰(zhàn)了COMPAS黑箱計算的權(quán)威，他聲稱利用COMPAS對他做出6年監(jiān)禁的判決侵犯了他走正當法律程序的權(quán)利。但最高法院駁回了他的訴求，支持NorthPointe公司以涉及商業(yè)機密為由拒絕接受對COMPAS進行審查。

統(tǒng)計學家克里斯汀?盧姆（Kristen Lum）和政治學家威廉?艾薩克（William Isaac）發(fā)現(xiàn)，同樣的問題也存在于一款名為PredPol的預(yù)測警務(wù)系統(tǒng)中。他們表示，由于使用的訓練數(shù)據(jù)存在偏差，這款系統(tǒng)生成的結(jié)果經(jīng)常對黑人有失偏頗。

鑒于機器學習易被有偏差的訓練數(shù)據(jù)影響以及前沿工具在實驗室的表現(xiàn)，我們有理由懷疑Axon公司在未來幾年開發(fā)的自動化視頻分類服務(wù)會存在嚴重的缺陷。不過外部分析師也無法給出肯定的判斷，因為這些軟件是有專利的。

警方報告都是公開的檔案，所以你也許會認為Axon公司自動檔案管理系統(tǒng)中如果存在明顯錯誤，會很快被發(fā)現(xiàn)，但事實并非如此。東拼西湊的美國數(shù)據(jù)保護法律表明，對于何人在何時以何種方式獲取執(zhí)法記錄儀視頻資料的問題，尚未有明確的國家標準。更有甚者，美國出版自由記者委員會（Reporters' Committee for the Freedom of the Press）將這些執(zhí)法記錄儀視頻檔案稱為“公開檔案要求的狂野西部”（the Wild West of open records requests）。在這種情況下，即使是影響到多家警局的嚴重技術(shù)問題，也難以被發(fā)現(xiàn)。

難道警官們自己在日常工作中就不能發(fā)現(xiàn)Axon公司的人工智能有問題嗎？也許能吧。但他們自己也可能會受到“自動偏差”的影響。人們往往更容易接受計算機的判斷，而不是自己的判斷，因為他們相信機器的客觀性。

所以，即使是Axon公司的人工智能能夠?qū)崿F(xiàn)執(zhí)法記錄儀視頻的自動文字轉(zhuǎn)錄并據(jù)此生成警方報告（而我們相信目前這是不可能實現(xiàn)的），公平性、責任性以及透明性等問題也依然存在。

這不是第一次出于實效和安全原因?qū)π录夹g(shù)提出這種要求，它們在開發(fā)過程中以及進入市場后，都要接受獨立檢測和監(jiān)控。這是有先例可尋的。

美國食品藥品監(jiān)督管理局（FDA）就是一個例子。美國食品藥品監(jiān)督管理局成立于20世紀早期，負責對有毒性的或貼錯標簽的食品和藥品進行監(jiān)管。它的職責之一就是防止藥品公司通過招搖撞騙來牟利。同樣，人工智能商家出售影響人體健康、安全和自由的產(chǎn)品和服務(wù)時，也應(yīng)該要求將它們的代碼提交給一個新的管理部門，該部門的專家應(yīng)根據(jù)既定的標準對新提交的人工智能系統(tǒng)進行測試。正如律師馬修?舍勒（Matthew Scherer）在《人工智能開發(fā)法案》（Artificial Intelligence Development Act）建議書中提出的那樣。這項要求也許會在短期內(nèi)損害公司的收益，但可以確保公眾的安全，有助于新技術(shù)的合法化。法制化的協(xié)同測試以及細化管理將提升這些系統(tǒng)的性能，為當前振興人工智能提供動力。

新的聯(lián)邦監(jiān)管制度難以在短時間內(nèi)實現(xiàn)，但州和地方政府已經(jīng)不能再等了。西雅圖近期提出了《監(jiān)控技術(shù)采購》立法計劃，要求市政部門在采購新的監(jiān)控軟件之前必須進行外展宣傳并取得市議會的批準。有些地方政府也許會接受黑人生命運動（Movement for Black Lives）的立場，這項運動的訴求是全面結(jié)束使用警方監(jiān)控技術(shù)作為廣泛政策平臺的一部分。有些地區(qū)的人們看到了執(zhí)法記錄儀帶來的好處，他們也許會立法要求任何警用人工智能系統(tǒng)都須進行獨立的質(zhì)量保證測試。

━━━━

值得贊揚的是，Axon公司已經(jīng)成立了人工智能和警務(wù)科技道德委員會（AI and Policing Technology Ethics Board）來攻克這些棘手的問題。委員會成員包括OpenAI的發(fā)起人、人工智能社會因素專家邁爾斯?布倫戴奇（Miles Brundage），佛羅里達州萊昂郡的治安官、社區(qū)警務(wù)專家沃爾特?麥克尼爾（Walter McNeil），華盛頓大學計算機視覺研究員阿里?法哈迪（Ali Farhadi），以及電子前沿基金會（Electronic Frontier Foundation）的機器人專家杰瑞米?吉魯拉（Jeremy Gillula）。

4位委員與我們分享了他們的觀點。布倫戴奇恰當?shù)刂赋觯骸翱紤]到執(zhí)法部門的IT技術(shù)水平往往有限，Axon公司已經(jīng)上市或尚未上市的產(chǎn)品和服務(wù)都可能會對事件的走向產(chǎn)生影響，所以，我們應(yīng)該從Axon公司的角度出發(fā)，仔細考慮有哪些保護措施是可行的。”我們同意他的看法。根據(jù)委員會成員對我們的答復(fù)，Axon公司的道德委員會到目前為止僅舉行過一次會議，討論基本法規(guī)，而對于Axon公司的研發(fā)業(yè)務(wù)，沒有提出獨特的見解。

2018年4月，包括全美有色人種協(xié)進會（NAACP）和現(xiàn)代人工智能研究所（AI Now Institute）在內(nèi)的42家人權(quán)和科技組織共同簽署了一封公開信，敦促Axon公司的人工智能道德委員會促成公司接受對所有產(chǎn)品的嚴格道德審查，并承諾不使用被這些組織認定為具有危險性或尚未通過檢測的技術(shù)。其中主要是實時人臉識別技術(shù)。Axon公司宣稱，他們目前沒有為執(zhí)法記錄儀開發(fā)這一技術(shù)，但據(jù)《華爾街日報》報道，Axon公司實際上已經(jīng)在研發(fā)此類技術(shù)了。

以北京曠視為代表的其他多家公司也正在開發(fā)這項技術(shù)，并在尋求中國和其他亞洲國家警局的批準，在警用執(zhí)法記錄儀上添加實時人臉識別功能。摩托羅拉系統(tǒng)有限公司（Motorola Solutions）也希望在短期內(nèi)將這項技術(shù)推向美國。

至于西方國家是否會接受在警用執(zhí)法記錄儀上增加人臉識別功能，讓我們拭目以待。在我們看來，這項決定需要進行公開討論。但是，如果這項技術(shù)的性能和缺陷都不為外人所知，理性的探討也就無從談起。

無論是人臉還是鳥類領(lǐng)域，目前人工智能都受益于開放性的文化，這種文化促進了領(lǐng)域?qū)＜摇⒂嬎銠C科學家以及用戶之間的交流。我們提出的監(jiān)管要求將確保刑事司法系統(tǒng)中使用的人工智能接受類似的審查，以證實其不存在偏見且可以信賴。這些規(guī)則也許會有點防礙商業(yè)化進程，但這是正當法律程序和堅實工程技術(shù)的本質(zhì)。