以前我們很多讀物中對科幻作品（包括電影和小說）都有嚴重誤解和誤導，很多人認為科幻是文學作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實上，真正的科幻是給成年人看的。而科幻主要的任務，是思考一些我們平常在生活中不容易或不方便思考的問題。所以在過去的一個多世紀中，國際上科幻作品的主流，就是對科學技術的反思。

　　具體到人工智能問題，幾乎所有的西方科幻作品里的人工智能都是負面的和有害的。科幻作品中極少會像我們許多人想象的那樣，對未來高科技社會中的人工智能進行謳歌。很多人以為科幻作品會想象未來世界如何美好，其實一個多世紀以來，這樣的作品都已經是不入流的了，入流的作品都是有反思的。大量科幻作品對人工智能已經做過深入反思，我們今天能夠想象到的所有人工智能的負面作用，在科幻作品中幾乎都已經表現過了。

　　人工智能的失控和反叛

　　前些時候人工智能阿爾法GO下圍棋贏了李世石，我和幾位人工智能專家以及年輕人的偶像柯潔九段一起做電視節目時，柯潔還表示李世石雖然敗了，他還是能下贏的，后來他跟阿爾法GO下了一次也輸了，他也沒信心了，說“感覺在跟上帝下棋一樣”。稍后的阿爾法zero，面對全世界60名圍棋高手，下成60比0，人類全輸了。據說阿爾法GO是從人類先前的棋譜中學習的，但阿爾法zero完全沒有借鑒人類的任何棋譜，只是告訴它圍棋規則，它自行研究后就一舉打敗了人類60高手。這表明人工智能一旦有了學習能力，你不知道它會變成什么樣子。

　　還要考慮人工智能和互聯網結合后的極大危險。以前在阿西莫夫寫關于人工智能的科幻作品時，還沒有互聯網，分立的個體人工智能畢竟還有一個物理極限，一個機器人哪怕全身都是芯片，它的存儲和運算能力也是有物理極限的。但是今天任何與互聯網結合在一起的人工智能都能夠輕易超越這個極限，這樣它的學習能力，它的進化速度，都是無法預測的，因而也就很可能是無法控制的。

　　影片《超體》（Lucy，2014）充分展示了人工智能一旦具有學習能力之后，它的潛能發揮和迅速進化可以達到什么程度。人工智能專家經常安慰我們說：人工智能還很弱小，你們擔心的事情離現在還很遠。但是知識增長是有加速度的，從弱人工智能到強人工智能，到底要多少年？20年？再從強人工智能到超人工智能，也許一小時都不用，在《超體》的故事中，人工智能最后迅速變成一個超能的神，這就意味著失控。

　　影片《超體》中，這個成神的人工智能還沒有對人類表現出惡意，如果它對人類有了惡意，那還有更可怕的前景。傳統概念中的機器人，它們身體的大部分其實都是伺服機構，但是和互聯網結合的人工智能，就不再需要這樣的伺服機構了。比如一個邪惡的人工智能想實施一次恐怖爆炸，它怎么做？它只需在網上合法訂購各類可以構成爆炸裝置的民用原料和器件，然后訂購組裝服務，再利用物流服務送往指定地點，由它引爆。這樣的人工智能不再需要任何伺服機構，它只是互聯網上的一個幽靈。反映這種前景的作品已經有很多了。

　　劇集《疑犯追蹤》（Person of Interest，2011～2016）迄今已有五季，第一季看著像探案故事，但是越來越科幻，到了最后一季已經完全變成一個超級的科幻作品。那里面的人工智能就是躲在網絡上的幽靈。現在人工智能專家還經常安慰公眾說，人工智能如果真的出了問題，我們把電源拔掉就行了，但是對于和互聯網結合的人工智能，如果它想作惡，到哪里去“拔掉電源”？

　　影片《機械姬》（Ex Machina，2015）也相當有代表性，那個女機器人最后突然作惡，把她的創造者囚禁起來，自己出去了。這個結尾為拍第二部準備好了接口。這個反社會人格的女機器人出去后會在社會上做什么壞事，有很大的想象空間。

　　至于著名的影片《未來戰士》系列（Terminator，又名《終結者》，1984～2015），已有五部，講人工智能反叛人類后對人類的剿殺，以及人類的殊死反抗，已成經典。

　　人工智能的人權問題

　　人工智能發展進化之后，我們早晚要面臨人工智能的人權問題。即使人工智能自己不提出來，我們人類自己從倫理道德的角度出發，也會提出這個問題。事實上當然是科幻作品中很早就提出了這個問題。

　　較早的影片《變人》（Bicentennial Man，1999）直接提出了這個問題。家里買來了一個機器人，這個機器人對他們家的小姐產生了感情，小姐當然不能和一個家用電器戀愛，所以雖然對它也挺好，但是沒辦法拍拖。于是機器人不斷讓自己升級，最終把自己進化成完全跟人一模一樣，但是故事里的人類社會拒不承認它的人權，不批準它和人類的婚姻。

　　要討論人工智能的人權問題，就必須為取得人權給出條件。在影片《變人》中，最后給出的條件居然是死亡——有生老病死，是獲得人權的必要條件。最后這個機器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會才承認了他們的婚姻。

　　當然還有作品給出了別的條件。比如影片《銀翼殺手2049》（Blade Runner 2049，2017）中設想的界限是“生育”——只有被母親生出來孩子才有人權。在《銀翼殺手2049》的世界里，復制人是沒有人權的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。

　　第三個，在很多作品里都給出過的，是文化。這是一個相對合理的想法，一個人工智能（或者機器人、仿生人、克隆人等等），如果他擁有了人類的文化，我們就同意給他人權。前不久沙特阿拉伯最先嘗試了世界上最激進的做法——給一個機器人授予了公民權，這當然就是承認了她的人權。該機器人叫索菲婭，是一個女性形象，如今她會出席各種各樣的會議。雖然索菲婭早先說過“要滅亡人類”這樣的話，現在她在社會上活動，有人翻出她當年的話來，她改口說愿意和人類友好相處。最近又傳出她打算結婚，當然也可能只是炒作。在索菲婭的個案里，人權主要是靠文化來獲得的。

　　人工智能的人權問題之所以非常重要，是因為人工智能一旦被我們大量應用之后，我們的很多法律和倫理問題都和人工智能的人權直接有關。

　　影片《機械公敵》（I， Robot，2004）就強調了這一點。那個機器人殺了人之后，警方認為這是謀殺，生產機器的公司說，我們對“謀殺”的法律定義是一個人蓄謀殺害另一個人，機器人沒有人權，所以它殺人只是機器故障。類似的問題現在已經在我們眼前了，我們已經讓自動駕駛汽車上路了，如果自動駕駛汽車撞死了人，怎么追責？這個責任到底是車主來負還是生產汽車的廠家來負？

　　又如劇集《真實的人類》（Humans，2015～2018），已經有三季，故事中家里買了一個女性機器人來，引發了各種各樣的問題。比如男主人有一次和這個女性機器人做了愛，他這個行為的定性，直接與機器人的人權有關：如果機器人沒有人權，他就是自慰；如果機器人有人權，他就是出軌。

　　類似的問題還可以設想很多，現有的法律對這些問題都缺乏相應的規定，我們的倫理觀念也沒有準備好適應這些現象。

　　軍用人工智能的倫理問題

　　阿西莫夫著名的“機器人三定律”，第一定律就是“機器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個第一定律意味著什么？意味著我們人類不能把殺人的權力讓渡給機器人，而這就排除了將機器人或人工智能應用于軍事用途的一切合法性。比如有一個罪犯被判了死刑，我們可以讓機器人去對他執行槍決嗎？不可以。因為機器人不得傷害人類，不管這個人類是一個罪犯還是一個功臣。

　　但是如果研發軍事用途的人工智能，那當然就是把殺人的權力交給機器人。比如現在很熱的無人機，即使是在人類下達命令之后讓無人機執行攻擊，也違背了第一定律，更不用說研發自主識別目標執行攻擊的無人機了。

　　所以軍事用途的人工智能這個事情本身就是從根本上違背“機器人三定律”的。但是因為三定律并不是什么法律，只是一個科幻小說家在他的小說里提出來的，雖然搞人工智能的不少人表示愿意尊重這三個定律，但這畢竟不是法律，如果研發者不遵守別人也拿他沒辦法，很多研發軍事用途人工智能的人當然都沒有遵守這三個定律。他們通常可以有兩個路徑來為自己辯護。

　　第一個路徑就是宣稱三定律只是小說家言，我們為了崇高目標不必當真。第二個路徑是利用“人工智能”劃界的困難，什么叫“人工智能”？你口袋里的手機是不是人工智能？你通過適當的定義就可以把手機定為人工智能。既然如此，那么現代戰爭中的指揮通訊系統為何不能定義為人工智能？這樣的人工智能不是早就在戰爭中應用了嗎？反過來，對另一些武器，比如無人駕駛的坦克，無人機，你可以說這只是一種自動武器，你也可以說這是人工智能。到底算不算？這沒有明確的邊界。

　　最近美國拍了一系列以無人機為主題的科幻電影，在這些作品里面，倫理道德問題往往是很突出的。

　　前些時候，埃隆·馬斯克、史蒂芬?霍金、比爾·蓋茨聯合了很多名流，發表了一個公開的宣言，要求停止軍事用途的人工智能研發。認為這有可能產生比原子彈更可怕的武器。一方面，軍用人工智能直接操控武器或自身就是武器，一旦失控后果難以設想；另一方面即使沒有失控，研發出這類更新穎更高效的殺人武器，從根本上來說也絕非人類之福。媒體對此有過一些報道，但并不突出和重視。學者當中提出了類似這三個人觀點的也不少，但這些都還沒有達到國家政策的層面，都只是民間的呼吁。

　　馬斯克自己就是一個人工智能大力的支持者和使用者，他自己的工廠里使用了大量的工業人工智能，但是他一面自己在使用和研發人工智能，一面卻不斷警告說人工智能是非常危險的，他這樣做看上去有點偽善，但是他提出警告畢竟也有好處。比如說，我肯定在馬斯克他們的上述宣言之前早就發表文章提出過警告了，但人們會說你又不研究人工智能，你的警告我們用不著重視。但是馬斯克提出警告，人們至少不會說他不研究人工智能吧？至少對他的警告要更重視一些吧？從這個意義上說，他的警告作用就可能比較大，所以他的警告我也都贊成。

　　所以今天我們只能、而且必須抱著和當年搞“兩彈一星”類似的心態來進行軍事用途的人工智能研發。軍用人工智能就是今天的“兩彈一星”。比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能研發的國際協議。但談判需要手中有籌碼，只有當中國手中握有足夠的實力籌碼時，才有可能推動人工智能方面的國際裁軍談判。

　　人工智能的終極威脅

　　科幻作家、科普作家阿西莫夫，因為在小說中提出了“機器人三定律”，所以人們在談論人工智能時總會提到他。其實他的科幻作品中最著名的是小說《基地》系列，共11卷，是一部科幻史詩作品，前后時間跨度以千年萬年為單位，討論整個銀河帝國的興衰。在這部科幻史詩中，阿西莫夫提出了一個重要觀點——所有依賴人工智能的文明都必將衰亡。所以在他的書里能夠持久發展的文明，比如銀河帝國，是立法禁止人工智能的。

　　為什么？當然有道理。因為人工智能會讓文明衰亡。前面我們討論了人工智能的失控和反叛，但這些還未必是人工智能對于人類的終極威脅。假定這些問題都沒有發生，人工智能既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務，阿西莫夫指出，恰恰是這樣至善全能的人工智能，對人類的威脅是致命的，因為這樣的人工智能將消解我們人類生存的意義。

　　有人會說，所有的事情都讓機器人做了，但是我們可以創造，我們可以搞藝術，可以過精神生活呀？問題是人工智能也可以替你去創造，甚至精神生活也可以替你去過——比如芯片植入人機結合之后，那些所謂的“精神生活”還是你的嗎？這么經歷一兩代人之后，人類的智能和體能都將急劇衰退，很快就將成為行尸走肉，我們的人生就將毫無意義。

　　另一方面，在這樣的世界里，我們肯定會把我們所有的社會管理都交給人工智能，人工智能就將在實際上統治這個星球。用不了多久，人工智能必然會得出一個合理的結論：人類這幫寄生蟲，活在這個世界上純粹是對環境的污染，它完全可以清楚人類來優化環境。這時不管人類自己的生存意義喪失與否，都必然是人類的末日。

　　還有一些人這樣想：我們為什么要害怕人工智能推翻人類社會呢？如果人工智能推翻了人類社會，那人工智能必將是一個比人類更好的存在模式，我們為何不能接受呢？其實這里有一個是否“以人為本”的問題。即使人工智能發展得比我們人類更優越了，我們也沒有理由聽任人工智能將我們人類清除掉。我們人類站在自己這個物種的立場上，我們當然不可能接受被別的物種政府或滅亡。

　　所以警惕人工智能，比無條件地擁抱人工智能更合情合理。