人工智能會成為推動人類未來發展的水和電，當它在迅速改變人類生活環境的同時，也在模糊著物理世界和個人的界限，延伸出復雜的道德倫理問題。

5 月 18 日，一則杭州某中學引入“智慧課堂行為管理系統”的新聞在微博上引發大量轉發，就技術的不正當應用引起了網友討伐。背后具體的技術應用正是人臉識別，一方面是通過實現“刷臉”完成實時考勤...這一場景的技術應用已經比較完備了，但在最多三四十的教室里，這樣做是不是大材小用了？

但讓網友們群起攻擊的一點是，人工智能被用來統計分析學生課堂行為，并對異常行為實時反饋。據校方負責人介紹，系統每隔 30 秒會進行一次掃描，針對學生們閱讀、舉手、書寫、起立、聽講、趴桌子等 6 種行為，再結合面部表情是高興、傷心，還是憤怒、反感，分析出學生們在課堂上的狀態。

為了讓技術用來促進教學管理，他們欲借助科技幫助老師分析學生的行為數據來得到課堂質量的反饋，以及在后續的教學上做出調整。

校方所要達成的目標也許是好的，但問題是，在教室走廊、學校公開場所以安全之名安裝攝像頭的監控行為還算有其合理之處的話，那在較為封閉的教室里監控個人行為，是否存在技術被濫用的嫌疑？當然校方聲稱他們考慮到了個人隱私問題，說系統只是對整個班級的行為管理進行大數據分析，但這至少是否要經過學生的同意？（當然，最后一個問句在中國學校管理中基本就是奢望。）

其次，收集面部信息作為教學質量反饋看上去雞肋程度大于實用性。校方稱，現在獲取的數據僅為片段性，也沒有形成大數據來支撐對學生行為的判斷。所以可以得出通過上述 6 種行為分析本來就沒有多大意義，因為學生個體的動作表情很難用正負面二分法做出判定，比如有很多人的喜怒哀樂很少通過面部表情表現，這種大數據判斷的誤差以及參考價值有多大可想而知。

校方也回應稱，現在也不會將具體的某一個行為作為決定性因素，而人們擔心的恰恰就是你用 AI 技術給出整齊劃一的“標準答案”。

那在促進教學質量又不傷害學生個人隱私的情況下，能不能更好的將人工智能技術應用其中？

當然有，有網友說， 如果換成系統能語音識別老師所講的內容，然后自動搜索相關圖片、知識點展現在課堂上作為教師的助教。如果不考慮語音技術目前的挑戰，類似的技術應用思路自然可行。教育領域作為人工智能技術大有大為的落地場景，近年來，無論是像新東方或者滬江這樣傳統的線上教育公司或者 AI 教育的初創公司都在不斷做出探索，但所有的前提是 AI 技術發揮的作用必須是正向的。

人工智能的倫理道德問題不僅僅體現在教育領域，還有人工智能歧視問題，這體現在數據選擇和算法上。有科學家研究，通過使用機器學習算法幫助銀行提供接受還是拒絕房貸的建議，但在審查神經網絡決策制定流程的結果時，發現黑人申請的批準率大大低于白人申請的批準率。這被視為人工智能“黑箱”處理導致的不透明性。

再比如人工智能技術用于軍事用途。韓國科學技術高級研究院 KAIST 由于涉及開發“殺人機器人”項目遭到 Hinton、周志華等 50 余名全球 AI 專家的聯合抵制，最后項目叫停；Google 利用AI 技術幫助美國國防部分析無人機拍攝的視頻遭到 3000 名員工聯名反對，近期事件發酵后有多位員工憤然離職；Uber 等采用自動駕駛技術的汽車公司由于車禍事件，受到媒體和公眾的重點盯防......

還有 AI 技術應用在道德倫理這一步的審查是模糊的。

上周，Google 在其語音助手中加入了 Duplex 人工智能語音技術，它能模仿真人的語氣進行對話，幫助用戶完成電話預訂美發沙龍和餐館等操作。隨后谷歌母公司 Alphabet 董事長 John Hennessy 聲稱它已經部分通過了圖靈測試，但由于它與人類溝通時并未告知自己機器人的身份，因此人們擔憂它是否會被用來欺詐他人。

我們要防止人工智能“觸電”人類道德倫理，但在相應倫理道德框架和機制建立上還處于黎明前的暗夜里。

國外有諸多大公司相繼已建立了相關組織來討論 AI 的道德倫理問題。2016 年 9 月，Facebook、Google 以及亞馬遜除了內部制定防止技術濫用的機制之外，它們也成立了聯合組織，目標是尋找應對 AI 帶來的安全與隱私威脅的解決方案，OpenAI 也是類似的組織。

我國的《新一代人工智能發展規劃》也專門提出人工智能倫理與法律的三步走規劃，但將倫理與法律要求嵌入到 AI 系統仍是世界性難題。即便如此，逐步制定行業標準和道德標準，了解 AI 存在的風險刻不容緩。否則，將 AI 用來“監控”學生個人喜怒哀樂這樣的技術應用會不斷涌現。