谷歌眼鏡通過(guò)增強(qiáng)現(xiàn)實(shí)療法幫助自閉癥兒童理解面部表情。

想象一下這個(gè)場(chǎng)景：快到晚飯時(shí)間了，小吉米呆在廚房里。他媽媽正忙著把晚飯端上飯桌，并且她把所有餐具都堆放在了廚房的操作臺(tái)上。患有自閉癥的吉米則希望把餐具擺放得更加整齊，當(dāng)他媽媽在爐子旁時(shí)，他便小心翼翼地開始把每一把餐叉、餐刀和湯勺放回餐具抽屜的槽里。突然，吉米聽到一聲喊叫。他媽媽聲音很大，她的臉色看起來(lái)不一樣了。但他還在繼續(xù)收拾著餐具。 現(xiàn)在想象一下，吉米戴著一種特殊的谷歌眼鏡，這是谷歌在2013年推出的一款增強(qiáng)現(xiàn)實(shí)頭戴設(shè)備。當(dāng)他抬頭看著他媽媽時(shí)，頭戴顯示器亮起一個(gè)綠框，提示吉米他“發(fā)現(xiàn)了一張臉”。當(dāng)他盯著他媽媽的臉看時(shí)，一個(gè)表情符號(hào)跳出來(lái)，告訴吉米：“你發(fā)現(xiàn)了一張生氣的臉。”于是，他會(huì)思考為什么他媽媽會(huì)生氣。也許他應(yīng)該停下收拾餐具，去問(wèn)問(wèn)她。 我們的團(tuán)隊(duì)已經(jīng)花了6年的時(shí)間來(lái)研究這項(xiàng)針對(duì)自閉癥兒童的輔助技術(shù)，孩子們把這項(xiàng)技術(shù)稱為“超級(jí)眼鏡”。我們的系統(tǒng)為孩子在家中提供行為療法，這是最初學(xué)習(xí)社交技能的地方。該系統(tǒng)使用眼鏡外置攝像頭記錄孩子與家人之間的互動(dòng)；然后我們的軟件會(huì)檢測(cè)到這些視頻中的人臉，并解讀他們表達(dá)的情緒。通過(guò)一個(gè)應(yīng)用程序，看護(hù)人可以查看自動(dòng)剪輯的社交互動(dòng)視頻。 多年來(lái)，我們已經(jīng)對(duì)原型進(jìn)行了改進(jìn)，并通過(guò)臨床試驗(yàn)證明它的療效：我們發(fā)現(xiàn)，使用這款眼鏡可以增加孩子們的眼神交流和社交參與感，還可以提高他們對(duì)情緒的識(shí)別能力。我們?cè)谒固垢４髮W(xué)的團(tuán)隊(duì)與本文作者之一丹尼斯?沃爾（Dennis Wall）的分拆公司Cognoa合作，為“超級(jí)眼鏡”贏得了“突破性療法”的稱號(hào)，該項(xiàng)技術(shù)迅速獲得了美國(guó)食品藥品管理局（FDA）的批準(zhǔn)。我們的目標(biāo)是進(jìn)入健康保險(xiǎn)計(jì)劃，以此來(lái)支付該項(xiàng)技術(shù)作為增強(qiáng)現(xiàn)實(shí)治療療法的費(fèi)用。 當(dāng)谷歌眼鏡第一次作為消費(fèi)類設(shè)備出現(xiàn)時(shí)，許多人認(rèn)為不需要使用它。面對(duì)慘淡的評(píng)價(jià)和銷量，谷歌2015年停止了消費(fèi)版產(chǎn)品的生產(chǎn)。但當(dāng)該公司于2017年攜帶該設(shè)備的二代產(chǎn)品——“企業(yè)版眼鏡”重返市場(chǎng)時(shí)，許多行業(yè)開始看到了它的潛力。在這里，我們將講述我們?nèi)绾卫眠@項(xiàng)技術(shù)為自閉癥兒童提供一種看世界的新方式。

當(dāng)吉米戴上眼鏡時(shí)，他很快就習(xí)慣了視野邊緣的頭戴顯示器（棱鏡）。當(dāng)吉米開始與家人進(jìn)行互動(dòng)時(shí)，這個(gè)眼鏡就會(huì)將視頻數(shù)據(jù)發(fā)送到看護(hù)人的智能手機(jī)上。我們的應(yīng)用程序配有最新的人工智能（AI）技術(shù)，可以檢測(cè)人臉和情緒，并將信息發(fā)送回眼鏡。當(dāng)檢測(cè)到人臉時(shí)，頭戴顯示器的邊框就會(huì)亮起綠色，然后顯示器通過(guò)表情圖形、表情符號(hào)或書面文字來(lái)識(shí)別面部表情。用戶還可以選擇從眼鏡內(nèi)的骨傳導(dǎo)揚(yáng)聲器獲取音頻暗示（一種識(shí)別情緒的聲音），該揚(yáng)聲器通過(guò)頭骨向內(nèi)耳發(fā)送聲波。該系統(tǒng)可以識(shí)別7種面部表情，包括快樂(lè)、憤怒、驚訝、悲傷、恐懼、厭惡，還有蔑視——我們標(biāo)記為“失望”，這樣對(duì)孩子更友好一些。它還能識(shí)別中性的表情。

為了鼓勵(lì)孩子們佩戴“超級(jí)眼鏡”，這款應(yīng)用程序目前提供了兩款游戲：“捕捉微笑”——孩子試圖從他人身上引發(fā)出快樂(lè)或另一種情緒；“猜猜表情”——人們表現(xiàn)各種情緒，然后讓孩子們猜出是哪種情緒。這款應(yīng)用程序還會(huì)記錄會(huì)話中的所有活動(dòng)，并標(biāo)記社交活動(dòng)的瞬間。這讓吉米和他媽媽能夠一起觀看他們?cè)趶N房里出現(xiàn)矛盾的視頻，這會(huì)促使他們討論究竟發(fā)生了什么事情，以及下次他們?nèi)绾伪苊膺@樣的情況發(fā)生。

“超級(jí)眼鏡”系統(tǒng)的三大要素——人臉檢測(cè)、情感識(shí)別和App回顧，可以幫助自閉癥兒童邊戴邊學(xué)。鼓勵(lì)孩子們?nèi)ふ疑缃换?dòng)，使得他們了解人臉是有趣的，意識(shí)到可以從面部表情中收集有價(jià)值的信息。但是眼鏡并不需要永久佩戴。孩子們每周在自己家里做幾次20分鐘的治療，目前整個(gè)干預(yù)療程為6周。孩子們能很快學(xué)會(huì)如何察覺(jué)他們社交伙伴的情緒，然后，在他們獲得社交自信心后，就不再使用眼鏡了。

我們的系統(tǒng)旨在改善一個(gè)嚴(yán)重的問(wèn)題：孩子們只能接受有限的強(qiáng)化行為治療。盡管有證據(jù)表明這種療法可以減少甚至消除自閉癥的核心癥狀，但孩子們必須在8歲之前就開始接受這種療法，才能真正見效。目前診斷的平均年齡是4至5歲，等待治療可能會(huì)超過(guò)18個(gè)月。其部分原因是，自1990年以來(lái)，美國(guó)自閉癥兒童的診斷人數(shù)猛增了600%，現(xiàn)在大約每40個(gè)孩子中就有一個(gè)患有自閉癥；而在亞洲和歐洲的一些地區(qū)，增長(zhǎng)卻沒(méi)有如此劇烈。

由于需要治療的兒童人數(shù)與能夠提供治療的專家人數(shù)之間的不平衡越來(lái)越嚴(yán)重，因此我們認(rèn)為，臨床醫(yī)生必須尋求以分散方式擴(kuò)大規(guī)模的解決方案。我們認(rèn)為，不能一切都依賴專家，幫助所有這些兒童所需的工具，如數(shù)據(jù)采集、監(jiān)控和治療工具，必須交到患者及其父母的手中。

為自閉癥兒童提供原位輔助學(xué)習(xí)的努力可以追溯到20世紀(jì)90年代，當(dāng)時(shí)麻省理工學(xué)院的教授羅莎琳德?皮卡德（Rosalind Picard）設(shè)計(jì)了一個(gè)帶有耳機(jī)和顯示情緒提示的微型計(jì)算機(jī)系統(tǒng)。然而，當(dāng)時(shí)的可穿戴技術(shù)既笨重又突兀，情緒識(shí)別軟件也很原始。而如今的可穿戴設(shè)備（例如谷歌眼鏡）都很低調(diào)，而且我們擁有了強(qiáng)大的人工智能工具，它們利用了大量關(guān)于面部表情和社交互動(dòng)的公開數(shù)據(jù)。━━━━谷歌眼鏡的設(shè)計(jì)是一項(xiàng)驚人的壯舉，工程師基本上把智能手機(jī)裝進(jìn)了一個(gè)類似眼鏡的輕型框架中。這種形狀因子給開發(fā)者帶來(lái)了一個(gè)有趣的挑戰(zhàn)：我們必須在電池壽命、視頻流性能和熱量之間做出權(quán)衡。例如，在設(shè)備上處理數(shù)據(jù)產(chǎn)生熱量過(guò)多，會(huì)自動(dòng)觸發(fā)操作回調(diào)。當(dāng)我們嘗試在設(shè)備上運(yùn)行計(jì)算機(jī)視覺(jué)算法時(shí)，該系統(tǒng)會(huì)自動(dòng)降低捕捉視頻的幀速率，嚴(yán)重影響快速識(shí)別情緒和提供反饋的能力。 我們的解決方案是通過(guò)Wi-Fi將谷歌眼鏡與智能手機(jī)配對(duì)。眼鏡可以捕捉視頻，將視頻流傳輸?shù)绞謾C(jī)，并向佩戴者傳遞反饋信息。手機(jī)可以進(jìn)行人臉檢測(cè)與跟蹤、特征提取、面部表情識(shí)別等繁重的計(jì)算機(jī)視覺(jué)工作，并存儲(chǔ)視頻數(shù)據(jù)。

但是，“眼鏡到手機(jī)”的視頻流也有自己的問(wèn)題：雖然眼鏡能以正常的分辨率捕捉視頻，但我們只能以低分辨率進(jìn)行傳輸。因此，我們編寫了一個(gè)協(xié)議，將眼鏡新檢測(cè)到人臉的圖像放大，這樣視頻流信息就足夠詳細(xì)，可用于我們的視覺(jué)算法。

我們的計(jì)算機(jī)視覺(jué)系統(tǒng)最初是使用現(xiàn)成的工具。軟件流水線由人臉檢測(cè)器、人臉跟蹤器和人臉特征提取器組成；一個(gè)經(jīng)過(guò)標(biāo)準(zhǔn)數(shù)據(jù)集和我們自己數(shù)據(jù)集訓(xùn)練的情緒分類器接收數(shù)據(jù)。在我們剛開始開發(fā)流水線時(shí)，在移動(dòng)設(shè)備上運(yùn)行能夠處理實(shí)時(shí)分類任務(wù)的深度學(xué)習(xí)算法還不可行。但在過(guò)去的幾年里，我們?nèi)〉昧孙@著的進(jìn)步，現(xiàn)在我們正在研發(fā)一款升級(jí)版的“超級(jí)眼鏡”，它配有深度學(xué)習(xí)工具，可同時(shí)進(jìn)行人臉跟蹤和情緒分類。

這次升級(jí)不是一項(xiàng)簡(jiǎn)單的任務(wù)。情緒識(shí)別軟件主要用于廣告行業(yè)，用于衡量消費(fèi)者對(duì)廣告的情緒反應(yīng)。我們的軟件在幾個(gè)關(guān)鍵點(diǎn)都有所不同。首先，它不是用于計(jì)算機(jī)，而是用于可穿戴和移動(dòng)設(shè)備，因此我們必須將它的內(nèi)存和處理要求降到最低。可穿戴形狀因子也意味著，不是通過(guò)穩(wěn)定的網(wǎng)絡(luò)攝像頭捕捉視頻，而是通過(guò)孩子們佩戴的移動(dòng)攝像頭捕捉視頻。我們已經(jīng)添加了圖像穩(wěn)定器來(lái)處理視頻的抖動(dòng)，人臉檢測(cè)器要頻繁地初始化，找到在場(chǎng)景中突然改變位置的人臉。

失效判定也是一個(gè)嚴(yán)重的問(wèn)題。例如，一個(gè)商業(yè)情緒識(shí)別系統(tǒng)可能聲稱有98%的準(zhǔn)確率；這樣的統(tǒng)計(jì)數(shù)據(jù)通常意味著該系統(tǒng)對(duì)絕大多數(shù)人效果都很好，但始終無(wú)法識(shí)別小部分人的表情。這種情況對(duì)于研究人們觀看廣告的總體情緒可能是合適的，但對(duì)于“超級(jí)眼鏡”，這個(gè)軟件必須經(jīng)常解讀孩子與同一個(gè)人的互動(dòng)情況。如果這個(gè)系統(tǒng)持續(xù)識(shí)別失敗的兩個(gè)人碰巧是孩子父母，這個(gè)孩子就太不走運(yùn)了。 我們已經(jīng)開發(fā)了一些自定義的方法來(lái)解決這些問(wèn)題。在我們的“中性減法”方法中，系統(tǒng)首先記錄某個(gè)人中性表情的臉。然后，軟件根據(jù)檢測(cè)到的該人當(dāng)前顯示的臉和記錄的中性估值之間的差異，對(duì)該人的表情進(jìn)行分類。比如，系統(tǒng)可能學(xué)會(huì)，爺爺僅僅眉頭緊鎖，并不意味著他總是生氣。我們還在進(jìn)一步研究機(jī)器學(xué)習(xí)技術(shù)，該技術(shù)可快速為每個(gè)用戶軟件實(shí)現(xiàn)個(gè)性化。制造一個(gè)穩(wěn)健的人機(jī)交互系統(tǒng)，讓用戶沒(méi)有太多挫敗感，是一個(gè)相當(dāng)大的挑戰(zhàn)。我們正在試驗(yàn)幾種游戲化校準(zhǔn)過(guò)程的方法，我們認(rèn)為“超級(jí)眼鏡”系統(tǒng)必須具有適應(yīng)能力，才能取得商業(yè)成功。 我們從一開始就意識(shí)到這個(gè)系統(tǒng)是不完善的，于是設(shè)計(jì)了反饋來(lái)反映這一現(xiàn)實(shí)。綠框人臉檢測(cè)功能最初是為了緩解挫敗感：如果系統(tǒng)沒(méi)有跟蹤到朋友的臉，至少用戶知道這一點(diǎn)，并且不會(huì)等待永遠(yuǎn)不會(huì)出現(xiàn)的反饋。然而，隨著時(shí)間的推移，我們開始認(rèn)識(shí)到綠框自身就是一種干預(yù)治療，只要佩戴者看到一張臉，綠框都會(huì)提供反饋，對(duì)于患有自閉癥系列障礙的兒童，這種行為會(huì)有明顯不同。━━━━為了評(píng)估“超級(jí)眼鏡”，我們?cè)谶^(guò)去6年里進(jìn)行了3次研究。第一次研究是在我們的實(shí)驗(yàn)室里，有一個(gè)非常初級(jí)的原型，用來(lái)測(cè)試患有自閉癥的兒童戴上谷歌眼鏡后會(huì)有什么樣的反應(yīng)，以及他們會(huì)接收到什么樣的情緒提示。接下來(lái)，我們制作了一個(gè)完整的原型，并開展了一次設(shè)計(jì)試驗(yàn)，在這個(gè)試驗(yàn)中，自閉癥孩子的家庭把這些設(shè)備帶回家?guī)讉€(gè)星期。我們定期與這些家庭進(jìn)行互動(dòng)，并根據(jù)他們的反饋對(duì)原型進(jìn)行修改。 用手中這臺(tái)精心修改的原型樣機(jī)，我們開始對(duì)設(shè)備的功效進(jìn)行嚴(yán)格的測(cè)試。我們進(jìn)行了一項(xiàng)隨機(jī)對(duì)照試驗(yàn)，其中一組兒童接受典型的居家行為療法，而另一組兒童則接受這種療法外加使用“超級(jí)眼鏡”。我們使用了4組常用自閉癥研究測(cè)試，尋找情緒識(shí)別和更廣泛的社交技能的改善。正如我們?cè)?019年《美國(guó)醫(yī)學(xué)會(huì)小兒科期刊》（JAMA Pediatrics）上發(fā)表的論文中所述，在一組測(cè)試中，干預(yù)組表現(xiàn)明顯優(yōu)于對(duì)照組。

我們還請(qǐng)家長(zhǎng)告訴我們他們注意到了什么。他們點(diǎn)評(píng)技術(shù)功能、用戶挫折感以及他們希望看到的新功能，他們的觀察幫助我們改進(jìn)了原型的設(shè)計(jì)。我們居家設(shè)計(jì)試驗(yàn)開始時(shí)的一封電子郵件就很引人注目。這位家長(zhǎng)報(bào)告說(shuō)自己的小孩立即有了顯著的改善：“在通過(guò)谷歌眼鏡互動(dòng)過(guò)程中，他實(shí)際上正在看著我們……就好像他身上的開關(guān)被打開了一樣……謝謝你們！！！我兒子正看著我的臉。”

這封郵件非常鼓舞人心，但聽起來(lái)好得令人難以置信。然而，在我們的研究中，關(guān)于增加眼神交流的評(píng)論一直存在，我們?cè)谝环菰O(shè)計(jì)研究的出版物中記錄了這個(gè)有趣的反饋。時(shí)至今日，我們?nèi)阅軓摹罢彰鏖_關(guān)”參與者小組那里聽到類似的故事。 我們相信“超級(jí)眼鏡”系統(tǒng)是有效的，但說(shuō)實(shí)話，我們真的不知道為什么有效。我們還無(wú)法確定導(dǎo)致增加眼神交流、社交參與度和情緒識(shí)別的主要行為機(jī)制是什么。這一未知為我們目前的研究提供新的信息。情緒識(shí)別反饋對(duì)孩子的幫助最大嗎？還是我們的設(shè)備的主要功效是通過(guò)綠框吸引人們對(duì)臉的注意力？或者我們只是提供了一個(gè)平臺(tái)來(lái)增加家庭內(nèi)部的社交互動(dòng)？這個(gè)系統(tǒng)是以同樣的方式幫助所有的孩子，還是以不同的方式滿足不同人群的需求？如果我們能夠回答這些問(wèn)題，那我們干預(yù)治療的設(shè)計(jì)就能更有針對(duì)性和個(gè)性化。 由丹尼斯?沃爾創(chuàng)立的初創(chuàng)公司Cognoa，目前正致力于將我們的“超級(jí)眼鏡”原型轉(zhuǎn)變?yōu)榭蛇M(jìn)入醫(yī)生處方的臨床療法。在2019年2月美國(guó)食品藥品管理局認(rèn)定該項(xiàng)技術(shù)為“突破性療法”，這將加快獲得健康保險(xiǎn)公司監(jiān)管批準(zhǔn)和接納的進(jìn)程。Cognoa公司的增強(qiáng)現(xiàn)實(shí)療法將適用于大多數(shù)類型的智能手機(jī)，它不僅與谷歌眼鏡兼容，還將與即將上市的新品牌智能眼鏡兼容。在另一個(gè)項(xiàng)目中，該公司正在開發(fā)一種數(shù)字工具，醫(yī)生可以用它來(lái)診斷只有18個(gè)月大的兒童，這可使這些兒童在大腦發(fā)育的關(guān)鍵時(shí)期準(zhǔn)備接受治療。 最終，我們認(rèn)為我們的治療方法還可以用于自閉癥以外的問(wèn)題兒童。例如，針對(duì)語(yǔ)言障礙兒童，或者被診斷患有注意力缺陷多動(dòng)障礙的孩子，我們可以為他們?cè)O(shè)計(jì)游戲和反饋。我們正在設(shè)想用各種普遍存在的人工智能設(shè)備為用戶提供治療，并反之推動(dòng)技術(shù)改進(jìn)的良性循環(huán)；這些設(shè)備在輔助學(xué)習(xí)的同時(shí)，還可以捕捉數(shù)據(jù)，幫助我們了解如何更好地進(jìn)行個(gè)性化治療。在這個(gè)過(guò)程中，甚至還可以對(duì)各種失調(diào)癥獲得新的科學(xué)見解。最重要的是，這些設(shè)備將能夠幫助家庭掌握自己的治療和家庭動(dòng)態(tài)。通過(guò)“超級(jí)眼鏡”和其他可穿戴設(shè)備，他們將看到未來(lái)的方向。