一名已經15年沒有說話的癱瘓男子，正使用腦機接口來解碼他想說的話（一次一個詞）。加州大學舊金山分校

電腦屏幕顯示問題“你想要一些水嗎?”下面有三個點在閃爍，緊跟著幾個字，一個一個地出現:“不，我不渴。”

大腦的活動使這些想法具體化——自從中風破壞了他的大腦和身體其他部分的連接，他幾乎癱瘓后，已經有15年沒有說話了。他使用了許多其他技術進行交流；最近，他使用了一個附在棒球帽上的探針在觸摸屏上敲出文字，這種方法很有效，但很慢。他自愿參加了我的研究小組在加州大學舊金山分校(University of California, San Francisco)的臨床試驗，希望開創一種更快的方法。到目前為止，他只在研究過程中使用過這種大腦轉換文本的系統，但他希望自己能夠幫助我們把這項技術發展成像他這樣的人可以在日常生活中使用的東西。

在我們的初步研究中，我們在志愿者的大腦表面覆蓋了一個薄而靈活的電極陣列。電極記錄神經信號，并將其發送到語音解碼器，由語音解碼器將信號翻譯成該男子想要說的話。這是第一次一個癱瘓的不能說話的人使用神經技術從大腦中傳播整個單詞，而不僅僅是字母。

這項試驗是十多年來對控制語言的潛在大腦機制的研究的高潮，我們對迄今為止所取得的成就感到無比自豪。但我們才剛剛開始。我在加州大學舊金山分校的實驗室正在與世界各地的同事合作，使這項技術足夠安全、穩定、可靠，并且可以在家里日常使用。我們也在努力改進系統的性能，所以這是值得的。

01

神經修復術是如何工作的

第一個版本的腦機接口讓志愿者掌握了50個實用單詞。加州大學舊金山分校

神經修復術在過去的20年里取得了長足的進展。用于聽覺的假體植入物已經發展得最遠了，它們的設計與內耳的耳蝸神經連接，或直接進入聽覺腦干。還有大量關于視網膜和大腦植入視覺的研究，以及讓義手患者獲得觸覺的工作。所有這些感覺義肢從外界獲取信息，并將其轉化為電信號，輸入大腦的處理中心。

相反，神經假體記錄大腦的電活動，并將其轉換為控制外界事物的信號，如機械臂、視頻游戲控制器或電腦屏幕上的光標。最后一種控制方式已經被一些團體使用，比如“大腦之門”(BrainGate)聯盟，使癱瘓的人能夠打字--有時一次一個字母，有時使用自動補全功能來加快打字過程。

為了實現用大腦打字的功能，通常要在大腦中控制運動的部分--運動皮層中植入傳感器。然后，用戶想象某些物理動作來控制在虛擬鍵盤上移動的光標。另一種方法是我的一些合作者在2021年的一篇論文中率先提出的，他讓一名用戶想象自己拿著筆在紙上寫字，在運動皮層中產生信號，然后將這些信號翻譯成文本。這種方法創造了速度的新紀錄，使志愿者每分鐘能寫大約18個單詞。

在我們實驗室的研究中，我們采取了一種更雄心勃勃的方法。我們不是解碼用戶移動光標或鋼筆的意圖，而是解碼控制聲道的意圖，聲道由數十塊控制喉頭(通常稱為喉頭)、舌頭和嘴唇的肌肉組成。

這個看似簡單的對話設置是由復雜的神經技術硬件和解碼他的大腦信號的機器學習系統實現的。加州大學舊金山分校

我在十多年前就開始在這個領域工作了。作為一名神經外科醫生，我經常看到一些嚴重受傷、無法說話的病人。令我驚訝的是，在許多情況下，大腦損傷的位置與我在醫學院學到的綜合癥并不匹配，我意識到關于語言是如何在大腦中處理的，我們還有很多要學習。我決定研究語言的基礎神經生物學，如果可能的話，開發一種腦機接口(BMI)，為失去交流能力的人恢復交流。除了我的神經外科背景，我的團隊還擁有語言學、電子工程、計算機科學、生物工程和醫學方面的專業知識。我們正在進行的臨床試驗是測試硬件和軟件，以探索我們的BMI的極限，并確定我們可以恢復什么樣的語音。

02

說話的肌肉:與說話有關的肌肉

語言是區分人類的行為之一。許多其他物種也會發聲，但只有人類以無數種不同的方式組合一組聲音來代表他們周圍的世界。這也是一種非常復雜的運動動作--一些專家認為這是人類最復雜的運動動作。說話是通過聲道調節氣流的產物；每一次發聲，我們都通過在喉聲帶中產生可聽到的振動，改變嘴唇、下巴和舌頭的形狀來塑造呼吸。

聲道的許多肌肉與以關節為基礎的肌肉(如手臂和腿部的肌肉)完全不同，后者只能以幾種規定的方式運動。例如，控制嘴唇的肌肉是括約肌，而組成舌頭的肌肉更多的是由液壓控制的--舌頭主要由固定體積的肌肉組織組成，所以移動舌頭的一部分會改變其他地方的形狀?？刂七@種肌肉運動的物理原理與肱二頭肌或腿筋完全不同。

因為有這么多的肌肉參與其中，而且每一塊都有這么多的自由度，本質上有無限多的可能的構型。但當人們說話時，他們使用的核心動作相對較少(在不同的語言中有些不同)。例如，當說英語的人發“d”音時，他們會把舌頭放在牙齒后面;當他們發“k”音時，他們的舌頭后部會向上觸及口腔后部的天花板。很少有人意識到說最簡單的單詞需要精確、復雜和協調的肌肉動作。

團隊成員大衛·摩西(David Moses)看著病人的腦電波讀數(左屏)和解碼系統的活動顯示(右屏)。加州大學舊金山分校

我的研究小組專注于大腦運動皮層的部分，這些部分向面部、喉嚨、口腔和舌頭的肌肉發送運動指令。這些大腦區域是一心多用的:它們控制產生語言的肌肉運動，也控制吞咽、微笑和接吻的肌肉運動。

要用有效的方法研究這些區域的神經活動，既需要毫米量級的空間分辨率，也需要毫秒量級的時間分辨率。歷史上，非侵入性成像系統只能提供其中一種，而不能同時提供兩者。當我們開始這項研究時，我們發現很少有數據表明大腦活動模式如何與言語中最簡單的成分(音素和音節)相關聯。

在此，我們非常感謝參與研究的志愿者。在加州大學舊金山分校癲癇中心，準備手術的患者通常會在他們的大腦表面放置幾天的電極，這樣我們就可以在他們癲癇發作時繪制出相關的區域。在接線中斷的那幾天里，許多患者自愿參加神經學研究實驗，利用他們大腦中的電極記錄。我的小組讓我們研究他們說話時的神經活動模式。

所涉及的硬件稱為皮層電描記術(ECoG)。ECoG系統中的電極不穿透大腦，而是位于大腦表面。我們的陣列可以包含幾百個電極傳感器，每個電極傳感器記錄數千個神經元。到目前為止，我們使用的數組有256個通道。我們早期研究的目標是發現人們說簡單音節時皮質活動的模式。我們要求志愿者說出特定的聲音和單詞，同時記錄他們的神經模式，跟蹤他們舌頭和嘴巴的運動。有時我們會讓他們涂上彩色的面部顏料，然后用計算機視覺系統提取運動學手勢；其他時候，我們使用放置在患者頜骨下的超聲波機來成像他們移動的舌頭。

該系統首先將一個柔性電極陣列覆蓋在患者的大腦上，以接收來自運動皮層的信號。該陣列專門捕捉針對患者聲道的運動指令。固定在頭骨上的一個端口引導連接到計算機系統的電線，計算機系統將大腦信號解碼，并將它們翻譯成患者想要說的話。然后他的答案會出現在顯示屏上。Chris Philpot

我們用這些系統將神經模式與聲道的運動相匹配。一開始我們對神經信號解碼有很多疑問。一種可能是，神經活動為特定的肌肉編碼了方向，大腦本質上控制這些肌肉，就像按鍵盤上的鍵一樣。另一個想法是，編碼決定了肌肉收縮的速度。還有一種是，神經活動與肌肉收縮的協調模式相一致，肌肉收縮用于產生某種聲音。(例如，發出“aaah”的聲音時，舌頭和下巴都需要下垂。)我們發現，有一個控制聲道不同部分的表征圖，不同的大腦區域以協調的方式結合在一起，產生流暢的講話。

03

人工智能在當今神經科技中的作用

我們的工作依賴于人工智能在過去十年中的進步。我們可以將收集到的關于神經活動和語音運動學的數據輸入到神經網絡中，然后讓機器學習算法在兩個數據集之間的關聯中尋找模式。在神經活動和生成的語音之間建立聯系是可能的，并使用這個模型生成計算機生成的語音或文本。但這種技術無法訓練針對癱瘓患者的算法，因為我們缺少一半的數據：我們有神經活動模式，但沒有相應的肌肉運動。

我們意識到，使用機器學習更聰明的方法是把問題分解成兩個步驟。首先，解碼器將來自大腦的信號翻譯成聲道肌肉的預期動作，然后將這些預期動作翻譯成合成的語音或文本。

我們稱之為仿生學方法，因為它復制了生物學；在人體中，神經活動直接負責聲道的運動，只間接負責聲音的產生。這種方法的一大優勢在于訓練解碼器，以完成將肌肉運動翻譯成聲音的第二步。因為聲道運動和聲音之間的關系是相當普遍的，我們能夠訓練解碼器從大的數據集，從沒有癱瘓的人。

04

一個測試語言神經假體的臨床試驗

下一個巨大的挑戰是將這項技術帶給真正能從中受益的人。

美國國立衛生研究院(NIH)正在資助我們從2021年開始的試點試驗。我們已經有兩名植入了ECoG陣列的癱瘓志愿者，我們希望在未來幾年有更多志愿者加入進來。我們的主要目標是提高他們的溝通能力，我們用每分鐘的字數來衡量他們的表現。一個成年人在全鍵盤上打字的平均速度是每分鐘40個單詞，最快的打字者的速度達到每分鐘80多個單詞。

Edward Chang在神經外科實踐中遇到的病人啟發了他開發一種大腦語音系統。BarbaraRies

我們認為接入語音系統可以提供更好的結果。人類說話比打字快得多：一個說英語的人一分鐘可以輕松說出150個單詞。我們想讓癱瘓的人以每分鐘100字的速度交流。為了實現這一目標，我們還有很多工作要做，但我們認為我們的方法使它成為一個可行的目標。

植入手術是常規的。首先，外科醫生切除一小部分頭骨；接下來，靈活的ECoG陣列被輕輕地放置在皮質表面。然后將一個小端口固定在頭骨上，并通過頭皮上的一個單獨的開口出口。我們目前需要這個連接到外部電線的端口來傳輸來自電極的數據，但我們希望在未來使該系統成為無線的。

我們也考慮過使用穿透微電極，因為它們可以記錄更小的神經群體，因此可能提供更多關于神經活動的細節。但在臨床應用方面，目前的硬件并不像ECoG那樣健壯和安全，特別是多年來。

另一個需要考慮的問題是，穿透電極通常需要每天重新校準，才能將神經信號轉化為清晰的指令。對神經設備的研究表明，設置速度和性能可靠性是讓人們使用該技術的關鍵。這就是為什么我們在創建長期使用的“即插即用”系統時優先考慮穩定性。我們進行了一項研究，觀察志愿者的神經信號隨時間的變化，發現解碼器在使用多個會話和多個天的數據模式時表現更好。用機器學習的術語來說，我們說解碼器的“權重”被保留下來，形成了統一的神經信號。

因為當我們觀察癱瘓的志愿者的大腦模式時，他們不能說話，我們讓第一位志愿者嘗試兩種不同的方法。他首先列出了50個日常生活中很方便的單詞，比如“餓了”、“渴了”、“請”、“幫助”和“電腦”。在幾個月的48個療程中，我們有時讓他想象說出清單上的每一個單詞，有時讓他明顯地試著說出來。我們發現，嘗試說話會產生更清晰的大腦信號，足以訓練解碼算法。然后，志愿者可以使用列表中的這些單詞生成他自己選擇的句子，比如“不，我不渴?！?/p>

我們現在正在努力擴大詞匯量。要做到這一點，我們需要繼續改進當前的算法和接口，但我相信這些改進將在未來幾個月或幾年發生。既然已經建立了原理證明，那么目標就是優化。我們可以專注于使我們的系統更快、更準確，最重要的是更安全、更可靠?，F在事情應該進展得很快。

如果我們能更好地理解我們試圖解碼的大腦系統，以及癱瘓如何改變它們的活動，可能最大的突破就會到來。我們已經意識到，無法向聲道肌肉發送指令的癱瘓患者的神經活動模式與能夠向聲道肌肉發送指令的癲癇患者的神經活動模式是非常不同的。我們正在嘗試BMI工程的一項雄心勃勃的壯舉，而對于潛在的神經科學，我們還有很多需要了解的地方。我們相信我們所在的一切都會讓我們的病人恢復他們的聲音。

審核編輯 ：李倩