關聯回顧

（原創）全圖說機器人的發展歷史

（原創）全圖說機器學習技術的發展歷史

（原創）全圖說機器人倫理的發展歷史

（原創）波士頓動力的Atlas最近又亮瞎了雙眼

本文翻譯自《IEEE Spectrum》2023年1月29日的文章《Robotics want to give you a third arm——Unused bandwidth in neurons can be tapped to control extra limbs》

達里奧·法里納（Dario Farina）

IEEE 院士，擔任神經康復工程主席，并且是倫敦帝國理工學院生物工程系的教授。他的研究重點是生物信號處理和建模、運動的神經控制和神經康復技術。

艾蒂安·伯德（Etienne Burdet）

倫敦帝國理工學院人類機器人學教授。他使用神經科學和機器人學的綜合方法來研究人類感覺運動控制，并為日常生活技術和神經康復設計高效的界面。

卡斯滕·梅林（Carsten Mehring）

德國弗萊堡大學的神經生物學和神經技術教授。他的研究結合了實驗和理論方法來研究電機控制和腦機接口。

海梅·伊巴內斯（Jaime Ibá?ez）

西班牙薩拉戈薩大學的拉蒙·卡哈爾高級研究員。他還在倫敦帝國理工學院擔任名譽研究員。的研究重點是研究的大腦-脊髓雙向傳輸的運動神經活動。

如果給你第三只手，你想用來干什么呢？想象一下：一位外科醫生正在進行一項精細的手術，需要她的專業知識和穩定的雙手。當她的兩只手正在進行手術時，附在她身上的第三只機械臂起到輔助的作用。或者想象一位建筑工人，他需要焊接一個沉重的橫梁，但是另外一只手的力量不夠撐住那根橫梁，需要額外的機械臂的輔助。再大膽想象一下，佩戴一個可以讓你能同時處理多個物體的外骨骼，比如《蜘蛛俠》電影里的章魚博士。或者想一想作曲家可以為有第三/第四只手彈奏的鋼琴家寫的曲子。

我們認為，額外的機器人肢體完全可以成為一種新的人類增強形式，可以提高人類執行任務的能力，并擴展人類做一些無法用自然人體承擔的任務和執行的動作。如果人類可以輕松地添加和控制第三條手臂、第三條腿或更多的手指，那么人類同樣可以想到五花八門的超出本文提到的應用場景，做出嘆為觀止的動作，完成我們之前無法想象的任務。

近幾十年來，機器人肢體取得了長足的進步，其中一些已經被人們用來增強自身的能力。大多數是通過操縱桿或其他手持控器操作的。例如，生產線上的工人就是這樣使用機械肢體來固定和操縱產品組件的。同樣，執行機器人手術的外科醫生坐在患者對面的控制臺前。雖然手術機器人可能有四只手臂，末端裝有不同的工具，但外科醫生的雙手一次只能控制其中的兩只機械臂。我們能否賦予這些外科醫生同時控制手術機器人四只手臂的能力呢？

截肢或癱瘓的人也可以使用機器人肢體。這包括坐在電動輪椅上的人用輪椅上的操縱桿控制機械臂，以及那些失去肢體的人通過剩余肌肉的動作控制假肢。但真正的神經控制假肢目前仍十分罕見。

最先體驗腦控假肢的人是患有四肢癱瘓的病患，他們往往從頸部以下都癱瘓了。其中一些癱瘓人士大膽地自愿參加大腦植入物的臨床試驗，使他們能夠僅通過意念來控制機械肢體，發出心理指令，使機械臂將飲料舉到他們的唇邊，或幫助他們完成日常生活中的其他簡單任務。這些系統屬于腦機接口 (BMI) 的范疇。也有志愿者使用 BMI 技術來控制計算機屏幕上的光標，使他們能夠鍵入消息、瀏覽網頁等等。但這些 BMI 系統中的大多數都需要進行腦部開顱手術才能植入神經芯片或者傳感器，并且往往需要安裝從頭骨突出的硬件，因此這種方案目前還僅適合在實驗室中使用。

人體的增強可以被認為具有三個層次。第一級增加了現有的特征，例如，動力外骨骼可以 賦予佩戴者超強的力量。第二層賦予人新的自由度，例如移動第三只手臂或第六根手指的能力，但要付出代價——例如，如果額外的附件由腳踏板控制，則用戶會犧牲腳的正常活動性來操作控制系統。第三級增強技術是技術上最不成熟的，它為用戶提供了額外的自由度，而不會剝奪任何其他身體部位的活動能力。這樣的系統將允許人們通過利用一些未使用的神經信號來控制機器人肢體，仿佛這些機器人肢體真的長在人體身上，和其他肢體能夠靈活地配合。這就是我們本次研究探索的方向。

人體增強第三個層次也許可以通過侵入性 BMI 植入物來實現，但腦部手術的代價很高，也存在巨大的風險，如果讓這個層次的人體增強得到更為廣泛的日常使用，需要一種非侵入性的方式來從顱骨外部獲取大腦指令。

對于許多研究小組來說，這意味著依賴久經考驗的腦電圖(編者注：electroencephalogram，縮寫為EEG) 技術，該技術使用頭皮電極來獲取大腦信號。我們的團隊正在研究這種方法，但我們也在探索另一種方法：使用肌肉產生的肌電圖(編者注：Electromyography，縮寫為EMG) 信號。我們花了十多年時間研究皮膚表面的 EMG 電極如何檢測來自肌肉的電信號，然后我們可以解碼這些電信號以揭示脊髓神經元發送的命令。

電信號是神經系統的語言。在整個大腦和周圍神經中，當特定電壓（幾十毫伏）在細胞內積聚并導致動作電位沿其軸突傳播，在與其他神經元的連接處或突觸處釋放神經遞質時，神經元會“放電” ，并可能觸發連接的神經元依次放電。當這種電脈沖由脊髓中的運動神經元產生時，它們沿著軸突行進，一直到達目標肌肉，在那里它們穿過特殊的突觸到達單個肌肉纖維并引起肌肉收縮。我們可以記錄并解碼這些包含用戶意圖的電信號，并將它們用于各種控制目的。

神經元信號是如何被解碼的呢？參見上圖，訓練模塊 [橙色] 獲取由電極陣列 [左] 讀取的初始批次 EMG 信號，確定如何提取單個神經元的信號，并將該過程在數學上總結為分離矩陣和其他參數。借助這些工具，實時解碼模塊 [綠色] 可以從持續不斷的 EMG 信號流中有效地提取單個神經元的尖峰序列 [右]。

然而，根據皮膚表面 EMG 讀取的內容來破譯單個神經信號并不是一項簡單的任務。典型的肌肉運動會接收來自成百上千個脊髓神經元的信號。此外，每個軸突在肌肉處分支，并可能與分布在整個肌肉中的一百個或更多單獨的肌肉纖維相連。皮膚表面 EMG 電極采集到的信號包含這些復雜的雜音脈沖。

二十年前的一項發現給非侵入性神經接口帶來了技術突破。這種技術可以通過高密度 EMG 采樣方式破解神經元信號。方法是將數十到數百個電極固定在皮膚上，以檢測到從脊柱中單個運動神經元發送出來的指令信號。而在這項發現之前，獲取這種信息需要通過侵入式肌肉或神經電極才行。2017 年，我們與截肢者合作，展示了這種使用高密度 EMG 的方法有可能用于改善對假肢的控制。我們將高密度皮膚電極放在多個位置上以提供良好的采樣，以達到識別和解碼參與運動的絕大部分脊髓運動神經元的信號活動。而現在，我們已經做到可以實時進行采樣和解碼，這意味著基于脊髓信號的無創 BMI 系統開發將成為現實。

系統當前版本由兩部分組成：訓練模塊和實時解碼模塊。首先，將高密度EMG 電極網格（編者注：High Definition electromyography，縮寫為HD-sEMG）貼在皮膚上，用戶進行輕微的肌肉收縮，然后我們將記錄的 EMG 信號輸入訓練模塊。該模塊執行識別構成 EMG 信號的單個運動神經元脈沖（也稱為尖峰脈沖）的艱巨任務。該模塊分析 EMG 信號和推斷的神經尖峰信號之間的關系，并將其總結為一組參數，然后將這些參數導入到數學公式中，將 EMG 信號轉化為來自單個神經元的尖峰信號序列。

有了這些參數，解碼模塊就可以獲取新的 EMG 信號并實時提取單個運動神經元的活動。訓練模塊需要大量計算，這種計算太慢的話，就沒有辦法執行實時控制，但每次將 EMG 電極網格固定在用戶身上時，通常只需運行一次。相比之下，解碼算法非常高效，延遲很低，只有幾毫秒，這意味著完全可以支持獨立的可穿戴 BMI 系統。通過將其結果與插入用戶肌肉的侵入性 EMG 電極同時獲得的信號進行比較，驗證了非侵入EMG系統的準確性。

開發這種從脊髓運動神經元中提取信號的實時方法是我們目前控制額外機器人肢體工作的關鍵。在研究這些神經信號時，我們注意到它們實際上具有額外的帶寬。信號的低頻部分（低于約 7 赫茲）被轉換為肌肉力量，但信號也有較高頻率的成分，例如 13 至 30 赫茲的 β 波段，這些成分太高而無法控制肌肉，似乎也沒有被使用。我們不知道為什么脊髓神經元會發送這些高頻率信號。或許，頻率冗余可能是一種為防范新的條件變化的緩沖策略。不管是什么原因，人類進化出了一套神經系統，從脊髓發出的信號要比控制肌肉所需的信息豐富得多。

這一發現讓我們開始思考是否可以用額外頻率來做點兒什么。特別是，我們想知道是否可以獲取這些無關的神經信息并用它來控制機器人肢體。但我們不知道人們是否能夠自主控制這部分信號，與他們用來控制肌肉的信號分開。為了找到答案，我們設計了一個實驗。

實驗環境搭建很簡單，但所涉及的神經機制和算法很復雜。每個志愿者都坐在屏幕前，我們在他們的腿上放置了一個 EMG 系統，在一個 4 x 10 厘米的貼片中有 64 個電極貼在脛骨前肌上方的皮膚上，在收縮時使腳向上彎曲。脛骨一直是我們實驗的主力軍：它占據了靠近皮膚的大面積區域，并且它的肌纖維沿著腿部排列，這使得它非常適合解碼支配它的脊髓運動神經元的活動。

志愿者們被要求收縮脛骨，為了讓其基本保持緊張狀態，并志愿者們用腳支撐地面以防止運動。我們觀察了整個實驗過程中提取的神經信號中的變化。并將這些信號分成控制肌肉收縮的低頻和 20 Hz 左右的額外頻率，然后設計這兩個分量分別與計算機屏幕上光標的水平和垂直控制相關聯。最后，要求志愿者嘗試在屏幕上移動光標到屏幕上指定的位置。但我們實在是無法向志愿者解釋清楚到底怎么做到這一點，他們不得不依靠光標位置的視覺反饋，讓大腦弄明白應該如何移動它。

但出乎意料的是，這些志愿者，在不知道自己怎么做的情況下，既然能夠在幾分鐘內完成任務，將光標在屏幕上快速移動，盡管移動過程中抖動很厲害。從一個神經命令信號開始——收縮脛骨前肌——他們正在學習開發第二個信號來控制計算機光標的垂直運動，獨立于肌肉控制（它指導光標的水平運動）。人類在尋找與自然運動任務分開的神經控制通道方面竟然如此輕松地邁出了重要的第一步，這確實讓人興奮不已。

但我們也必須清醒地意識到，這種控制對于實際使用來說還是太有限了。下一步的研究應該是如何更準確地獲取神經元信號，以及人們是否可以使用它們來控制機器人肢體的同時，還能進行獨立的其他肢體的自然運動。

另外，到底大腦是如何運作的來實現控制光標運動這樣的壯舉的，這一點也讓我們非常好奇。在最近一項使用光標任務的研究中，我們要求志愿者同時帶上EEG，使用腦電圖來實時查看用戶大腦中發生的情況，特別是在與自主控制運動相關的區域。結果不出所料，到達肌肉的額外 β 波段神經信號發生的變化與大腦的類似波段變化密切相關。如前所述，β 神經信號仍然是一個謎，因為它們在控制肌肉方面沒有發揮已知作用，甚至不清楚它們起源于何處。研究結果表明，志愿者正在學習調節大腦活動產生 β 信號并發送到肌肉區域。這一發現，將幫助我們揭開β 信號背后的潛在機理的面紗。

用于全身和多感官（視覺、音頻、觸覺）交互的多肢虛擬環境 (MUVE) 是倫敦帝國理工學院實驗室開發的一個獨特的系統，可以在動態虛擬環境中與手臂、腿和額外的機器人肢體進行物理交互。MUVE 結合了 (i) 先進的基于跑步機的虛擬現實運動套件，以及 (ii) 兩個功能強大的機器人接口，可以與手臂進行平穩而有力的交互，(iii) 多達四個輕型可穿戴機器人手臂，用于運動增強，以及 (iv)來自倫敦帝國理工學院實驗室的專用感覺運動接口，包括儀器化對象、軟傳感器和外骨骼、高級假肢、高密度 EMG 和非侵入性神經接口。所有這些元素都同步并集成在一個系統中。

與此同時，倫敦帝國理工學院構建了一套系統來測試這些帶有額外機器人肢體的新技術，稱之為多肢體虛擬環境，或 MUVE。MUVE 將使用戶能夠在虛擬現實模擬的場景中使用多達四個輕型可穿戴機械臂。該系統計劃開放給全球其他研究人員使用。

接下來，我們會進一步測試用這種β 波控制技術來操控機械臂或者其他的人體增強額外硬件設備。這也是我們的目標。真正的挑戰不是連接硬件，而是如何識別足夠準確的多個控制源，以便對機器人身體部位執行復雜且精確的動作。

我們還會研究該技術將如何影響使用它的人的神經過程。例如，如果某人有六個月使用額外機械臂的經驗，他的神經系統會發生什么變化？大腦的天然可塑性是否能讓他們適應并獲得更直觀的控制能力？一個天生有六個手指的人可能擁有發育完全的大腦區域致力于控制額外的手指，從而產生非凡的操縱能力。人們針對額外的機械臂能否隨著時間的推移發展出類似的靈活性？我們還想知道控制額外的肢體會涉及多少認知負荷。如果人們只有在實驗室環境中全神貫注時才能引導這樣的肢體，那么這項技術可能就沒有什么用了。然而，如果用戶在做三明治等日常工作時可以隨便多用一只手，那就意味著該技術適合日常使用。

第六指是一種可穿戴的額外機器手指，希望給慢性中風患者使用，以補償其麻痹肢體缺失的手部功能。患者可以通過肌電圖 (EMG) 接口控制機械手指的彎曲/伸展。

其他研究小組正在研究具有不同類型控制機制的類似神經科學問題。意大利錫耶納大學的 多梅尼科·普拉蒂奇佐（Domenico Prattichizzo） 及其同事展示了一種腕戴式軟機器人第六指。它使手因中風而變得虛弱的用戶能夠安全地抓握物體。用戶戴上帶有 EMG 電極的帽子，并通過揚起眉毛向手指發送命令。

額外機器人肢體SRL（Supernumerary Robotic Limbs）由四部分構成：首先，它配備了一個安全帶，與人體形成一個舒適而牢固的界面。背帶固定在機器人底座上，底座貼合用戶臀部的形狀，并包含控制電子設備和儲能單元。最后，兩個機器人肢體——每個具有三個自由度——連接到底座。

淺田晴彥（Harry Asada） 在麻省理工學院的團隊也對多種類型的額外機器人肢體進行了試驗，包括一種可穿戴套裝，該套裝使用 EMG來檢測軀干中的肌肉活動以控制額外的肢體。

其他小組正在試驗涉及基于頭皮的腦電圖或神經植入物的控制機制。運動增強還處于早期階段，世界各地的研究人員才剛剛開始解決這個新興領域的最基本問題。

兩個實際問題需要首先確認：1. 我們能否在自然運動的同時實現對額外機器人肢體的神經控制？2. 系統是否可以在沒有用戶專心的情況下工作？如果這兩個問題中的任何一個的答案是否定的，我們就不會有實用的技術，但我們仍然會有一個有趣的新工具來研究運動控制的神經科學。如果這兩個問題的答案都是肯定的，那么我們可能已經準備好進入人類增強的新時代。現在是到了祝我們好運的時候了（cross the fingers）。