眼機(jī)交互界面(Eye-machine interface, EMI)作為沉浸式人機(jī)交互的重要一環(huán),已被應(yīng)用于VR/AR、自動(dòng)駕駛、腦機(jī)接口、生物醫(yī)學(xué)等領(lǐng)域。但現(xiàn)有EMI傳感硬件正在尺寸、重量、功耗(SWaP)及生物兼容性上面臨瓶頸,而新型功能材料正通過(guò)柔性透明設(shè)計(jì)、多模態(tài)傳感和集成策略,推動(dòng)傳感器向小型化、低功耗和高性能發(fā)展。鑒于此,北京理工大學(xué)沈國(guó)震、王卓然團(tuán)隊(duì)基于現(xiàn)有研究基礎(chǔ),面向眼動(dòng)追蹤、生物醫(yī)療 、視覺(jué)恢復(fù)等EMI應(yīng)用,聚焦傳感器件原理、新型材料、研究前沿及其未來(lái)發(fā)展方向,開(kāi)展了深入討論(圖1),
圖1. 用于眼機(jī)交互界面的可穿戴與仿生傳感器前沿硬件技術(shù)概述
1. 眼機(jī)交互界面技術(shù)
眼動(dòng)追蹤可用于混合現(xiàn)實(shí)、人機(jī)交互、心理學(xué)研究與醫(yī)療輔助、教育培訓(xùn)等多個(gè)領(lǐng)域,在常見(jiàn)的眼動(dòng)追蹤方法中,眼電圖(EOG)測(cè)量帶負(fù)電的視網(wǎng)膜和帶正電的角膜間的電位差變化,鞏膜搜索線圈(SSC)獲取眼部線圈在磁場(chǎng)中移動(dòng)時(shí)產(chǎn)生的電流,視頻眼動(dòng)分析(VOG)基于圖像傳感器和算法處理瞳孔或角膜反射的圖像,眼動(dòng)追蹤硬件通過(guò)電、磁、光等不同信號(hào)實(shí)現(xiàn)了眼睛位置的確定。
眼部生理信息檢測(cè)可以反饋人體的健康狀況,隱形眼鏡形式的傳感器有助于優(yōu)化日常健康監(jiān)測(cè)體驗(yàn),視網(wǎng)膜電圖(ERG)測(cè)量角膜對(duì)于光刺激的電位變化,眼內(nèi)壓(IOP)通過(guò)微型應(yīng)變傳感器測(cè)量眼內(nèi)壓對(duì)眼球曲率帶來(lái)的變化,熱響應(yīng)材料、葡萄糖反應(yīng)材料和pH敏感材料則通過(guò)電化學(xué)或光學(xué)方法,分別反映了眼部溫度(OST)、葡萄糖水平和pH值,實(shí)現(xiàn)了青光眼、干眼癥、糖尿病等多種疾病的檢測(cè)。
視網(wǎng)膜假體及仿生眼則有望幫助眼部疾病更嚴(yán)重的患者重獲光明,視網(wǎng)膜修復(fù)術(shù)通過(guò)對(duì)視覺(jué)產(chǎn)生過(guò)程中的不同部位進(jìn)行電刺激,以生成視覺(jué)感知,目前有表層植入、下層植入、超脈絡(luò)膜植入三種方法,各方法在分辨率和植入難易程度上各有優(yōu)劣;而仿生眼則是直接模仿生物眼睛的形態(tài)和功能,以實(shí)現(xiàn)圖像從視覺(jué)傳感到信息處理的全過(guò)程。
圖2. 視網(wǎng)膜假體與仿生眼原理與結(jié)構(gòu)
2.傳感材料前沿
材料是EMI傳感硬件的核心,決定了傳感器的電學(xué)、光學(xué)和化學(xué)特性,與人體之間的無(wú)縫集成還對(duì)材料的柔性和透明性提出了要求。硅等常用于半導(dǎo)體的無(wú)機(jī)材料是剛性的,在直接減薄方法外,還可以通過(guò)設(shè)計(jì)預(yù)應(yīng)變的波浪、構(gòu)造橋-島結(jié)構(gòu)、采取剪紙或折紙工藝使材料以獲得原本不具有的可拉伸性;有機(jī)材料則大多天然柔性,常用的有并五苯和C60等小分子材料,以及PEDOT:PSS和P3HT等高分子聚合物,通過(guò)圖案印刷工藝和先進(jìn)封裝實(shí)現(xiàn)了廣泛應(yīng)用。
低維材料通過(guò)尺寸減小可實(shí)現(xiàn)不規(guī)則表面貼合與柔性化,同時(shí)材料尺寸的減小提供了更多的活性位點(diǎn),增強(qiáng)了光學(xué)與電學(xué)性能,使其對(duì)刺激的響應(yīng)更加迅速;膠體量子點(diǎn)(CQD)具有強(qiáng)的量子和介電約束,因此電學(xué)和光學(xué)性質(zhì)可調(diào),便捷且兼容傳統(tǒng)工藝的加工方法使得其可以與其他材料混合以增強(qiáng)性能,同時(shí)能有效與CMOS單片集成,從而實(shí)現(xiàn)具有增強(qiáng)光電功能的可穿戴應(yīng)用。
3. 研究前沿
眼動(dòng)追蹤傳感器。在光電眼動(dòng)追蹤傳感器中,基于紅外的VOG是主流技術(shù),但目前的商業(yè)產(chǎn)品仍需在框架上安裝額外儀器,石墨烯和CQD等以紅外敏感、環(huán)保、透明度高、ROIC兼容等特點(diǎn)成為有競(jìng)爭(zhēng)力的替代材料;也可利用稀疏光電探測(cè)器替代圖像傳感器,以犧牲精度的代價(jià)獲取了低功耗、系統(tǒng)簡(jiǎn)化和隱私保護(hù);還可以通過(guò)超表面的光學(xué)設(shè)計(jì)實(shí)現(xiàn)光場(chǎng)解耦,以同時(shí)實(shí)現(xiàn)眼動(dòng)追蹤和真實(shí)世界觀察的功能,助力眼動(dòng)追蹤系統(tǒng)簡(jiǎn)化。
EOG相比VOG具有不受睫毛或眼瞼遮擋影響的優(yōu)勢(shì),傳統(tǒng)的電極材料接觸阻抗高、佩戴體驗(yàn)差,因而碳納米管/PDMS、銀納米顆粒/PI等納米復(fù)合材料和水凝膠被用來(lái)構(gòu)建可穿戴電極,以獲得更好的皮膚共性。還有研究通過(guò)機(jī)械傳感進(jìn)行眼動(dòng)追蹤,如使用GaN、ZnO壓電薄膜構(gòu)建壓電納米發(fā)電機(jī),獲取眼球運(yùn)動(dòng)時(shí)的壓電電勢(shì);通過(guò)Ag納米線與眼睛的非接觸靜電感應(yīng)制作摩擦納米發(fā)電機(jī),實(shí)現(xiàn)自供能傳感。各種技術(shù)方法在設(shè)備形式、傳感機(jī)制和技術(shù)狀態(tài)上各有優(yōu)劣,但都在朝著優(yōu)化尺寸、功耗、性能的方向發(fā)展(圖3)。
圖3. 可穿戴眼動(dòng)追蹤研究進(jìn)展
智能隱形眼鏡式傳感器。診斷治療智能隱形眼鏡能夠?qū)崿F(xiàn)連續(xù)、長(zhǎng)期的眼部健康監(jiān)測(cè),對(duì)基于EMI的生物醫(yī)學(xué)和醫(yī)療保健應(yīng)用至關(guān)重要(圖4)。傳統(tǒng)ERG傳感器使用了剛性電極帶來(lái)了不適感,而墨水直寫的石墨烯電極實(shí)現(xiàn)了透明、透氧、可濕潤(rùn)、生物相容等特性;通過(guò)抑制葡萄糖氧化酶和過(guò)氧化氫酶,葡萄糖的氧化過(guò)程將在晶體管中產(chǎn)生電流,以助力糖尿病無(wú)感監(jiān)測(cè)。
面對(duì)放大讀出等附加電路的障礙,IOP傳感器可利用LC電路將機(jī)械形變轉(zhuǎn)換為諧振頻率偏移,或?qū)?yīng)變轉(zhuǎn)化為微流體位移,使用手機(jī)進(jìn)行光學(xué)識(shí)別;淚液溫度可使用熱致變色的熒烷染料,pH值通過(guò)溴麝香草酚藍(lán)和甲基紅等pH敏感材料,反饋在外在顏色的變化,通過(guò)攝像頭進(jìn)行比色識(shí)別。在醫(yī)療應(yīng)用平臺(tái)中,藥物輸送也不可或缺,通過(guò)無(wú)線功率傳輸電路驅(qū)動(dòng)抗青光眼藥物角膜給藥、利用pH變化時(shí)包裹藥物的聚合物鏈的斷裂實(shí)現(xiàn)按需釋放藥物以避免過(guò)度用藥帶來(lái)的副作用。
圖4. 面向健康監(jiān)測(cè)的智能隱形眼鏡式傳感器研究進(jìn)展
視覺(jué)恢復(fù)與仿生眼。視網(wǎng)膜假體中,自供電集成光伏器件已成為主要選擇,其可以提供足夠的刺激電壓以引起神經(jīng)反應(yīng),PEDOT:PSS,P3HT,PCBM等柔性材料可作為光伏假體的下表面以優(yōu)化佩戴體驗(yàn);還有部分系統(tǒng)通過(guò)外部相機(jī)捕獲視覺(jué)信息,無(wú)線傳輸至植入的電極陣列,這些方案對(duì)神經(jīng)編碼匹配、刺激電極的生物相容性及高密度刺激提出了需求。
另一方面,受生物模擬生物視覺(jué)系統(tǒng)的形態(tài)和功能啟發(fā),前沿研究直接采用半球形的光電二極管構(gòu)建仿生眼結(jié)構(gòu)。例如,在半球形多孔陽(yáng)極氧化鋁中填充生長(zhǎng)鈣鈦礦納米線陣列,更精確的模仿了視網(wǎng)膜細(xì)胞的形態(tài)。但僅僅是人眼形狀的傳感器距離仿生眼的設(shè)想還很遙遠(yuǎn),其缺乏信息傳輸及解碼處理的步驟,需要腦機(jī)接口技術(shù)的參與。
近年來(lái),在生物啟發(fā)下,研究前沿實(shí)現(xiàn)了多種具有特殊功能的仿生傳感器。例如,通過(guò)模擬復(fù)眼結(jié)構(gòu)實(shí)現(xiàn)了寬視場(chǎng)角,低像差和近乎無(wú)限的景深;使用狹縫瞳孔和金屬反射層以模擬貓眼結(jié)構(gòu),在過(guò)濾冗余信息的同時(shí)易于檢測(cè)不同照明下的遮擋物體;受鳥類眼睛的中央凹啟發(fā),實(shí)現(xiàn)了多光譜成像能力;利用熱敏聚合物納米線陣列實(shí)現(xiàn)室溫中長(zhǎng)波紅外成像,獲得了與蛇類似的紅外感知能力。
圖4. 植入式視網(wǎng)膜假體傳感器研究進(jìn)展
4. 總結(jié)與展望
眼機(jī)交互界面是智能物聯(lián)網(wǎng)(AIoT)時(shí)代的關(guān)鍵技術(shù),在可穿戴與仿生傳感領(lǐng)域取得了關(guān)鍵進(jìn)展,帶動(dòng)了相關(guān)產(chǎn)業(yè)與研究前沿的高速發(fā)展。下一代的傳感器硬件旨在突破SWaP3優(yōu)化的極限,構(gòu)建高效能、多功能、智能化的系統(tǒng)應(yīng)用架構(gòu)。本文從三方面分析闡述了實(shí)現(xiàn)新一代EMI傳感器的技術(shù)路徑:
柔性透明形態(tài)設(shè)計(jì)。非平面的柔性設(shè)計(jì)可以提供更廣的視場(chǎng)角和更低的光學(xué)畸變,簡(jiǎn)化EMI系統(tǒng)并提高性能,目前通過(guò)不規(guī)則基板噴墨打印、平面制造后切割折疊、電子紡織品等途徑實(shí)現(xiàn);透明度是EMI應(yīng)用的另一個(gè)關(guān)鍵因素,能幫助提升設(shè)備的普適性和美觀性,達(dá)成該指標(biāo)的主要策略有半導(dǎo)體減薄、微孔陣列透光窗口和光譜選擇性設(shè)計(jì)。
傳感計(jì)算一體化架構(gòu)。傳統(tǒng)馮諾依曼架構(gòu)需要傳輸大量無(wú)關(guān)數(shù)據(jù),導(dǎo)致了延遲、功耗高和低效率,神經(jīng)形態(tài)傳感器通過(guò)模擬生物神經(jīng)系統(tǒng),可以在傳感器級(jí)別進(jìn)行預(yù)處理,簡(jiǎn)化系統(tǒng)架構(gòu)并提高能效,如超線性光響應(yīng)可增強(qiáng)強(qiáng)光敏感,抑制背景噪聲;短期光電流累計(jì)器件能在單幀中編碼空間和時(shí)間信息;電導(dǎo)可調(diào)器件能實(shí)現(xiàn)低水平數(shù)據(jù)過(guò)濾,僅記錄長(zhǎng)時(shí)間的強(qiáng)刺激,還具有執(zhí)行神經(jīng)網(wǎng)絡(luò)等更高級(jí)功能的潛力。
神經(jīng)形態(tài)通信方法。EMI的最終愿景是將傳感硬件與大腦間實(shí)現(xiàn)無(wú)縫通信,特別是假肢和仿生設(shè)備。不同于基于CMOS的機(jī)器視覺(jué)技術(shù),在生物視覺(jué)系統(tǒng)中,光感受器接收光刺激并向突觸釋放神經(jīng)遞質(zhì),如果神經(jīng)節(jié)神經(jīng)元接收到的神經(jīng)遞質(zhì)信號(hào)足夠大,就會(huì)觸發(fā)類似尖峰的動(dòng)作電位,通過(guò)模仿生物神經(jīng)系統(tǒng)的動(dòng)作電位,可以實(shí)現(xiàn)更高效的通信。不斷涌現(xiàn)的器件物理學(xué)成果正在為小型化、低功耗、高性能視網(wǎng)膜修復(fù)術(shù)及腦接口仿生眼提供重要途徑。
審核編輯 黃宇
-
傳感器
+關(guān)注
關(guān)注
2564文章
52706瀏覽量
764635 -
智能傳感
+關(guān)注
關(guān)注
1文章
115瀏覽量
16903
發(fā)布評(píng)論請(qǐng)先 登錄
北京理工大學(xué)采購(gòu)南京大展的高溫差示掃描量熱儀

中軟國(guó)際助力北京理工大學(xué)珠海校區(qū)展開(kāi)科研創(chuàng)新
天合光能與新加坡南洋理工大學(xué)簽約技術(shù)合作
北京理工大學(xué)在量子顯微成像方面取得重要進(jìn)展,實(shí)現(xiàn)量子全息顯微

上汽集團(tuán)與北京理工大學(xué)達(dá)成戰(zhàn)略合作
當(dāng)北京理工大學(xué)方程式車隊(duì)BITFSD遇上瑞蘇盈科FPGA核心板

都靈理工大學(xué)校長(zhǎng)一行再訪SPEA

從新加坡到深圳:南洋理工大學(xué)(NTU)與VoiceAI的深度對(duì)話

OPPO與香港理工大學(xué)深化合作,升級(jí)聯(lián)合創(chuàng)新研究中心
玻色量子與北京理工大學(xué)達(dá)成量子云計(jì)算合作
傳音控股旗下TECNO與南洋理工大學(xué)ACRC達(dá)成戰(zhàn)略合作
安徽理工大學(xué)校長(zhǎng)袁亮院士走訪調(diào)研達(dá)實(shí)智能
北京理工大學(xué)第九屆“迪文優(yōu)秀教師獎(jiǎng)”評(píng)審會(huì)順利召開(kāi)

華東理工大學(xué)選購(gòu)我司差示掃描量熱儀和導(dǎo)熱系數(shù)測(cè)試儀

同星智能贊助北京理工大學(xué)路特斯無(wú)人駕駛方程式賽車隊(duì)(BITFSD)

評(píng)論