眼機交互界面(Eye-machine interface, EMI)作為沉浸式人機交互的重要一環(huán),已被應(yīng)用于VR/AR、自動駕駛、腦機接口、生物醫(yī)學(xué)等領(lǐng)域。但現(xiàn)有EMI傳感硬件正在尺寸、重量、功耗(SWaP)及生物兼容性上面臨瓶頸,而新型功能材料正通過柔性透明設(shè)計、多模態(tài)傳感和集成策略,推動傳感器向小型化、低功耗和高性能發(fā)展。鑒于此,北京理工大學(xué)沈國震、王卓然團隊基于現(xiàn)有研究基礎(chǔ),面向眼動追蹤、生物醫(yī)療 、視覺恢復(fù)等EMI應(yīng)用,聚焦傳感器件原理、新型材料、研究前沿及其未來發(fā)展方向,開展了深入討論(圖1),
圖1. 用于眼機交互界面的可穿戴與仿生傳感器前沿硬件技術(shù)概述
1. 眼機交互界面技術(shù)
眼動追蹤可用于混合現(xiàn)實、人機交互、心理學(xué)研究與醫(yī)療輔助、教育培訓(xùn)等多個領(lǐng)域,在常見的眼動追蹤方法中,眼電圖(EOG)測量帶負電的視網(wǎng)膜和帶正電的角膜間的電位差變化,鞏膜搜索線圈(SSC)獲取眼部線圈在磁場中移動時產(chǎn)生的電流,視頻眼動分析(VOG)基于圖像傳感器和算法處理瞳孔或角膜反射的圖像,眼動追蹤硬件通過電、磁、光等不同信號實現(xiàn)了眼睛位置的確定。
眼部生理信息檢測可以反饋人體的健康狀況,隱形眼鏡形式的傳感器有助于優(yōu)化日常健康監(jiān)測體驗,視網(wǎng)膜電圖(ERG)測量角膜對于光刺激的電位變化,眼內(nèi)壓(IOP)通過微型應(yīng)變傳感器測量眼內(nèi)壓對眼球曲率帶來的變化,熱響應(yīng)材料、葡萄糖反應(yīng)材料和pH敏感材料則通過電化學(xué)或光學(xué)方法,分別反映了眼部溫度(OST)、葡萄糖水平和pH值,實現(xiàn)了青光眼、干眼癥、糖尿病等多種疾病的檢測。
視網(wǎng)膜假體及仿生眼則有望幫助眼部疾病更嚴重的患者重獲光明,視網(wǎng)膜修復(fù)術(shù)通過對視覺產(chǎn)生過程中的不同部位進行電刺激,以生成視覺感知,目前有表層植入、下層植入、超脈絡(luò)膜植入三種方法,各方法在分辨率和植入難易程度上各有優(yōu)劣;而仿生眼則是直接模仿生物眼睛的形態(tài)和功能,以實現(xiàn)圖像從視覺傳感到信息處理的全過程。
圖2. 視網(wǎng)膜假體與仿生眼原理與結(jié)構(gòu)
2.傳感材料前沿
材料是EMI傳感硬件的核心,決定了傳感器的電學(xué)、光學(xué)和化學(xué)特性,與人體之間的無縫集成還對材料的柔性和透明性提出了要求。硅等常用于半導(dǎo)體的無機材料是剛性的,在直接減薄方法外,還可以通過設(shè)計預(yù)應(yīng)變的波浪、構(gòu)造橋-島結(jié)構(gòu)、采取剪紙或折紙工藝使材料以獲得原本不具有的可拉伸性;有機材料則大多天然柔性,常用的有并五苯和C60等小分子材料,以及PEDOT:PSS和P3HT等高分子聚合物,通過圖案印刷工藝和先進封裝實現(xiàn)了廣泛應(yīng)用。
低維材料通過尺寸減小可實現(xiàn)不規(guī)則表面貼合與柔性化,同時材料尺寸的減小提供了更多的活性位點,增強了光學(xué)與電學(xué)性能,使其對刺激的響應(yīng)更加迅速;膠體量子點(CQD)具有強的量子和介電約束,因此電學(xué)和光學(xué)性質(zhì)可調(diào),便捷且兼容傳統(tǒng)工藝的加工方法使得其可以與其他材料混合以增強性能,同時能有效與CMOS單片集成,從而實現(xiàn)具有增強光電功能的可穿戴應(yīng)用。
3. 研究前沿
眼動追蹤傳感器。在光電眼動追蹤傳感器中,基于紅外的VOG是主流技術(shù),但目前的商業(yè)產(chǎn)品仍需在框架上安裝額外儀器,石墨烯和CQD等以紅外敏感、環(huán)保、透明度高、ROIC兼容等特點成為有競爭力的替代材料;也可利用稀疏光電探測器替代圖像傳感器,以犧牲精度的代價獲取了低功耗、系統(tǒng)簡化和隱私保護;還可以通過超表面的光學(xué)設(shè)計實現(xiàn)光場解耦,以同時實現(xiàn)眼動追蹤和真實世界觀察的功能,助力眼動追蹤系統(tǒng)簡化。
EOG相比VOG具有不受睫毛或眼瞼遮擋影響的優(yōu)勢,傳統(tǒng)的電極材料接觸阻抗高、佩戴體驗差,因而碳納米管/PDMS、銀納米顆粒/PI等納米復(fù)合材料和水凝膠被用來構(gòu)建可穿戴電極,以獲得更好的皮膚共性。還有研究通過機械傳感進行眼動追蹤,如使用GaN、ZnO壓電薄膜構(gòu)建壓電納米發(fā)電機,獲取眼球運動時的壓電電勢;通過Ag納米線與眼睛的非接觸靜電感應(yīng)制作摩擦納米發(fā)電機,實現(xiàn)自供能傳感。各種技術(shù)方法在設(shè)備形式、傳感機制和技術(shù)狀態(tài)上各有優(yōu)劣,但都在朝著優(yōu)化尺寸、功耗、性能的方向發(fā)展(圖3)。
圖3. 可穿戴眼動追蹤研究進展
智能隱形眼鏡式傳感器。診斷治療智能隱形眼鏡能夠?qū)崿F(xiàn)連續(xù)、長期的眼部健康監(jiān)測,對基于EMI的生物醫(yī)學(xué)和醫(yī)療保健應(yīng)用至關(guān)重要(圖4)。傳統(tǒng)ERG傳感器使用了剛性電極帶來了不適感,而墨水直寫的石墨烯電極實現(xiàn)了透明、透氧、可濕潤、生物相容等特性;通過抑制葡萄糖氧化酶和過氧化氫酶,葡萄糖的氧化過程將在晶體管中產(chǎn)生電流,以助力糖尿病無感監(jiān)測。
面對放大讀出等附加電路的障礙,IOP傳感器可利用LC電路將機械形變轉(zhuǎn)換為諧振頻率偏移,或?qū)?yīng)變轉(zhuǎn)化為微流體位移,使用手機進行光學(xué)識別;淚液溫度可使用熱致變色的熒烷染料,pH值通過溴麝香草酚藍和甲基紅等pH敏感材料,反饋在外在顏色的變化,通過攝像頭進行比色識別。在醫(yī)療應(yīng)用平臺中,藥物輸送也不可或缺,通過無線功率傳輸電路驅(qū)動抗青光眼藥物角膜給藥、利用pH變化時包裹藥物的聚合物鏈的斷裂實現(xiàn)按需釋放藥物以避免過度用藥帶來的副作用。
圖4. 面向健康監(jiān)測的智能隱形眼鏡式傳感器研究進展
視覺恢復(fù)與仿生眼。視網(wǎng)膜假體中,自供電集成光伏器件已成為主要選擇,其可以提供足夠的刺激電壓以引起神經(jīng)反應(yīng),PEDOT:PSS,P3HT,PCBM等柔性材料可作為光伏假體的下表面以優(yōu)化佩戴體驗;還有部分系統(tǒng)通過外部相機捕獲視覺信息,無線傳輸至植入的電極陣列,這些方案對神經(jīng)編碼匹配、刺激電極的生物相容性及高密度刺激提出了需求。
另一方面,受生物模擬生物視覺系統(tǒng)的形態(tài)和功能啟發(fā),前沿研究直接采用半球形的光電二極管構(gòu)建仿生眼結(jié)構(gòu)。例如,在半球形多孔陽極氧化鋁中填充生長鈣鈦礦納米線陣列,更精確的模仿了視網(wǎng)膜細胞的形態(tài)。但僅僅是人眼形狀的傳感器距離仿生眼的設(shè)想還很遙遠,其缺乏信息傳輸及解碼處理的步驟,需要腦機接口技術(shù)的參與。
近年來,在生物啟發(fā)下,研究前沿實現(xiàn)了多種具有特殊功能的仿生傳感器。例如,通過模擬復(fù)眼結(jié)構(gòu)實現(xiàn)了寬視場角,低像差和近乎無限的景深;使用狹縫瞳孔和金屬反射層以模擬貓眼結(jié)構(gòu),在過濾冗余信息的同時易于檢測不同照明下的遮擋物體;受鳥類眼睛的中央凹啟發(fā),實現(xiàn)了多光譜成像能力;利用熱敏聚合物納米線陣列實現(xiàn)室溫中長波紅外成像,獲得了與蛇類似的紅外感知能力。
圖4. 植入式視網(wǎng)膜假體傳感器研究進展
4. 總結(jié)與展望
眼機交互界面是智能物聯(lián)網(wǎng)(AIoT)時代的關(guān)鍵技術(shù),在可穿戴與仿生傳感領(lǐng)域取得了關(guān)鍵進展,帶動了相關(guān)產(chǎn)業(yè)與研究前沿的高速發(fā)展。下一代的傳感器硬件旨在突破SWaP3優(yōu)化的極限,構(gòu)建高效能、多功能、智能化的系統(tǒng)應(yīng)用架構(gòu)。本文從三方面分析闡述了實現(xiàn)新一代EMI傳感器的技術(shù)路徑:
柔性透明形態(tài)設(shè)計。非平面的柔性設(shè)計可以提供更廣的視場角和更低的光學(xué)畸變,簡化EMI系統(tǒng)并提高性能,目前通過不規(guī)則基板噴墨打印、平面制造后切割折疊、電子紡織品等途徑實現(xiàn);透明度是EMI應(yīng)用的另一個關(guān)鍵因素,能幫助提升設(shè)備的普適性和美觀性,達成該指標的主要策略有半導(dǎo)體減薄、微孔陣列透光窗口和光譜選擇性設(shè)計。
傳感計算一體化架構(gòu)。傳統(tǒng)馮諾依曼架構(gòu)需要傳輸大量無關(guān)數(shù)據(jù),導(dǎo)致了延遲、功耗高和低效率,神經(jīng)形態(tài)傳感器通過模擬生物神經(jīng)系統(tǒng),可以在傳感器級別進行預(yù)處理,簡化系統(tǒng)架構(gòu)并提高能效,如超線性光響應(yīng)可增強強光敏感,抑制背景噪聲;短期光電流累計器件能在單幀中編碼空間和時間信息;電導(dǎo)可調(diào)器件能實現(xiàn)低水平數(shù)據(jù)過濾,僅記錄長時間的強刺激,還具有執(zhí)行神經(jīng)網(wǎng)絡(luò)等更高級功能的潛力。
神經(jīng)形態(tài)通信方法。EMI的最終愿景是將傳感硬件與大腦間實現(xiàn)無縫通信,特別是假肢和仿生設(shè)備。不同于基于CMOS的機器視覺技術(shù),在生物視覺系統(tǒng)中,光感受器接收光刺激并向突觸釋放神經(jīng)遞質(zhì),如果神經(jīng)節(jié)神經(jīng)元接收到的神經(jīng)遞質(zhì)信號足夠大,就會觸發(fā)類似尖峰的動作電位,通過模仿生物神經(jīng)系統(tǒng)的動作電位,可以實現(xiàn)更高效的通信。不斷涌現(xiàn)的器件物理學(xué)成果正在為小型化、低功耗、高性能視網(wǎng)膜修復(fù)術(shù)及腦接口仿生眼提供重要途徑。
審核編輯 黃宇
-
傳感器
+關(guān)注
關(guān)注
2561文章
52198瀏覽量
761756 -
智能傳感
+關(guān)注
關(guān)注
1文章
111瀏覽量
16823
發(fā)布評論請先 登錄
相關(guān)推薦
中軟國際助力北京理工大學(xué)珠海校區(qū)展開科研創(chuàng)新
天合光能與新加坡南洋理工大學(xué)簽約技術(shù)合作
北京理工大學(xué)在量子顯微成像方面取得重要進展,實現(xiàn)量子全息顯微

上汽集團與北京理工大學(xué)達成戰(zhàn)略合作
當北京理工大學(xué)方程式車隊BITFSD遇上瑞蘇盈科FPGA核心板

從新加坡到深圳:南洋理工大學(xué)(NTU)與VoiceAI的深度對話

OPPO與香港理工大學(xué)深化合作,升級聯(lián)合創(chuàng)新研究中心
玻色量子與北京理工大學(xué)達成量子云計算合作
傳音控股旗下TECNO與南洋理工大學(xué)ACRC達成戰(zhàn)略合作
安徽理工大學(xué)校長袁亮院士走訪調(diào)研達實智能
北京理工大學(xué)第九屆“迪文優(yōu)秀教師獎”評審會順利召開

同星智能贊助北京理工大學(xué)路特斯無人駕駛方程式賽車隊(BITFSD)

同星智能贊北京理工大學(xué)東風(fēng)日產(chǎn)方程式賽車隊(BITFSAE)

感謝浙江理工大學(xué)對我司導(dǎo)熱系數(shù)測試儀認可

中山聯(lián)合光電:精密光學(xué)實驗室簽約落地長春理工大學(xué)中山研究院

評論