傳感器內(nèi)（In-sensor）計(jì)算可能會(huì)成為在小型設(shè)備（例如可穿戴醫(yī)療設(shè)備和物聯(lián)網(wǎng)設(shè)備）中部署機(jī)器學(xué)習(xí)（machine learning）的全新方法，這些設(shè)備必須在有限的能源資源下安全運(yùn)行。該領(lǐng)域的進(jìn)展已經(jīng)放緩，因?yàn)殡y以找到使用物理自由度操作的合適計(jì)算設(shè)備，該物理自由度可以直接耦合到執(zhí)行傳感的自由度。

據(jù)麥姆斯咨詢(xún)報(bào)道，近日，加拿大舍布魯克大學(xué)（Université de Sherbrooke）和拉瓦爾大學(xué)（Université Laval）的研究人員組成的團(tuán)隊(duì)在Communications Engineering期刊上發(fā)表了題為“In-sensor human gait analysis with machine learning in a wearable microfabricated accelerometer”的論文，利用儲(chǔ)層計(jì)算（reservoir computing）作為自然架構(gòu)，對(duì)物理系統(tǒng)的自由度進(jìn)行機(jī)器學(xué)習(xí)，以表明微機(jī)電系統(tǒng)（MEMS）可以通過(guò)耦合懸浮微結(jié)構(gòu)的位移來(lái)實(shí)現(xiàn)計(jì)算和加速度傳感。這項(xiàng)研究提出了一個(gè)可以附著在腳上實(shí)時(shí)識(shí)別人類(lèi)受試者的步態(tài)模式的可穿戴系統(tǒng)。研究人員將該傳感器內(nèi)計(jì)算系統(tǒng)的計(jì)算效率和功耗與具有單獨(dú)傳感器和數(shù)字計(jì)算機(jī)的傳統(tǒng)系統(tǒng)進(jìn)行了比較。在計(jì)算能力相似的情況下，高度集成的傳感器內(nèi)計(jì)算設(shè)備有望獲得更好的能效，從而為機(jī)器學(xué)習(xí)在邊緣計(jì)算設(shè)備中的普遍部署提供了一條途徑。

具有傳感和可訓(xùn)練計(jì)算能力的MEMS設(shè)備

研究人員使用在機(jī)械域同時(shí)執(zhí)行傳感和計(jì)算的MEMS加速度計(jì)來(lái)解決人類(lèi)步態(tài)分類(lèi)任務(wù)（圖1a-1c）。機(jī)械儲(chǔ)層計(jì)算機(jī)是利用兩端固支的薄硅梁的動(dòng)態(tài)非線性來(lái)實(shí)現(xiàn)的，這與之前描述的器件類(lèi)似。當(dāng)微梁由足夠大的振蕩?kù)o電力驅(qū)動(dòng)時(shí)，其振蕩振幅表現(xiàn)出復(fù)雜的非線性動(dòng)力學(xué)（圖2a和2b），以用于儲(chǔ)層計(jì)算。固支梁上的驅(qū)動(dòng)靜電力是通過(guò)懸掛一個(gè)基準(zhǔn)質(zhì)量塊施加的，當(dāng)對(duì)器件施加加速度時(shí)，該質(zhì)量塊會(huì)移動(dòng)（圖1a和2d）。驅(qū)動(dòng)力的振幅隨基準(zhǔn)質(zhì)量塊與微梁平衡位置之間距離的變化而變化，系統(tǒng)參數(shù)的選擇使微梁振蕩的振幅成為基準(zhǔn)質(zhì)量塊位置（因此也是加速度，見(jiàn)圖1b）的復(fù)雜非線性函數(shù)。為了增加從微梁的振幅響應(yīng)中生成的信號(hào)的復(fù)雜性，研究人員采用了一種反饋技術(shù)，即使用時(shí)分復(fù)用技術(shù)創(chuàng)建多個(gè)不同的虛擬響應(yīng)，每個(gè)響應(yīng)都是加速度的不同非線性函數(shù)。虛擬響應(yīng)通過(guò)傳統(tǒng)電子器件進(jìn)行定時(shí)采樣，以在每個(gè)時(shí)間間隔生成“激活值”向量。最后，傳統(tǒng)微控制器會(huì)在每個(gè)時(shí)間間隔計(jì)算該向量與訓(xùn)練過(guò)的權(quán)重向量之間的標(biāo)量乘積，從而得出步態(tài)類(lèi)型的輸出分類(lèi)（圖1b）。

圖1 MEMS步態(tài)分析系統(tǒng)概述

圖2 MEMS步態(tài)分析系統(tǒng)的機(jī)械響應(yīng)

人體步態(tài)的傳感器內(nèi)識(shí)別

通過(guò)將一個(gè)MEMS設(shè)備安裝在左腳上，研究人員將傳感器內(nèi)計(jì)算應(yīng)用于檢測(cè)四種不同的步態(tài)模式（N、TO、TL、TOTL）。這些步態(tài)模式的自動(dòng)識(shí)別具有臨床意義，因?yàn)樗梢酝ㄟ^(guò)使用實(shí)時(shí)生物反饋進(jìn)行步態(tài)再訓(xùn)練來(lái)用于治療某些肌肉骨骼疾病，例如膝骨關(guān)節(jié)炎。雖然步態(tài)模式識(shí)別可以在配備3D運(yùn)動(dòng)捕捉系統(tǒng)或使用多個(gè)慣性測(cè)量單元（IMU）的實(shí)驗(yàn)室中進(jìn)行，但由于本研究的目標(biāo)是開(kāi)發(fā)最簡(jiǎn)單、成本最低、最不具干擾性的可穿戴設(shè)備，因此研究人員只使用了一個(gè)MEMS加速度計(jì)，這增加了任務(wù)的難度。

在這項(xiàng)研究中，十名健康受試者按照指示在跑步機(jī)上行走，同時(shí)在左腳鞋上安裝MEMS步態(tài)分析系統(tǒng)，并交替使用四種步態(tài)模式。

分類(lèi)性能是通過(guò)計(jì)算受試者工作特征曲線（ROC）的曲線下面積（AUC）的平均值來(lái)評(píng)估的，該平均值是在四個(gè)分割上計(jì)算得出的（AUC為0.5相當(dāng)于隨機(jī)分類(lèi)器，而AUC為1.0相當(dāng)于完美分類(lèi)器）。ROC曲線示例見(jiàn)圖1c，MEMS步態(tài)分析系統(tǒng)性能表征見(jiàn)圖3。

圖3 傳感器內(nèi)步態(tài)分類(lèi)的性能

可穿戴設(shè)備的傳感器內(nèi)計(jì)算

為了產(chǎn)生相關(guān)的技術(shù)影響，傳感器內(nèi)計(jì)算設(shè)備需要在執(zhí)行復(fù)雜計(jì)算時(shí)具有泛化能力，即它們必須能夠抵御訓(xùn)練期間未見(jiàn)的輸入變化以及一定程度的噪聲。這種魯棒性是神經(jīng)形態(tài)計(jì)算技術(shù)（包括儲(chǔ)層計(jì)算）的標(biāo)志。此外，這些技術(shù)通常可以對(duì)傳感器系統(tǒng)中的非線性進(jìn)行建模，因此即使使用非理想傳感器，它們也能表現(xiàn)良好。這可以用來(lái)降低許多傳感器的設(shè)計(jì)要求，從而有可能降低其制造或校準(zhǔn)成本。

本研究的原型設(shè)備作為純傳感器的性能（圖2d）與MEMS加速度計(jì)的最先進(jìn)水平相去甚遠(yuǎn)，在400 Hz帶寬內(nèi)其靈敏度介于0.05 V/g到 0.1 V/g之間，還存在一些帶內(nèi)諧振和其他問(wèn)題。盡管如此，微梁儲(chǔ)層計(jì)算機(jī)能夠?qū)W習(xí)這些性能限制，并對(duì)步態(tài)模式進(jìn)行分類(lèi)，其效果與基于商用加速度計(jì)數(shù)據(jù)運(yùn)行的神經(jīng)網(wǎng)絡(luò)相媲美。圖3a顯示了MEMS步態(tài)分析系統(tǒng)與使用商用加速度計(jì)和在微處理器上執(zhí)行的軟件ESN構(gòu)建的傳統(tǒng)系統(tǒng)的分類(lèi)性能的比較。從中可以看出，MEMS設(shè)備和ESN都學(xué)習(xí)了受試者和速度之間的可變性，以實(shí)現(xiàn)相似的分類(lèi)性能，并且比線性分類(lèi)器表現(xiàn)更好。

綜上所述，這項(xiàng)研究描述了一種既是加速度傳感器又是神經(jīng)形態(tài)計(jì)算機(jī)的設(shè)備，它通過(guò)懸浮微結(jié)構(gòu)的位移在機(jī)械域執(zhí)行傳感和非線性計(jì)算功能。研究表明，這種可穿戴設(shè)備成功地實(shí)現(xiàn)了傳感器內(nèi)計(jì)算的概念，僅利用一只腳測(cè)得的加速度，就能完成識(shí)別人體步態(tài)的艱巨任務(wù)。該設(shè)備能夠成功演示的最重要特性是其計(jì)算能力（線性分類(lèi)器無(wú)法解決步態(tài)分類(lèi)任務(wù)）、對(duì)數(shù)據(jù)變化和非理想傳感器行為的魯棒性、小尺寸和低功耗。這些特性是將傳感和神經(jīng)形態(tài)計(jì)算功能集成到單個(gè)設(shè)備中的天然優(yōu)勢(shì)。傳感器內(nèi)計(jì)算的另一個(gè)好處是，傳感器數(shù)據(jù)永遠(yuǎn)不會(huì)離開(kāi)設(shè)備，也不會(huì)實(shí)際轉(zhuǎn)換到電子或數(shù)字域，從而提供了高級(jí)別的隱私保護(hù)，這對(duì)于醫(yī)療設(shè)備尤為重要。

這些對(duì)醫(yī)療設(shè)備非常重要的優(yōu)勢(shì)對(duì)于物聯(lián)網(wǎng)應(yīng)用中的邊緣計(jì)算設(shè)備來(lái)說(shuō)也是非常理想的。在這些應(yīng)用中，傳感器內(nèi)計(jì)算可以進(jìn)一步大幅減少邊緣傳感器傳輸?shù)臄?shù)據(jù)量，從信號(hào)的Nyquist頻率下的全（壓縮）帶寬降低到信號(hào)中相關(guān)特征的識(shí)別速率。除了能緩解物聯(lián)網(wǎng)應(yīng)用中典型的數(shù)據(jù)擁塞問(wèn)題外，還能大大延長(zhǎng)邊緣傳感器的電池壽命，從而促進(jìn)其在現(xiàn)場(chǎng)的大規(guī)模部署。總之，通過(guò)在機(jī)械域直接執(zhí)行傳感和神經(jīng)形態(tài)計(jì)算功能，本研究所提出的單個(gè)MEMS步態(tài)分析設(shè)備能夠解決復(fù)雜的現(xiàn)實(shí)世界任務(wù)，這可被視為在新興的可穿戴醫(yī)療設(shè)備和物聯(lián)網(wǎng)應(yīng)用中廣泛部署傳感器和機(jī)器學(xué)習(xí)能力的一個(gè)重要里程碑。

論文鏈接：
https://doi.org/10.1038/s44172-024-00193-5

審核編輯：劉清