根據(jù)《孤獨(dú)癥教育康復(fù)行業(yè)發(fā)展?fàn)顩r報(bào)告》，在全世界范圍內(nèi)每 54 個(gè)兒童就有一個(gè)兒童患有自閉癥譜系障礙，目前中國的自閉癥譜系障礙患者已經(jīng)超過了 1300萬，并且這個(gè)數(shù)量以每年近20萬的速度增長。

我們通過調(diào)研發(fā)現(xiàn)我國關(guān)于自閉癥譜系障礙方面的確診缺乏統(tǒng)一的診斷標(biāo)準(zhǔn)，各大醫(yī)院與醫(yī)療機(jī)構(gòu)的主流診斷方案還是依托于量表等工具，誤診率高。但目前在確診方面缺乏科學(xué)精準(zhǔn)的檢測儀器，導(dǎo)致被確診為自閉癥的患者平均年齡為4到5歲，遠(yuǎn)遠(yuǎn)滯后于18到24個(gè)月的最佳早期篩查診斷時(shí)機(jī)，使得患兒錯(cuò)過最佳康復(fù)治療期。

我們團(tuán)隊(duì)基于以上痛點(diǎn)，以兒童說話聲音作為原始數(shù)據(jù)，利用深度學(xué)習(xí)訓(xùn)練出的高精度模型對比分析自閉癥譜系障礙兒童和正常兒童在聲學(xué)特征上的差異，使用音頻分析技術(shù)提取聲學(xué)特征參數(shù)進(jìn)行分析，基于潤和大禹DAYU200從聲學(xué)角度指導(dǎo)醫(yī)生對待測兒童進(jìn)行早期篩查，可將自閉癥患者實(shí)際篩查確診年齡提前至1到2歲，讓自閉癥譜系障礙兒童能極早地得到確診，從而能夠盡早進(jìn)行干預(yù)治療，最大限度地減少天生發(fā)育障礙對患者及整個(gè)家庭的影響。

本項(xiàng)目通過神經(jīng)網(wǎng)絡(luò)和音頻分析技術(shù)提取自閉癥譜系障礙兒童的聲學(xué)特征參數(shù)進(jìn)行分析，篩選出最具有代表性的聲學(xué)特征和分類識別性能最優(yōu)的模型，從聲學(xué)角度輔助醫(yī)生對自閉癥譜系障礙兒童進(jìn)行早期診斷，并設(shè)計(jì)機(jī)器學(xué)習(xí)模型進(jìn)行分類。構(gòu)建模型，最終網(wǎng)絡(luò)的準(zhǔn)確性達(dá)到 93.8%。醫(yī)生可在DAYU200端、網(wǎng)頁Web端、桌面exe程序端、手機(jī)端鴻蒙APP查看結(jié)果，預(yù)測出自閉癥譜系障礙準(zhǔn)確率超過 70%，推薦可能患有自閉癥譜系障礙孩子接受干預(yù)訓(xùn)練，避免錯(cuò)過最佳干預(yù)期。

3.1 開發(fā)技術(shù)設(shè)計(jì)框架

3.2音頻數(shù)據(jù)采集

項(xiàng)目的音頻數(shù)據(jù)采集模塊主要由三部分組成，分別是揚(yáng)聲器、三麥克風(fēng)陣列數(shù)字信號處理器和Esp32-Korvo音頻開發(fā)板。并通過回聲消除算法、語音增強(qiáng)算法、降噪算法和音頻自動(dòng)增益算法收集音頻數(shù)據(jù)，以此來保證受測者的音頻數(shù)據(jù)質(zhì)量。并通過藍(lán)牙或WLAN傳輸音頻數(shù)據(jù)至云服務(wù)器進(jìn)行下一步處理。在內(nèi)部布局上，通過精確測量開發(fā)板、揚(yáng)聲器、可充電電池的尺寸，合理規(guī)劃設(shè)計(jì)了內(nèi)部零件的位置，精準(zhǔn)建模預(yù)留內(nèi)部空間。效果圖如下：

3.3音頻數(shù)據(jù)預(yù)處理

我們將數(shù)據(jù)采集模塊得到的音頻數(shù)據(jù)上傳至我們的華為云服務(wù)器上，利用利用我們自主開發(fā)的降噪算法對收集到的聲音進(jìn)行二次降噪，除去高斯噪聲、白噪聲等等的一 些噪音，然后利用 OpenSmile 提取聲學(xué)特征，得到的處理過后的數(shù)據(jù)會(huì)進(jìn)行 Librosa 庫繪制MFCC 圖像。

首先在音頻轉(zhuǎn)圖像之前，通過 Berouti 譜減法對采樣的自閉癥患者語音中自帶的加性噪聲（背景噪聲）得到噪聲的頻譜信息，并將其從頻率空間中減去。同時(shí)為了避免提取困難，采用預(yù)加重技術(shù)將預(yù)加重濾波器加在原始音頻上，強(qiáng)化高頻部分，再通過分幀加窗使分析對象的信號變化不會(huì)突然消失。接著將連續(xù)的模擬信號轉(zhuǎn)化為數(shù)字信號，通過快速傅里葉變化對分幀加窗后的各幀信號進(jìn)行快速傅里葉變換得到各幀的頻譜。并對語音信號的頻譜取模平方得到語音信號的功率譜。接著利用三角帶通濾波器對頻譜進(jìn)行平滑化，并消除諧波的作用，突顯原先語音的共振峰。因此一段語音的音調(diào)或音高，是不會(huì)呈現(xiàn)在梅爾倒譜系數(shù)內(nèi)。換言之，以梅爾倒譜系數(shù)為特征的聲學(xué)特征濾波識別診斷系統(tǒng)，并不會(huì)受到輸入語音的音調(diào)不同而有所影響。此外，還可以降低運(yùn)算量。

最后，經(jīng)離散余弦變換（DCT）得到 MFCC 系數(shù)。

音頻轉(zhuǎn)圖像具體流程展示圖如下：

提取聲學(xué)特征并繪制出的 MFCC 圖像如下：

3.4圖像數(shù)據(jù)分析

在深度學(xué)習(xí)模型預(yù)測程序中預(yù)測待測者自閉癥譜系障礙的患病概率，采用CNN卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像識別，包含4個(gè)卷積層和3個(gè)全連接層，每個(gè)卷積層后面有一個(gè)LeakyRelu (激活函數(shù))增強(qiáng)非線性，每兩個(gè)卷積層分別緊跟一個(gè)最大值池化層縮小特征圖組成一個(gè)卷積組模塊，卷積層的輸出通道數(shù)按順序分別是64, 32, 128, 64，卷積層的輸出特征圖進(jìn)入全連接層前平鋪成向量，然后進(jìn)入三個(gè)線性變換層逐層降低向量的維度，每個(gè)線性變換緊跟一個(gè)Dropout層防止過擬合，線性變換的輸出長度分別是128, 64, 1，最后輸出的一維向量用于二分類，輸出自閉癥譜系障礙兒童的概率和正常兒童的概率。基于深度神經(jīng)網(wǎng)絡(luò)的算法，通過計(jì)算機(jī)較強(qiáng)的學(xué)習(xí)能力來學(xué)習(xí)自閉癥患者與正常人的聲學(xué)特征，以此達(dá)到對自閉癥患者語音數(shù)據(jù)的有效識別。

• DevEco Studio for OpenHarmony3.0.0.900

• OpenHarmony版本：3.1_Release

• 開發(fā)板：DAYU200