獲取用戶在虛擬屏幕上的文本輸入，需要克服兩個難題：首先是通過聲音判斷敲擊的位置；其次是消除噪音干擾。劍橋大學的研究人員設計了一個AI“偷聽”算法，可以通過監(jiān)聽手指敲擊屏幕的聲音竊取手機密碼。

盜取密碼，只要聽聽你敲鍵盤的聲音就夠了。

曾經(jīng)，通過鍵盤記錄程序來盜取密碼就已經(jīng)非常可怕了；然而，現(xiàn)在更駭人聽聞的黑科技誕生了！

劍橋大學的研究人員設計了一個AI“偷聽”算法，只需要通過監(jiān)聽手指敲擊屏幕的聲音，就能夠竊取到手機密碼：

論文地址：

https://arxiv.org/pdf/1903.11137.pdf

這個新穎的攻擊方法的原理是將手指敲擊屏幕所產(chǎn)生的聲音，在虛擬鍵盤上恢復成對應的輸入字符。

論文作者表示：

敲擊屏幕的聲波可以通過設備的麥克風進行恢復，就像“聽到”了手指的觸摸一樣，虛擬屏幕上聲波的失真的這一特征便是敲擊鍵盤的位置。因此，只需要通過內(nèi)置麥克風錄下聲音，惡意程序就可以在用戶輸入時推斷出對應的字符。

實驗原理

針對鍵盤的聲學攻擊并不新鮮。

利用麥克風，根據(jù)鍵盤獨特的物理特性或缺陷來識別物理按鍵的方法已經(jīng)很成熟了，但是在虛擬鍵盤的識別上存在著很大的困難。因為虛擬鍵盤上的點擊發(fā)生在同一個表面上，需要通過一些特殊的方法來確定手指敲擊的位置。

劍橋大學的研究團隊開發(fā)了一款app，可以復原敲擊的聲音，并將其與擊鍵聯(lián)系起來。該程序使用的機器學習算法是離線訓練的，并針對特定的智能手機或平板電腦模型進行調整。

這個算法需要克服一個重大的工程挑戰(zhàn)在于：如何解釋敲擊時，指尖所產(chǎn)生的干擾振動。事實上，當用手指敲擊屏幕的時候，聲波不僅在空氣中傳播，更重要的是在設備本身之間傳播。敲擊會導致屏幕震動，而這種震動模式，可以被多麥克風捕獲并進行區(qū)分。

實際應用場景中，噪聲會極大的影響麥克風對敲擊聲的探測。為了解決這一問題，研究人員將反饋聲音與振動反饋進行交叉關聯(lián)，消除振動反饋的歧義，同時除去了振動數(shù)據(jù)。

結果顯示，對于平板電腦，在20次嘗試中回收了200個4位pin碼中的61%，即使模型沒有使用受害者的數(shù)據(jù)進行訓練；對于智能手機，恢復了9個大小為7-13個字母的單詞，在一個常見的側通道攻擊基準中嘗試了50次。

實驗設計

實驗設置

劍橋研究團隊開發(fā)了一個 Android 應用程序，參與者分別使用全鍵盤和9宮格數(shù)字鍵盤輸入單詞、任意數(shù)字或4位數(shù)字（PIN碼），橫屏或者豎屏都可以。該app應用程序通過內(nèi)置麥克風收集音頻。

9宮格數(shù)字鍵盤的尺寸和形態(tài)是固定的，因此只需要在智能手機上測試豎屏狀態(tài)下的數(shù)字輸入即可。而全鍵盤則需要在手機和平板上，對橫屏和豎屏狀態(tài)分別進行測試。

參與測試的志愿者在三個不同的地方完成了這項任務，分別是

公共休息室。背景中有人在聊天，偶爾會有一臺咖啡機做咖啡的吵聲

閱覽室。背景中人們要么在電腦上打字，要么用很輕的聲音說話

圖書館。都很安靜，但是附近的筆記本電腦持續(xù)發(fā)出咔噠咔噠的聲音

這三個地方都開著窗戶，因此室外的噪音也摻雜其中。

空氣中聲音的速度取決于溫度，因此數(shù)據(jù)只在白天室內(nèi)收集，溫度在22-25攝氏度之間。實驗設備關閉了所有運行中的其他app，只打開實驗用的app。

實驗使用的設備Nexus 5和Nexus 9，尺寸分別為137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。兩款設備都有兩個麥克風，擁有標準的采樣率。Nexus 5的主麥克風位于設備底部，副麥克風位于頂部。Nexus 9一個在底部，另一個在右側。兩臺設備均基于Android 5.1.1 Lollipop系統(tǒng)，該系統(tǒng)目前市場占有率約20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止對PIN輸入使用反饋機制，所以只對文本輸入進行了測試。值得注意的是：由于該方式比較新穎，缺乏標準的基準測試，讀者可以自行評估以下兩個結論：

對小型虛擬鍵盤的攻擊與對大型物理鍵盤的攻擊效果差不多

盡管面對噪音這一強干擾項，該方式仍然能夠獲得同使用其他探測器類似的效果

數(shù)據(jù)收集

實驗共有45名參與者，其中21位女性、24位男性；實驗共獲得30個小時的音頻數(shù)據(jù)。實驗分為4個部分：

第一組測試者每人隨機敲擊9宮格數(shù)字鍵盤10次，每次1個數(shù)字

第二組測試者每人敲擊9宮格鍵盤200次，每次4個數(shù)字

第三組測試者隨機敲擊全鍵盤上的字母

第四組測試者敲擊全鍵盤，輸入NPS聊天語料庫中的5個字母的單詞

表1所有字母和單詞輸入實驗的摘要

單個數(shù)字推斷

第一次嘗試進行單一數(shù)字分類時的訓練、測試和與主題無關(即LOSO)的準確性如表2所示。

表2Nexus 5智能手機的個位數(shù)分類精度

對于與主題無關的情況（LOSO），標準偏差更高。

在最壞的情況下，僅使用底部麥克風，預測數(shù)字會比隨機猜測略好；但在最好的情況下，幾乎一半的數(shù)字在第一次嘗試時被正確預測。 頂部麥克風的結果仍然較高，在最差情況下為兩倍，在最佳情況下為85％。 使用兩個麥克風，正確預測在最壞情況下比隨機猜測好3倍；和100％的數(shù)字在最好的情況下。

當一個數(shù)字預測不正確時，分類器會快速糾正它(根據(jù)分類器生成的預測的置信值對猜測進行排序)。例如，使用兩個麥克風(如上圖所示)，30%的錯誤預測在第一次嘗試后被修正，另外20%在第二次嘗試時被修正。固定的速度然后變得平緩。這意味著，在三次嘗試中，分類器正確地預測了80%以上的數(shù)字。

4位數(shù)字推斷

4位PIN的預測結果如下圖所示。

使用單個麥克風，10次嘗試后可以恢復54％的PIN。通和先前工作進行了比較發(fā)現(xiàn)，在很多情況下往往表現(xiàn)的更好，在其他方面也不輸給先前工作。例如，使用兩個麥克風，只需20次嘗試就可以恢復91/150個PIN碼，并不需要知道PIN碼的分布情況，也不需要知道后續(xù)點擊之間的時間間隔。

字母和單詞推斷

全鍵盤的預測結果，如表3所示。

表3單字符分類精度為26類

如果同時使用一個麥克風進行LOSO和測試，要比隨機猜測高出三倍。頂部麥克風捕獲的聲音，比來底部麥克風產(chǎn)生更好的效果。

實驗還發(fā)現(xiàn)，在手機上豎屏要比橫屏效果更好；而平板上則沒有太大區(qū)別。

實驗結果表明，依靠TrustZone等隔離機制來保護用戶輸入并不總是足夠的。

移動設備可能需要更豐富的功能模型，更加用戶友好的傳感器使用通知系統(tǒng)以及對底層硬件泄漏的信息的更全面評估。