如果聲音才是計(jì)算交互的未來(lái)，那么那些聾啞人怎么辦？帶著這個(gè)問(wèn)題，本文作者構(gòu)建了一套系統(tǒng)，讓亞馬遜的Alexa智能小助手學(xué)會(huì)了識(shí)別手語(yǔ)。本文介紹了如何使用TensorFlow.js來(lái)構(gòu)建這一系統(tǒng)，全部代碼和演示已上傳至Github。

幾個(gè)月前，有一天晚上我躺在床上，一個(gè)念頭閃過(guò)我的腦海：“如果聲音才是計(jì)算交互的未來(lái)，那么那些聾啞人怎么辦？”我不知道究竟為何會(huì)產(chǎn)生這個(gè)想法，我自己可以正常說(shuō)話(huà)、聽(tīng)覺(jué)也正常，我周?chē)J(rèn)識(shí)的人也沒(méi)有聾啞人，我也不使用語(yǔ)音助手。這個(gè)問(wèn)題總是縈繞在我的腦子里，于是我知道自己需要好好研究一下了。

最終結(jié)果就是現(xiàn)在這個(gè)項(xiàng)目的誕生，我讓一臺(tái)Amazon Echo智能揚(yáng)聲器對(duì)手語(yǔ)做出了響應(yīng)。確切的說(shuō)是對(duì)美國(guó)手語(yǔ)（ASL）做出了響應(yīng)，因?yàn)槭终Z(yǔ)種類(lèi)有很多。

本文將介紹如何使用TensorFlow.js構(gòu)建這一系統(tǒng)。讀者可以用自己的單詞和手語(yǔ)/手勢(shì)組合來(lái)對(duì)模型進(jìn)行訓(xùn)練。此外，我希望這種方法有助于讓人們將焦點(diǎn)從項(xiàng)目的技術(shù)元素上轉(zhuǎn)移出來(lái)，而更多關(guān)注人文元素。這個(gè)項(xiàng)目更多的不是關(guān)于底層技術(shù)的討論，而是該技術(shù)能為人類(lèi)提供的能力。

前期研究與系統(tǒng)需求

構(gòu)建系統(tǒng)需要：

用于解釋符號(hào)的神經(jīng)網(wǎng)絡(luò)（將視頻轉(zhuǎn)換為文本）。

一個(gè)文本到語(yǔ)音的轉(zhuǎn)換系統(tǒng)，向Alexa說(shuō)出需要解釋的手勢(shì)。

語(yǔ)音到文本的轉(zhuǎn)換系統(tǒng)，用于轉(zhuǎn)錄Alexa對(duì)用戶(hù)的響應(yīng)。

運(yùn)行此系統(tǒng)的設(shè)備（筆記本電腦/平板電腦）和與之交互的Echo智能揚(yáng)聲器。

將上述部分聯(lián)系在一起的交互界面。

我可能花了很多時(shí)間來(lái)確定采用哪種類(lèi)型的神經(jīng)網(wǎng)絡(luò)架構(gòu)。為此我提出了幾個(gè)選項(xiàng)：

1.由于符號(hào)有視覺(jué)和時(shí)間兩個(gè)方面的屬性，我一開(kāi)始想選擇CNN與RNN的組合，其中將最后一個(gè)卷積層的輸出（在分類(lèi)之前）作為序列輸入RNN。我后來(lái)發(fā)現(xiàn)這種網(wǎng)絡(luò)學(xué)名叫長(zhǎng)期循環(huán)卷積網(wǎng)絡(luò)（LRCN）。

2.使用3D卷積網(wǎng)絡(luò)，其中卷積將以三維方式應(yīng)用，前兩個(gè)維度是圖像，第三維度是時(shí)間。然而，這些網(wǎng)絡(luò)需要大量的內(nèi)存，我的macbook pro吃不消。

3.不再對(duì)視頻流中的各幀都進(jìn)行CNN訓(xùn)練，而是僅在光流表示上進(jìn)行訓(xùn)練，該光流表示將表示兩個(gè)連續(xù)幀之間的視在運(yùn)動(dòng)的模式。也就是說(shuō)，它會(huì)對(duì)動(dòng)作進(jìn)行編碼，這將產(chǎn)生更為通用化的手語(yǔ)模型。

4.使用雙流CNN，其中空間流將是單幀（RGB）的，時(shí)間流將使用光流表示。

我通過(guò)閱讀論文發(fā)現(xiàn)，這些論文至少使用了上述一些視頻活動(dòng)識(shí)別方法。然而，我很快就意識(shí)到，由于我的計(jì)算力有限，而且我需要從頭開(kāi)始研究和實(shí)施這些論文中的方法，時(shí)間和硬件條件都不夠。我最終確定的方法與上面完全不同。

為什么選擇TensorFlow.js

TensorFlow.js團(tuán)隊(duì)一直在進(jìn)行有趣的基于瀏覽器的實(shí)驗(yàn)，以使人們熟悉機(jī)器學(xué)習(xí)的概念，并鼓勵(lì)他們將其用作您自己項(xiàng)目的構(gòu)建塊。對(duì)于那些不熟悉的人來(lái)說(shuō)，TensorFlow.js是一個(gè)開(kāi)源庫(kù)，允許用戶(hù)使用Javascript直接在瀏覽器中定義、訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)模型。特別是兩個(gè)演示似乎是有趣的起點(diǎn) - Pacman網(wǎng)絡(luò)攝像頭控制器和可教學(xué)機(jī)器（Teachable Machine）。

雖然它們都從網(wǎng)絡(luò)攝像頭獲取輸入圖像并根據(jù)訓(xùn)練數(shù)據(jù)輸出預(yù)測(cè)結(jié)果，但其內(nèi)部每個(gè)操作都不同：

1）“吃豆人”（Pacman）網(wǎng)絡(luò)攝像頭。它使用卷積神經(jīng)網(wǎng)絡(luò)（CNN），采用來(lái)自網(wǎng)絡(luò)攝像頭的輸入圖像，通過(guò)一系列卷積和最大池化層進(jìn)行傳遞。它可以提取圖像的主要特征，并根據(jù)已經(jīng)訓(xùn)練過(guò)的例子預(yù)測(cè)其標(biāo)簽。由于訓(xùn)練是一個(gè)代價(jià)昂貴的過(guò)程，使用名為MobileNet的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。該模型在1000個(gè)ImageNet類(lèi)上進(jìn)行了訓(xùn)練，但經(jīng)過(guò)優(yōu)化，可以在瀏覽器和移動(dòng)應(yīng)用程序中運(yùn)行。

2）可教學(xué)的機(jī)器。使用kNN（k-Nearest-Neighbors）模型，它非常簡(jiǎn)單，從技術(shù)上講，它根本不執(zhí)行任何“學(xué)習(xí)”。它采用輸入圖像（來(lái)自網(wǎng)絡(luò)攝像頭）并通過(guò)使用相似度函數(shù)或距離度量找到最接近該輸入圖像的訓(xùn)練樣本的標(biāo)簽來(lái)對(duì)其進(jìn)行分類(lèi)。

不過(guò)，在圖像輸入kNN之前，首先要通過(guò)名為SqueezeNet的小型神經(jīng)網(wǎng)絡(luò)，然后將該網(wǎng)絡(luò)倒數(shù)第二層的輸出作為輸入進(jìn)入kNN，這樣讀者就可以訓(xùn)練自己的模型。這樣做的好處是，我們可以使用SqueezeNet已經(jīng)學(xué)過(guò)的高級(jí)抽象內(nèi)容，而不是直接從網(wǎng)絡(luò)攝像頭向kNN提供原始像素信息，從而訓(xùn)練表現(xiàn)更好的分類(lèi)器。

選擇使用TensorFlow.js也有其他原因：

1.進(jìn)行原型設(shè)計(jì)時(shí)，無(wú)需編寫(xiě)任何代碼。一開(kāi)始通過(guò)簡(jiǎn)單地在瀏覽器中運(yùn)行原始示例，進(jìn)行早期原型設(shè)計(jì)，對(duì)我打算使用的手勢(shì)進(jìn)行訓(xùn)練，并查看系統(tǒng)如何執(zhí)行。即使輸出意味著pac-man在屏幕上移動(dòng)。

2.可以使用TensorFlow.js直接在瀏覽器中運(yùn)行模型。從可移植性，開(kāi)發(fā)速度和Web界面交互的能力的角度來(lái)看，這都是巨大的優(yōu)勢(shì)。此外，模型可以完全在瀏覽器中運(yùn)行，無(wú)需將數(shù)據(jù)發(fā)送到服務(wù)器。

3.由于可以在瀏覽器中運(yùn)行，因此可以很好地與現(xiàn)代瀏覽器支持的語(yǔ)音到文本和文本到語(yǔ)音API進(jìn)行交互。

4.測(cè)試、訓(xùn)練和調(diào)整速度更快，而這在機(jī)器學(xué)習(xí)任務(wù)中通常是一個(gè)挑戰(zhàn)。

5.由于我沒(méi)有手語(yǔ)數(shù)據(jù)集，并且訓(xùn)練示例基本上是我反復(fù)執(zhí)行手勢(shì)，因此使用網(wǎng)絡(luò)攝像頭來(lái)收集訓(xùn)練數(shù)據(jù)非常方便。

在徹底測(cè)試了這兩種方法,并發(fā)現(xiàn)兩個(gè)系統(tǒng)在測(cè)試中表現(xiàn)相當(dāng)之后，我決定使用后者作為我的系統(tǒng)的基礎(chǔ)，因?yàn)椋?/p>

在較小的數(shù)據(jù)集上，kNN實(shí)際上可以比CNN更快/更好地執(zhí)行。 當(dāng)使用越來(lái)越多的示例進(jìn)行訓(xùn)練時(shí)，這種模型會(huì)變得很吃?xún)?nèi)存，造成性能下降。但是因?yàn)槲沂褂玫臄?shù)據(jù)集很小，所以這不是問(wèn)題。

由于kNN并未真正從示例中學(xué)習(xí)，因此在泛化方面表現(xiàn)很差。 因此，完全由一個(gè)人進(jìn)行的實(shí)例訓(xùn)練的模型的預(yù)測(cè)，在另一個(gè)人身上的適用度不高。不過(guò)，這對(duì)我來(lái)說(shuō)仍然不是問(wèn)題，因?yàn)橛?xùn)練和測(cè)試模型的只有我一個(gè)人。

工作原理

1.在瀏覽器中啟動(dòng)站點(diǎn)時(shí)，第一步是提供訓(xùn)練示例。使用網(wǎng)絡(luò)攝像頭反復(fù)捕捉自己的手勢(shì)。這是個(gè)相對(duì)較快的過(guò)程，因?yàn)榘醋√囟ǖ牟东@按鈕會(huì)連續(xù)捕獲幀數(shù)，直到釋放按鈕，使用適當(dāng)?shù)氖謩?shì)標(biāo)記捕獲的圖像。我訓(xùn)練的系統(tǒng)包含14個(gè)單詞，這些單詞在各種組合中允許我對(duì)Alexa發(fā)出各種請(qǐng)求。

2.訓(xùn)練完成后，進(jìn)入預(yù)測(cè)模式。使用來(lái)自網(wǎng)絡(luò)攝像頭的輸入圖像并通過(guò)分類(lèi)器運(yùn)行，根據(jù)上一步驟中提供的訓(xùn)練示例和標(biāo)簽手勢(shì)找到其最近的答案。

3.如果結(jié)果超過(guò)某個(gè)預(yù)測(cè)閾值，就將將手勢(shì)顯示到屏幕的左側(cè)。

4.接下來(lái)，使用Web Speech API進(jìn)行語(yǔ)音合成，說(shuō)出檢測(cè)到的手勢(shì)。

5.如果說(shuō)出的單詞是Alexa，它會(huì)喚醒附近的Echo揚(yáng)聲器并開(kāi)始收聽(tīng)查詢(xún)請(qǐng)求。另外值得注意的是，我設(shè)定了一個(gè)任意手勢(shì)（在空中揮右拳）來(lái)表示Alexa這個(gè)詞，因?yàn)槊绹?guó)手語(yǔ)中沒(méi)有Alexa這個(gè)單詞，反復(fù)拼寫(xiě)A-L-E-X-A會(huì)很煩人。

6 一旦整個(gè)手勢(shì)短語(yǔ)完成后，我再次使用WebSpeech API來(lái)轉(zhuǎn)錄Echo揚(yáng)聲器的響應(yīng)，這個(gè)揚(yáng)聲器響應(yīng)的請(qǐng)求，并不知道該請(qǐng)求來(lái)自另一臺(tái)機(jī)器。轉(zhuǎn)錄的響應(yīng)顯示在屏幕的右側(cè)，供用戶(hù)閱讀。

7 再次做出喚醒手勢(shì)，清除屏幕并重新開(kāi)始重復(fù)查詢(xún)的過(guò)程。

我在Github上傳了所有代碼（https://github.com/shekit/alexa-sign-language-translator）。讀者可以隨意使用和修改。

一些尚待完善之處

雖然系統(tǒng)運(yùn)行情況相對(duì)較好，但確實(shí)需要一些粗略的改進(jìn)，來(lái)幫助獲得理想的結(jié)果并提高準(zhǔn)確性，如：

確保沒(méi)有檢測(cè)到任何符號(hào)，除非出現(xiàn)喚醒詞Alexa。

添加一個(gè)包含完整的全部類(lèi)別的訓(xùn)練樣例，將其歸類(lèi)為“其他”用于表示系統(tǒng)空閑狀態(tài)（無(wú)手勢(shì)的空白背景，人手臂自然下垂站立）。這可以防止錯(cuò)誤地檢測(cè)到單詞。

在接受輸出之前設(shè)置高閾值，以減少預(yù)測(cè)錯(cuò)誤。

降低預(yù)測(cè)速度。控制每秒的預(yù)測(cè)量有助于減少錯(cuò)誤的預(yù)測(cè)。

確保已在該短語(yǔ)中檢測(cè)到的單詞不再被視為新的預(yù)測(cè)。

另一個(gè)挑戰(zhàn)是準(zhǔn)確預(yù)測(cè)用戶(hù)何時(shí)完成查詢(xún)簽名。這對(duì)于準(zhǔn)確轉(zhuǎn)錄是必要的。如果轉(zhuǎn)錄提前觸發(fā)（在用戶(hù)完成簽名之前觸發(fā)），系統(tǒng)就會(huì)開(kāi)始轉(zhuǎn)錄它自己的語(yǔ)音。否則，如果轉(zhuǎn)錄較晚觸發(fā)。可能會(huì)導(dǎo)致系統(tǒng)錯(cuò)過(guò)轉(zhuǎn)錄Alexa的部分回答。為了克服這個(gè)問(wèn)題，我實(shí)施了兩種獨(dú)立的技術(shù)，每種技術(shù)都有各自的優(yōu)缺點(diǎn)：

第一個(gè)選項(xiàng)是在添加訓(xùn)練用的特定單詞時(shí)將它們標(biāo)記為終端單詞（terminal words）。這里所說(shuō)的terminal words是指用戶(hù)只會(huì)在短語(yǔ)的末尾簽名的詞。例如，如果查詢(xún)是“Alexa，what’sthe weather?”那么，通過(guò)將“weather”標(biāo)記為一個(gè)terminal word，當(dāng)檢測(cè)到這個(gè)詞時(shí)，就可以正確地觸發(fā)轉(zhuǎn)錄。雖然這種方法很有效，但這意味著用戶(hù)必須記住在訓(xùn)練期間將單詞標(biāo)記為terminal words，并且還要假設(shè)這個(gè)詞只出現(xiàn)在查詢(xún)末尾。這意味著要重新調(diào)整你的查詢(xún)，如果問(wèn)“Alexa，what’sthe weatherin New York?”，這種方法就不管用了。我們?cè)谝曨l演示里使用了這種方法。

第二個(gè)選項(xiàng)是讓用戶(hù)簽署一個(gè)停止詞（stop-word），以便讓系統(tǒng)知道用戶(hù)已經(jīng)完成了查詢(xún)。一旦識(shí)別出這個(gè)停止詞，系統(tǒng)就會(huì)觸發(fā)轉(zhuǎn)錄。因此，用戶(hù)將簽署Wakeword >Query> Stopword。這種方法存在用戶(hù)忘記簽署停止詞的風(fēng)險(xiǎn)，從而導(dǎo)致轉(zhuǎn)錄根本沒(méi)有被觸發(fā)。我在一個(gè)單獨(dú)的github branch中實(shí)現(xiàn)了這種方法，你可以在其中使用喚醒詞“Alexa”作為查詢(xún)的bookend，比如問(wèn)“Alexa, what’s the weather in New York(Alexa)？”

當(dāng)然，如果有一種方法能準(zhǔn)確區(qū)分來(lái)自?xún)?nèi)部源（筆記本電腦）的語(yǔ)音和來(lái)自外部源（附近的Echo）的語(yǔ)音，這整個(gè)問(wèn)題就能解決，但這是另外一個(gè)挑戰(zhàn)了。

接下來(lái)，我認(rèn)為還有很多其他的方法能處理這個(gè)問(wèn)題，你可以試著用來(lái)創(chuàng)建自己的項(xiàng)目：

Tensorflow.js也發(fā)布了PoseNet，使用它可能是一種有趣的方法。從機(jī)器的角度來(lái)看，跟蹤手腕、肘部和肩膀在視頻幀中的位置應(yīng)該足以預(yù)測(cè)大多數(shù)單詞。在拼寫(xiě)時(shí)，手指的位置通常最重要。

使用基于CNN的方法可能能夠提高準(zhǔn)確性，并使模型更能抵抗平移不變性。CNN還有助于更好地推廣到不同的人，還可以包括保存模型或加載預(yù)訓(xùn)練的Keras模型的能力。這將不再需要每次重啟瀏覽器都對(duì)系統(tǒng)進(jìn)行訓(xùn)練。

考慮時(shí)間特征的一些CNN+RNN或PoseNet+RNN的組合可以提高準(zhǔn)確率。

使用tensorflow.js中包含的更新的可重用kNN分類(lèi)器。

從我第一次發(fā)布這個(gè)項(xiàng)目以來(lái)，就在社交媒體上獲得廣泛分享和報(bào)道，甚至Amazon還在Echo Show上為說(shuō)話(huà)障礙的人實(shí)現(xiàn)了一個(gè)輔助功能（Tap to Alexa）。這實(shí)在太酷了。希望在未來(lái)， Amazon Show或其他基于攝像頭和屏幕的語(yǔ)音助理都能加入這一功能。對(duì)我來(lái)說(shuō)，可能這就是這個(gè)原型展示的最終用例了，同時(shí)也希望能夠?yàn)閿?shù)百萬(wàn)新用戶(hù)開(kāi)放這些設(shè)備的能力。