為了能安心看幾集 Netflix 劇，技術(shù)宅奶爸都做了些什么……

長(zhǎng)期以來(lái)，「奶爸」+「萌娃」一直是一個(gè)不被看好的組合，甚至有人說(shuō)，「父愛(ài)如山體滑坡」。

眾所周知，人類幼崽似乎是臺(tái)永動(dòng)機(jī)，在一天 24 小時(shí)任何時(shí)間段里都有可能向你發(fā)難。你能讓自己睡個(gè)安穩(wěn)覺(jué)的方法看來(lái)是在白天消耗他們的精力，因此人們想出了各種各樣的方法。 當(dāng)然，并不是所有的奶爸都這么不靠譜，也有人帶起娃來(lái)挺正常的，Agustinus Nalwan 就是其中之一。 Agustinus Nalwan 是 Medium 上的一位博主，曾經(jīng)從事計(jì)算機(jī)視覺(jué)、3D / 動(dòng)畫(huà)、游戲開(kāi)發(fā)等方面的工作，目前供職于澳洲最大的汽車交易平臺(tái) carsale.com.au。 他有一個(gè)兩歲半的兒子，名叫 Dexie。Dexie 非常活潑，喜歡動(dòng)物，尤其是老鷹，經(jīng)常學(xué)老鷹在家里飛來(lái)飛去。

孩子的這種舉動(dòng)一般也就引起家長(zhǎng)的「哈哈」一笑（有的會(huì)拍成短視頻發(fā)網(wǎng)上），但 Nalwan 可不是一般的家長(zhǎng)，他一直在嘗試用技術(shù)增添帶娃的樂(lè)趣。去年三月份，Nalwan 就開(kāi)發(fā)過(guò)一款具有玩具識(shí)別能力的系統(tǒng)，可以和兒子互動(dòng)并根據(jù)他手里的玩具播放相關(guān)視頻。

? 這個(gè)項(xiàng)目幫他拿到了英偉達(dá)「Jetson Project of the Month: Qrio – an interactive AI bot」活動(dòng)的大獎(jiǎng)，獎(jiǎng)品是一臺(tái)英偉達(dá) Jetson AGX Xavier。

Jetson AGX Xavier 的配置信息。 這是一種算力不小的開(kāi)發(fā)者套件，曾被京東、美團(tuán)、菜鳥(niǎo)的無(wú)人快遞車用作計(jì)算核心。鑒于 Jetson AGX Xavier 配置還不錯(cuò)，Nalwan 決定用它來(lái)幫兒子做一個(gè)新玩具，實(shí)現(xiàn)他「展翅高飛」的夢(mèng)想。 新玩具名叫 Griffin（神話中的獅鷲），最終實(shí)現(xiàn)效果是這樣的：

當(dāng)然，奶爸也可以跟著一起玩或者自己玩。

這么好的帶娃經(jīng)驗(yàn)當(dāng)然要分享出來(lái)。在最近的一篇博客中，Nalwan 完整地介紹了他打造 Griffin 的完整過(guò)程，手頭有娃的可以參考一下。

傳說(shuō)中獅身鷹首的 griffin。《哈利波特》中的 Gryffindor 學(xué)院意為金色的 griffin。 以下是 Nalwan「從零開(kāi)始」構(gòu)建整套姿態(tài)識(shí)別游戲的歷程。 物料準(zhǔn)備 要實(shí)現(xiàn)上圖中的效果，Griffin 需要具備以下模塊：

3D 游戲引擎：借助一個(gè)用 OpenGL 寫(xiě)成的飛行模擬器生成帶有山脈、天空和 Griffin 的 3D 魔幻世界。

人體姿態(tài)估計(jì)：使用 OpenPose 姿態(tài)估計(jì)模型和 SSD 目標(biāo)檢測(cè)模型來(lái)持續(xù)檢測(cè)玩家的身體姿態(tài)，作為系統(tǒng)的輸入，以控制 Griffin。

動(dòng)作映射和手勢(shì)識(shí)別：將身體姿態(tài)轉(zhuǎn)化為有意義的動(dòng)作和手勢(shì)，如抬起左 / 右翅膀、左右翻滾身體、起飛等。

通信系統(tǒng)：使用 socket 將姿態(tài)輸入送進(jìn) 3D 游戲引擎。

以下是整個(gè)系統(tǒng)所需要的硬件：

NVIDIA Jetson AGX Xavier：這是一個(gè) GPU 驅(qū)動(dòng)的小型嵌入式設(shè)備，用來(lái)運(yùn)行以上所有模塊。它可以通過(guò)一個(gè)簡(jiǎn)單的 HDMI 接口支持音視頻輸出。此外，他還有一個(gè)以太網(wǎng)接口，方便聯(lián)網(wǎng)。你甚至可以插入鼠標(biāo)和鍵盤(pán)在該設(shè)備上進(jìn)行開(kāi)發(fā)和調(diào)試，因?yàn)樗幸粋€(gè)功能齊全的 Ubuntu 18.04 OS。

TV（帶有 HDMI 輸入和內(nèi)置揚(yáng)聲器）：作為游戲引擎的顯示器。

攝像頭：我用的是 Sony IMX327。其實(shí)這里只需要 224x224 的圖像分辨率，因此也可以選低端一點(diǎn)的攝像頭。

Blu-Tack：把所有硬件拼接在一起。

Jetson AGX Xavier、 IMX327 攝像頭和 Blu Tack。 實(shí)現(xiàn)構(gòu)建 3D 游戲引擎 為了更好地模擬飛行體驗(yàn)，Griffin 系統(tǒng)將以第三人稱視角渲染 3D 世界。想象一下在 Griffin 正后方有一個(gè)攝像頭看著他所看的地方。為什么不用飛行模擬器那樣的第一人稱視角呢？因?yàn)榭吹晋椀某岚虿⑼揭苿?dòng)自己的手臂，可以幫助 Dexie 快速學(xué)習(xí)如何控制這個(gè)游戲，并擁有一個(gè)更沉浸式的體驗(yàn)。 自行構(gòu)建 3D 游戲引擎并非易事，可能需要好幾周的時(shí)間。現(xiàn)在大多數(shù)開(kāi)發(fā)者只使用專門(mén)的游戲引擎，如 Unity 或 Unreal。但是很遺憾，我找不到可以在 Ubuntu OS/ARM 芯片組上運(yùn)行的游戲引擎。一種替代方法是找到在 OpenGL 上運(yùn)行的開(kāi)源飛行模擬器。這可以保證游戲引擎能在 AGX 上運(yùn)行，因?yàn)樗С?OpenGL ES（OpenGL 的輕量級(jí)版本）并且得到硬件加速。如果你不想游戲引擎以龜速運(yùn)行的話，則這是必要的條件。 幸運(yùn)的是，我找到了一個(gè)滿足標(biāo)準(zhǔn)的 C++ 開(kāi)源飛行模擬器，并做了以下修改：

我用基于目標(biāo)的系統(tǒng)替換了基于按鍵的飛行控制系統(tǒng)。這樣我就可以不時(shí)地設(shè)置 Griffin 身體的目標(biāo)旋轉(zhuǎn)角度，之后這一旋轉(zhuǎn)目標(biāo)將通過(guò)手勢(shì)識(shí)別模塊自行設(shè)置，該模塊可以映射 Dexie 胳膊的方向。

我增強(qiáng)了靜態(tài) 3D 模型管理，以支持層級(jí)結(jié)構(gòu)。原始的飛機(jī)模型是作為一個(gè)剛體移動(dòng)的，它沒(méi)有移動(dòng)的身體部位。但是 Griffin 有兩個(gè)翅膀，需要獨(dú)立于身體單獨(dú)運(yùn)動(dòng)。為此，我添加了兩個(gè)翅膀，使之作為身體之上的單獨(dú) 3D 模型。我可以單獨(dú)旋轉(zhuǎn)每個(gè)翅膀，也可以移動(dòng) Griffin 的身體，間接移動(dòng)兩個(gè)翅膀。實(shí)現(xiàn)該目標(biāo)的一種恰當(dāng)方式是構(gòu)建骨骼動(dòng)畫(huà)系統(tǒng)，將身體部位組織為樹(shù)結(jié)構(gòu)的形式。但是，由于我要處理的身體部位只有三個(gè)（身體和兩個(gè)翅膀），因此我可以選擇一種簡(jiǎn)便的方式。為了編輯鷹和樹(shù) 3D 模型，我使用了一個(gè)免費(fèi)易用的 3D 編輯工具 Blender。

在 Blender 中編輯鷹的 3D 模型。

我添加了 Griffin 起飛狀態(tài)的樹(shù)模型，以及無(wú)需重啟應(yīng)用即可重啟游戲的游戲狀態(tài)。Griffin 有兩種狀態(tài)：站立（站在樹(shù)枝上）和飛翔。

我利用 libSFML 添加音效播放：當(dāng) Griffin 起飛時(shí)，會(huì)出現(xiàn)鷹的尖嘯和風(fēng)聲。

構(gòu)建人體姿態(tài)估計(jì)模塊 該模塊旨在檢測(cè)來(lái)自攝像頭輸入的人體姿態(tài)。具體而言，我們需要知道左 / 右手肘、左 / 右肩膀、脖子和鼻子的位置，才能駕馭 Griffin 的翅膀和身體，并觸發(fā)特定的姿勢(shì)。OpenPose 是一個(gè)流行的開(kāi)源庫(kù)，并具備大量估計(jì)人體姿態(tài)、手部姿勢(shì)和面部特征的 AI 模型。我使用的是人體姿態(tài)估計(jì) COCO 模型，以 resnet18 作為骨干特征提取器。該模型可以實(shí)時(shí)檢測(cè) 18 個(gè)關(guān)節(jié)點(diǎn)，包括上述我們所需的 6 個(gè)點(diǎn)。

COCO 關(guān)節(jié)點(diǎn)圖。 這里存在一個(gè)大問(wèn)題：OpenPose 基于 PyTorch 框架構(gòu)建，在 NVIDIA AGX Xavier 中運(yùn)行速度很慢（4FPS），因?yàn)樗鼰o(wú)法利用重度優(yōu)化的 TensorRT 框架。幸運(yùn)的是，還有一個(gè)厲害的工具 torch2trt，它可以自動(dòng)將 PyTorch 模型移植到 TensorRT 框架中！具體步驟是：安裝 OpenPose，將 PyTorch 轉(zhuǎn)換為 TensorRT，下載預(yù)訓(xùn)練 resnet18 骨干模型。 為了獲取來(lái)自攝像頭的視頻內(nèi)容，我使用另一個(gè)庫(kù) Jetcam。只需要四行代碼，就可以運(yùn)行。

人體姿態(tài)估計(jì)。 這樣就得到了可以 100FPS 速度運(yùn)行的人體姿態(tài)估計(jì)模塊！ 經(jīng)過(guò)一些測(cè)試后，我發(fā)現(xiàn)有時(shí)候這個(gè)模型會(huì)將隨機(jī)對(duì)象錯(cuò)誤地識(shí)別為關(guān)節(jié)點(diǎn)（假正例，如下圖所示），這會(huì)給 Griffin 的動(dòng)作控制帶來(lái)麻煩。

使用 Amazon SageMaker JumpStart 構(gòu)建目標(biāo)檢測(cè)模型 解決該問(wèn)題的一種方式是添加一個(gè)輔助 AI 模型，用目標(biāo)檢測(cè)模塊來(lái)提供人體邊界框，這樣就可以排除掉在邊界框以外檢測(cè)到的人體關(guān)節(jié)點(diǎn)了。此外，這些邊界框還可以幫助在一堆人中識(shí)別主要玩家，距離攝像頭最近的人應(yīng)該是主要玩家。 在之前的項(xiàng)目中，我手動(dòng)訓(xùn)練過(guò) SSDMobileNetV2 目標(biāo)檢測(cè)模型。這次我選擇使用 Amazon SageMaker JumpStart，只需一鍵操作就可以從 TensorFlowHub 和 PyTorchHub 部署 AI 模型。這里有 150 多個(gè)可選的模型，其中就有經(jīng)過(guò)完全預(yù)訓(xùn)練的 SSDMobileNetV2。

從 Amazon SageMaker Studio 中啟動(dòng) JumpStart。 在 Amazon JumpStart 中選擇 SSDMobileNetV2 后，只需一鍵操作就可以部署模型。有了目標(biāo)檢測(cè)模型后，我可以為邊界框以外的關(guān)節(jié)點(diǎn)添加 exclusion logic，這樣假正例就會(huì)少很多！

在人體邊界框以外的關(guān)節(jié)點(diǎn)被排除在外。 構(gòu)建動(dòng)作映射和手勢(shì)識(shí)別模塊 該模塊對(duì)于將人體姿態(tài)估計(jì)模塊檢測(cè)到的 6 個(gè)關(guān)節(jié)點(diǎn)動(dòng)作轉(zhuǎn)換為更具意義的輸入至關(guān)重要。這包括三種直接的動(dòng)作映射：

飛行時(shí)的身體轉(zhuǎn)動(dòng)：用于控制 Griffin 飛行時(shí)的方向。身體轉(zhuǎn)動(dòng)可以通過(guò)橫軸和左右手肘向量之間的夾角進(jìn)行計(jì)算（下圖上）。在飛行時(shí)，兩只翅膀基于這一轉(zhuǎn)動(dòng)角度同步移動(dòng)。選擇手肘而不是手腕是為了最大化可見(jiàn)度，因?yàn)槭滞蠼?jīng)常會(huì)掉出攝像頭視角或被其他身體部位遮擋住。

站立時(shí)的翅膀旋轉(zhuǎn)：這純粹是出于美觀，為了讓游戲更具趣味性，給人一種站立的時(shí)候可以單獨(dú)控制每個(gè)翅膀的印象。這通過(guò)橫軸與肩膀 - 手肘向量之間的夾角進(jìn)行計(jì)算（下圖下）。最終的翅膀旋轉(zhuǎn)角度會(huì)添加 15 度，以加大翅膀的動(dòng)作，畢竟人長(zhǎng)時(shí)間舉高胳膊會(huì)很累。

身體轉(zhuǎn)動(dòng)和翅膀旋轉(zhuǎn)時(shí)的動(dòng)作映射。

蹲伏：這是另一個(gè)美觀動(dòng)作，可以讓人感受到能夠控制 Griffin 起飛前的蹲伏姿勢(shì)。這通過(guò)脖子 - 鼻子向量和肩膀向量之間的長(zhǎng)度比進(jìn)行計(jì)算。蹲伏得越深，脖子和鼻子之間的距離越短，而左右肩膀之間的距離保持不變，因此長(zhǎng)度比變小。

蹲伏動(dòng)作映射。

起飛姿勢(shì)：當(dāng)左右肩膀之間的中心點(diǎn)在一秒內(nèi)上下移動(dòng)的幅度超過(guò)閾值時(shí)，則該動(dòng)作會(huì)被識(shí)別為起飛姿勢(shì)。閾值是肩膀之間的長(zhǎng)度。當(dāng)這一動(dòng)作被觸發(fā)時(shí)，Griffin 會(huì)跳下樹(shù)枝，開(kāi)始飛翔。

游戲復(fù)位姿勢(shì)：當(dāng)左右肩膀的水平位置反轉(zhuǎn)時(shí)則為游戲復(fù)位姿勢(shì)，如玩家背對(duì)攝像頭。游戲?qū)?fù)位，Griffin 回到站在樹(shù)上的姿勢(shì)，準(zhǔn)備下一次飛行。

起飛和復(fù)位手勢(shì)識(shí)別。 通信系統(tǒng) 現(xiàn)在，我們完成了三個(gè)主要組件，只需要將它們粘合在一起就行了。我們需要將姿態(tài)估計(jì)模塊檢測(cè)到的人體關(guān)節(jié)點(diǎn)發(fā)送至手勢(shì)識(shí)別模塊，這個(gè)任務(wù)比較簡(jiǎn)單。但是，將動(dòng)作和姿勢(shì)映射結(jié)果發(fā)送至 3D 游戲引擎就不那么簡(jiǎn)單了，因?yàn)橛螒蛞媸怯?C++ 寫(xiě)的。你可能會(huì)疑惑為什么不用 Python 構(gòu)建 3D 游戲引擎，原因在于沒(méi)有靠譜的方式來(lái)使用 Python 訪問(wèn) OpenGL。此外，即使可能，我也不想花費(fèi)好幾周時(shí)間將 C++ 轉(zhuǎn)換為 Python 代碼。 此時(shí)我需要以最小花銷高效地在這二者之間傳遞信息。對(duì)于游戲引擎而言，最小花銷是非常重要的因素，輸入控制器和動(dòng)作發(fā)生之間出現(xiàn) 100ms 的延遲都會(huì)導(dǎo)致玩家失去沉浸式體驗(yàn)。因此，兩個(gè)單獨(dú)應(yīng)用之間的最好通信媒介是 socket。由于這兩個(gè)應(yīng)用在同一臺(tái)計(jì)算機(jī)內(nèi)，因此延遲會(huì)在 5ms 以內(nèi)。 在 C++ 中，我們簡(jiǎn)單地使用 sys/socket 庫(kù)，而在 Python 中，我們可以使用 socket 框架。從現(xiàn)在開(kāi)始，我把手勢(shì)識(shí)別和姿態(tài)估計(jì)模塊稱作 Python app，該客戶端發(fā)送五種信息：roll_target、lwing_target、rwing_target、body_height 和 game_state。把 3D 游戲引擎稱為 C++ app，充當(dāng)監(jiān)聽(tīng)并不斷接收上述信息的服務(wù)器。 為了將這五種信息 / 變量正確地從 Python 映射到 C++ 上，在發(fā)送之前我們需要將其放置在 Python C-like 結(jié)構(gòu)中。

class Payload(Structure): _fields_ = [(“roll_target”, c_int32), (“l(fā)wing_target”, c_int32), ("rwing_target", c_int32), ("body_height", c_int32), ("game_state", c_int32)] 在 C++ app 中，它們以本機(jī) C 結(jié)構(gòu)形式接收。

typedef struct payload_t { int32_t roll_target; int32_t lwing_target; int32_t rwing_target; int32_t body_height; int32_t game_state;} payload; 從下面的架構(gòu)圖可以看出，通信層由一個(gè)位于 Python app 中的客戶端模塊和一個(gè)位于 C ++ app 中的服務(wù)器模塊組成。

Griffin 的整體架構(gòu)圖。 校準(zhǔn)與測(cè)試 準(zhǔn)備就緒后，我設(shè)置了 Griffin 系統(tǒng)以執(zhí)行校準(zhǔn)和測(cè)試。這套系統(tǒng)的性能要比我預(yù)測(cè)的好很多，在執(zhí)行所有實(shí)時(shí) 3D 渲染和姿態(tài)估計(jì)時(shí)一直都保持在 60FPS 的幀率，看來(lái)英偉達(dá)的 Jetson AGX Xavier 性能強(qiáng)大不是說(shuō)說(shuō)而已。在下面的視頻中，你可以看到校準(zhǔn)和測(cè)試的過(guò)程。這個(gè)視頻幀率較低，是因?yàn)槲以?Ubuntu 桌面上以 15FPS 錄屏，盡量減少對(duì) Griffin 的影響。

Griffin 系統(tǒng)的校準(zhǔn)與測(cè)試。 起飛 最后，是時(shí)候讓 Dexie 用 Griffin 嘗試第一次飛行了，這才是真正的大考。我在客廳里架設(shè)好了系統(tǒng)，我兒子一直在不耐煩地等待行動(dòng)。

Dexie 使用 Griffin 飛行的經(jīng)歷。 我只演示了一遍如何控制 Griffin 系統(tǒng)，跳一下就是起飛，展開(kāi)手臂依靠姿勢(shì)控制翅膀，Dexie 就學(xué)會(huì)了。由于游戲是第三人稱視角，所以他很快就發(fā)現(xiàn)畫(huà)面中翅膀的運(yùn)動(dòng)是直接和自己姿勢(shì)同步的。隨后他就開(kāi)始享受自己的飛行體驗(yàn)了。沒(méi)有什么是比你自己更好的游戲控制器了——記住喬布斯在發(fā)布第一代 iPhone 時(shí)嘲笑手寫(xiě)筆時(shí)所說(shuō)的話。 有意思的是，Dexie 有次快要撞山時(shí)，他奮力揚(yáng)起手臂想要來(lái)個(gè)急轉(zhuǎn)彎，但由于我設(shè)置了最大旋轉(zhuǎn)角度限制，Griffin 不允許他飛特別極限的角度，隨后他就撞了山…… 當(dāng)時(shí)是這個(gè)樣子：

Dexie 在 Griffin 上的首飛。 他上來(lái)就玩了半小時(shí)，發(fā)瘋似地?fù)]舞著手臂，直到疲倦襲來(lái)。最重要的是，那天晚上他睡得很香，對(duì)我們來(lái)說(shuō)這是一次勝利！我有更多時(shí)間看 Netflix 了 :)

總結(jié) 構(gòu)建這樣一套系統(tǒng)讓我學(xué)到了很多，同時(shí)獲得的樂(lè)趣也很多。總體來(lái)說(shuō)我學(xué)到了：

Torch2trt 是一個(gè)很強(qiáng)大的工具，可以自動(dòng)將 PyTorch 模型轉(zhuǎn)化為 TensorRT 版，讓 AI 模型在 Jetson AGX Xavier 上運(yùn)行地更快。很多最先進(jìn)的 AI 模型都是用 PyTorch 構(gòu)建起來(lái)的，但手動(dòng)將它們移植到 TensorFlow 上可不是好的體驗(yàn)。

英偉達(dá) Jetson AGX Xavier 的性能非常強(qiáng)大！很多人說(shuō)它可以實(shí)時(shí)處理 30 個(gè) 1080p 視頻流的計(jì)算機(jī)視覺(jué)模型處理任務(wù)，看來(lái)的確是這樣。

亞馬遜 SageMaker JumpStart 提供了大量流行的 AI 模型，并讓它們非常易于部署。

構(gòu)建 3D 游戲引擎的經(jīng)歷讓我重拾之前作為游戲和電影 SFX 開(kāi)發(fā)人員的經(jīng)歷，再次用起了生疏的 OpenGL、C++ 和三角學(xué)方面的技能。

說(shuō)到動(dòng)作識(shí)別游戲，人們自然會(huì)想到 Xbox——我本可以用 Unity 引擎和 Kinect 傳感器在 Xbox 上構(gòu)建一個(gè) Griffin，但是這樣不就沒(méi)有太大意義了嗎？有時(shí)從頭構(gòu)建一套系統(tǒng)才是樂(lè)趣所在。

扮演老鷹是一個(gè)很累的工作，尤其是長(zhǎng)時(shí)間抬起手臂這件事。不過(guò)真正的老鷹是通過(guò)上升氣流獲得幫助并滑翔在天空中的。

不知這樣的一段經(jīng)歷，是否能給你一些啟發(fā)？ 最后，作者計(jì)劃在近期將項(xiàng)目代碼開(kāi)源出來(lái)。

原文標(biāo)題：用AI「馴服」人類幼崽：這個(gè)奶爸找到了硬核帶娃的樂(lè)趣

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq