你是否想過(guò)有一天，某款A(yù)PP能識(shí)別你的表情，將其生成已有的Emoji。或者當(dāng)你打開(kāi)攝像機(jī)對(duì)著一株植物，它能立即顯示植物的名字。甚至當(dāng)你不在家時(shí)，它還能幫你監(jiān)控嬰兒，如果寶寶醒了會(huì)立刻通知你……這些智能化的行為如今在一項(xiàng)名為lobe的工具上都能實(shí)現(xiàn)了，這款可視化工具能建立、訓(xùn)練并安裝個(gè)性化的深度學(xué)習(xí)模型，而且開(kāi)發(fā)者不用編寫(xiě)任何代碼。

Lobe由一家位于美國(guó)舊金山的創(chuàng)業(yè)公司打造，其發(fā)明者認(rèn)為，建立深度學(xué)習(xí)模型是一個(gè)非常緩慢且復(fù)雜的過(guò)程，其中最難的地方是找到一個(gè)起點(diǎn)，可供學(xué)習(xí)的語(yǔ)言有很多，甚至當(dāng)你準(zhǔn)備好的時(shí)候，很難想象并理解自己到底要做什么。這就是他們創(chuàng)建Lobe的原因，它可以讓來(lái)自不同背景和專業(yè)的人用深度學(xué)習(xí)進(jìn)行發(fā)明創(chuàng)造。

只需拖動(dòng)文件夾，它將自己學(xué)習(xí)

Lobe是一款易于使用的可視化工具，你可以創(chuàng)建自定義深度學(xué)習(xí)模型，快速訓(xùn)練，無(wú)需編寫(xiě)任何代碼就能將其直接部署到APP中。

整個(gè)過(guò)程分為三部分。第一步，模型構(gòu)建。先從桌面拖動(dòng)一個(gè)訓(xùn)練示例文件夾，Lobe將自動(dòng)創(chuàng)建一個(gè)深度學(xué)習(xí)模型并開(kāi)始訓(xùn)練。然后它會(huì)調(diào)整設(shè)置并連接預(yù)訓(xùn)練部分對(duì)模型進(jìn)行微調(diào)。

第二步，訓(xùn)練。隨著模型的改進(jìn)，你可以使用交互式圖表和測(cè)試結(jié)果實(shí)時(shí)監(jiān)控培訓(xùn)進(jìn)度。在云端的訓(xùn)練能快速生成結(jié)果，同時(shí)不會(huì)降低計(jì)算機(jī)的速度。

第三步，部署。訓(xùn)練完成后，你可以導(dǎo)出經(jīng)過(guò)訓(xùn)練的模型到CoreML或TensorFlow，然后將其安裝在iOS或安卓的應(yīng)用中。或者使用簡(jiǎn)單方便的Lobe開(kāi)發(fā)者API，直接從云端遠(yuǎn)程運(yùn)行模型。

把lobes連接在一起

將智能構(gòu)建模塊lobes連接在一起，以快速創(chuàng)建自定義深度學(xué)習(xí)模型。例如，連接Hand & Face lobe可以查找圖像中最顯眼的手。然后連接Detect Feature lobe，以查找手中的重要特征。最后連接Generate Labels lobe，預(yù)測(cè)圖中對(duì)應(yīng)什么emoji。通過(guò)調(diào)整每個(gè)lobe的獨(dú)特設(shè)置來(lái)優(yōu)化你的模型，或者深入內(nèi)部編輯某個(gè)lobe的子層。

數(shù)據(jù)集可視化

在lobe工具中，模型訓(xùn)練的資料能以視覺(jué)化的方式呈現(xiàn)，提供使用者瀏覽并拖拉排序的所有資料。點(diǎn)擊圖標(biāo)就能查看這個(gè)例子是如何在模型中工作的。你的數(shù)據(jù)集也可以自動(dòng)分成Lesson和Test兩部分。Lesson可以教模型如何訓(xùn)練，Test是用來(lái)評(píng)估模型在真實(shí)世界里它從未見(jiàn)過(guò)的例子上表現(xiàn)得如何。

實(shí)時(shí)查看結(jié)果

由于在云端訓(xùn)練的速度非常快，你能隨時(shí)得到模型表現(xiàn)的結(jié)果，計(jì)算機(jī)的速度也不會(huì)減慢。你可以通過(guò)交互圖表控制模型的精確度，理解它是如何隨時(shí)間進(jìn)行改進(jìn)的。最終它會(huì)自動(dòng)選擇最佳精確度，所以你無(wú)需擔(dān)心出現(xiàn)過(guò)度擬合的情況。

對(duì)每層進(jìn)行高級(jí)控制

lobe雖然提供了高階的操作工具，但是底層建立在深度學(xué)習(xí)框架TensorFlow和Keras基礎(chǔ)之上，因此lobe可以讓你深入了解模型的每一層。調(diào)整參數(shù)、添加圖層、用數(shù)百個(gè)高級(jí)lobes塊設(shè)計(jì)全新的體系結(jié)構(gòu)。而這些操作皆在使用者拖拉界面的時(shí)候同步生效。

添加到你的應(yīng)用中

當(dāng)模型完成訓(xùn)練后，它可以導(dǎo)出到TensorFlow或CoreML，并直接在你的app中運(yùn)行。或者通過(guò)Lobe開(kāi)發(fā)者API，你的模型可以被傳送到云服務(wù)器中，然后用你選擇的語(yǔ)言與app進(jìn)行整合。由于Lobe建立在行業(yè)標(biāo)準(zhǔn)之上，你的模型性能和兼容性是一流的（原文附各語(yǔ)言部署代碼：https://lobe.ai）。

用Lobe探索世界

有了這款工具，人們可以做各種有難度的任務(wù)，包括繪制建筑結(jié)構(gòu)、控制無(wú)人機(jī)、生成花瓣圖像、控制音樂(lè)可視化、辨認(rèn)植物、調(diào)整樂(lè)器、檢測(cè)癌癥、讀唇語(yǔ)等等。以下是人們利用lobe做出的一些奇妙的任務(wù)。

手和臉的定位

這項(xiàng)任務(wù)的目的是給定一張人像照片，模型要學(xué)會(huì)在人物的臉部和手部畫(huà)邊界框。這項(xiàng)工具只是其他Lobe模型（例如Emoji Hands and Face）中的其中一個(gè)部件。

加州植物

顧名思義，就是讓模型看圖片中的植物，并辨認(rèn)出它是什么品種。創(chuàng)造它的目的是為了提醒人們哪些植物有毒。

玫瑰花瓣生成器

通過(guò)觀察數(shù)千張玫瑰花瓣的照片，模型可以學(xué)會(huì)生成全新的、逼真的玫瑰花瓣。這是由藝術(shù)家Sarah Meyohas發(fā)明的，她的目的是研究技術(shù)與美學(xué)之間的關(guān)系。

房屋結(jié)構(gòu)透視

通過(guò)觀看不同風(fēng)格房屋的3D模型以及測(cè)量數(shù)據(jù)和元數(shù)據(jù)，模型學(xué)習(xí)判斷房屋的結(jié)構(gòu)風(fēng)格。這一模型是由建筑師Kyle Steinfeld創(chuàng)造的，目的是幫助建筑師在設(shè)計(jì)時(shí)更好地使用CAD軟件。

熱狗識(shí)別器

由Jian Yang創(chuàng)造，幫助人們識(shí)別不同種類的食物，即圖中是否為熱狗。

水表監(jiān)控

模型查看一張帶有水箱的圖片，學(xué)習(xí)找到一個(gè)類似量表的東西，以計(jì)算水箱中的水量，用于全天候檢測(cè)和跟蹤家庭用水情況。

調(diào)音器

模型聽(tīng)到正在演奏的樂(lè)器時(shí)，能辨別這是哪種樂(lè)器。有了這種工具，就能讓調(diào)音軟件自動(dòng)選擇正確的樂(lè)器，不同人們手動(dòng)更改設(shè)置。

咖啡的重量

模型只要看到一張咖啡機(jī)的照片，就能學(xué)習(xí)計(jì)算其中含有多少盎司的咖啡。這一工具能幫助沖調(diào)一杯完美的咖啡，不需要用稱。

無(wú)人機(jī)自動(dòng)飛行

由Alessandro Giusti發(fā)明，它能讓無(wú)人機(jī)自動(dòng)沿崎嶇的山路飛行，通過(guò)學(xué)習(xí)無(wú)人機(jī)錄制的視頻畫(huà)面，了解山路的走向，有助于搜尋和營(yíng)救任務(wù)。

音樂(lè)可視化

讓模型聽(tīng)一首歌，并學(xué)習(xí)基于它獨(dú)特的音樂(lè)特征控制可視化表示。這一工具由Symmetry Labs發(fā)明，可以自動(dòng)控制VJ軟件。

Emoji Face

模型可以通過(guò)圖片中人物的表情，將其轉(zhuǎn)換成對(duì)應(yīng)的Emoji，從上圖的實(shí)驗(yàn)結(jié)果中可以看出，準(zhǔn)確度還是相當(dāng)高的。

Emoji Hand

和上一個(gè)工具一樣，它可以將圖中人們做出的手勢(shì)轉(zhuǎn)換成Emoji，以后就不用在Emoji庫(kù)中找到眼花繚亂了。

Emoji Drawing

將涂鴉轉(zhuǎn)換成Emoji，未來(lái)只要隨便畫(huà)上兩筆，就能選出想要的表情。

皮膚癌檢測(cè)

學(xué)習(xí)區(qū)分皮膚癌變區(qū)域和普通的痣，幫助醫(yī)生作出診斷。

畫(huà)四邊形

看到圖片中的人伸出兩根手指，模型自動(dòng)會(huì)根據(jù)手指畫(huà)出一個(gè)矩形邊框。這項(xiàng)工具可以讓人們?cè)趯?lái)用在AR設(shè)備上，估計(jì)或調(diào)整某個(gè)物體的大小。

手的角度

同樣是幾何問(wèn)題，模型可以測(cè)量圖中人手的角度。

唇語(yǔ)閱讀

讓模型觀看無(wú)聲的視頻，學(xué)習(xí)畫(huà)中人說(shuō)的什么，同時(shí)學(xué)習(xí)理解說(shuō)出的話。這項(xiàng)工具可以用來(lái)在安靜的公共場(chǎng)合打電話，同時(shí)不會(huì)影響到他人。

寶寶監(jiān)控儀

通過(guò)觀察固定在嬰兒床上的相機(jī)拍攝的照片，學(xué)習(xí)判斷寶寶是醒著還是睡著了，以通知父母寶寶的情況。

結(jié)語(yǔ)

據(jù)團(tuán)隊(duì)成員介紹，他們花了兩年的時(shí)間打造這款產(chǎn)品，一經(jīng)發(fā)布就受到很多人歡迎。目前已經(jīng)出現(xiàn)了很多用lobe支持的工具，涵蓋了生活的各個(gè)領(lǐng)域，我們也期待lobe能應(yīng)用到更多軟件中，探索深度學(xué)習(xí)模型的更多可能。