你是否想過有一天，某款APP能識別你的表情，將其生成已有的Emoji?；蛘弋斈愦蜷_攝像機對著一株植物，它能立即顯示植物的名字。甚至當你不在家時，它還能幫你監(jiān)控嬰兒，如果寶寶醒了會立刻通知你……這些智能化的行為如今在一項名為lobe的工具上都能實現(xiàn)了，這款可視化工具能建立、訓練并安裝個性化的深度學習模型，而且開發(fā)者不用編寫任何代碼。

Lobe由一家位于美國舊金山的創(chuàng)業(yè)公司打造，其發(fā)明者認為，建立深度學習模型是一個非常緩慢且復雜的過程，其中最難的地方是找到一個起點，可供學習的語言有很多，甚至當你準備好的時候，很難想象并理解自己到底要做什么。這就是他們創(chuàng)建Lobe的原因，它可以讓來自不同背景和專業(yè)的人用深度學習進行發(fā)明創(chuàng)造。

只需拖動文件夾，它將自己學習

Lobe是一款易于使用的可視化工具，你可以創(chuàng)建自定義深度學習模型，快速訓練，無需編寫任何代碼就能將其直接部署到APP中。

整個過程分為三部分。第一步，模型構建。先從桌面拖動一個訓練示例文件夾，Lobe將自動創(chuàng)建一個深度學習模型并開始訓練。然后它會調整設置并連接預訓練部分對模型進行微調。

第二步，訓練。隨著模型的改進，你可以使用交互式圖表和測試結果實時監(jiān)控培訓進度。在云端的訓練能快速生成結果，同時不會降低計算機的速度。

第三步，部署。訓練完成后，你可以導出經過訓練的模型到CoreML或TensorFlow，然后將其安裝在iOS或安卓的應用中。或者使用簡單方便的Lobe開發(fā)者API，直接從云端遠程運行模型。

把lobes連接在一起

將智能構建模塊lobes連接在一起，以快速創(chuàng)建自定義深度學習模型。例如，連接Hand & Face lobe可以查找圖像中最顯眼的手。然后連接Detect Feature lobe，以查找手中的重要特征。最后連接Generate Labels lobe，預測圖中對應什么emoji。通過調整每個lobe的獨特設置來優(yōu)化你的模型，或者深入內部編輯某個lobe的子層。

數據集可視化

在lobe工具中，模型訓練的資料能以視覺化的方式呈現(xiàn)，提供使用者瀏覽并拖拉排序的所有資料。點擊圖標就能查看這個例子是如何在模型中工作的。你的數據集也可以自動分成Lesson和Test兩部分。Lesson可以教模型如何訓練，Test是用來評估模型在真實世界里它從未見過的例子上表現(xiàn)得如何。

實時查看結果

由于在云端訓練的速度非常快，你能隨時得到模型表現(xiàn)的結果，計算機的速度也不會減慢。你可以通過交互圖表控制模型的精確度，理解它是如何隨時間進行改進的。最終它會自動選擇最佳精確度，所以你無需擔心出現(xiàn)過度擬合的情況。

對每層進行高級控制

lobe雖然提供了高階的操作工具，但是底層建立在深度學習框架TensorFlow和Keras基礎之上，因此lobe可以讓你深入了解模型的每一層。調整參數、添加圖層、用數百個高級lobes塊設計全新的體系結構。而這些操作皆在使用者拖拉界面的時候同步生效。

添加到你的應用中

當模型完成訓練后，它可以導出到TensorFlow或CoreML，并直接在你的app中運行。或者通過Lobe開發(fā)者API，你的模型可以被傳送到云服務器中，然后用你選擇的語言與app進行整合。由于Lobe建立在行業(yè)標準之上，你的模型性能和兼容性是一流的（原文附各語言部署代碼：https://lobe.ai）。

用Lobe探索世界

有了這款工具，人們可以做各種有難度的任務，包括繪制建筑結構、控制無人機、生成花瓣圖像、控制音樂可視化、辨認植物、調整樂器、檢測癌癥、讀唇語等等。以下是人們利用lobe做出的一些奇妙的任務。

手和臉的定位

這項任務的目的是給定一張人像照片，模型要學會在人物的臉部和手部畫邊界框。這項工具只是其他Lobe模型（例如Emoji Hands and Face）中的其中一個部件。

加州植物

顧名思義，就是讓模型看圖片中的植物，并辨認出它是什么品種。創(chuàng)造它的目的是為了提醒人們哪些植物有毒。

玫瑰花瓣生成器

通過觀察數千張玫瑰花瓣的照片，模型可以學會生成全新的、逼真的玫瑰花瓣。這是由藝術家Sarah Meyohas發(fā)明的，她的目的是研究技術與美學之間的關系。

房屋結構透視

通過觀看不同風格房屋的3D模型以及測量數據和元數據，模型學習判斷房屋的結構風格。這一模型是由建筑師Kyle Steinfeld創(chuàng)造的，目的是幫助建筑師在設計時更好地使用CAD軟件。

熱狗識別器

由Jian Yang創(chuàng)造，幫助人們識別不同種類的食物，即圖中是否為熱狗。

水表監(jiān)控

模型查看一張帶有水箱的圖片，學習找到一個類似量表的東西，以計算水箱中的水量，用于全天候檢測和跟蹤家庭用水情況。

調音器

模型聽到正在演奏的樂器時，能辨別這是哪種樂器。有了這種工具，就能讓調音軟件自動選擇正確的樂器，不同人們手動更改設置。

咖啡的重量

模型只要看到一張咖啡機的照片，就能學習計算其中含有多少盎司的咖啡。這一工具能幫助沖調一杯完美的咖啡，不需要用稱。

無人機自動飛行

由Alessandro Giusti發(fā)明，它能讓無人機自動沿崎嶇的山路飛行，通過學習無人機錄制的視頻畫面，了解山路的走向，有助于搜尋和營救任務。

音樂可視化

讓模型聽一首歌，并學習基于它獨特的音樂特征控制可視化表示。這一工具由Symmetry Labs發(fā)明，可以自動控制VJ軟件。

Emoji Face

模型可以通過圖片中人物的表情，將其轉換成對應的Emoji，從上圖的實驗結果中可以看出，準確度還是相當高的。

Emoji Hand

和上一個工具一樣，它可以將圖中人們做出的手勢轉換成Emoji，以后就不用在Emoji庫中找到眼花繚亂了。

Emoji Drawing

將涂鴉轉換成Emoji，未來只要隨便畫上兩筆，就能選出想要的表情。

皮膚癌檢測

學習區(qū)分皮膚癌變區(qū)域和普通的痣，幫助醫(yī)生作出診斷。

畫四邊形

看到圖片中的人伸出兩根手指，模型自動會根據手指畫出一個矩形邊框。這項工具可以讓人們在將來用在AR設備上，估計或調整某個物體的大小。

手的角度

同樣是幾何問題，模型可以測量圖中人手的角度。

唇語閱讀

讓模型觀看無聲的視頻，學習畫中人說的什么，同時學習理解說出的話。這項工具可以用來在安靜的公共場合打電話，同時不會影響到他人。

寶寶監(jiān)控儀

通過觀察固定在嬰兒床上的相機拍攝的照片，學習判斷寶寶是醒著還是睡著了，以通知父母寶寶的情況。

結語

據團隊成員介紹，他們花了兩年的時間打造這款產品，一經發(fā)布就受到很多人歡迎。目前已經出現(xiàn)了很多用lobe支持的工具，涵蓋了生活的各個領域，我們也期待lobe能應用到更多軟件中，探索深度學習模型的更多可能。