風格遷移一直是很多讀者感興趣的內容之一，近日，網友Reiichiro Nakano公開了自己的一個實現：用TensorFlow.js在瀏覽器中部署可進行任意圖像風格遷移的模型。讓我們一起去看看吧！

GitHub：github.com/reiinakano/arbitrary-image-stylization-tfjs

小工具：reiinakano.github.io/arbitrary-image-stylization-tfjs/

遷移效果

所謂風格遷移，指的是神經網絡通過遷移算法，用另一種風格（通常是畫）重新“繪制”一張圖像中的內容（通常是照片）?，F如今，能在瀏覽器中實時進行風格遷移的項目有很多，但它們中的大多數都需要針對每種風格訓練獨立的神經網絡，所以用戶的選擇大大受限。

Reiichiro Nakano提供的模型突破了以往模型的局限，它能將任何風格圖像分解為表示其風格的100維向量，然后把這些向量結合照片信息一起饋送到另一個神經網絡，以產生最終的風格化圖像。

首先，我們來看看這個風格遷移模型的具體效果：

一種風格下的風格遷移

兩種風格下的風格遷移

演示網站

上圖是小編在作者開發的演示網站里測試的結果，感興趣的讀者可以前去一試?？梢园l現，雖然談不上特別令人驚艷，但遷移的整體效果還是非常不錯的，更可貴的是，它支持任意圖像、任意風格的遷移，允許手動上傳圖片。

如果硬要說有什么不足，那就是網站的延遲有點高（選取圖像/風格后無法及時跳轉，也許是水管不行）。此外，在對構圖空曠的圖像（如加州金門大橋）進行風格遷移時，我們發現粗糲線條風格（如bricks）容易弱化主體線條，使遷移后的圖像幾乎沒有內容。

技術來源

為了實現這個項目，作者參考的是2017 BMVC的一篇Oral Paper：Exploring the structure of a real-time, arbitrary neural artistic stylization network（arXiv:1705.06830）。

這篇論文結合靈活的風格遷移技術和快速網絡傳輸，提出了一種允許使用任何內容/風格圖像對進行實時風格化的網絡。在包含約80,000幅畫作的語料庫上經過訓練后，論文模型不僅在訓練過的風格上表現出色，還能夠推廣到從未見過的風格和照片。也就是說，這是一個能以完全無監督的方式學習平滑的、結構豐富的嵌入空間，以及與風格繪畫相關聯的語義信息的模型。

一般來說，風格遷移模型的輸入有兩個，一是包含圖像內容的照片c，二是包含圖像風格的繪畫s。這類算法假定圖像的內容和風格可以定義如下：

如果模型從兩幅圖像中提取到的高級特征歐氏距離接近，則兩個圖像的內容相似。

如果模型從兩幅圖像中提取到的低級特征有相同的空間統計，則兩個圖像的風格相似。

根據這兩個定義，風格遷移的優化目標可以表示為：

其中Lc(x, c)和Ls(x, s)分別是內容和風格的損失函數，λs是風格損失函數經拉格朗日乘數加權后表示的相對權重。

論文作者改進了這一做法。他們在風格遷移網絡前添加了一個預測網絡P(·)，它以任意風格的圖像作為輸入，并預測歸一化常數的嵌入向量→S，這樣做的優勢是模型能把學到的遷移方法推廣到其他圖像上。

論文模型架構

從本質上來說，這個模型直接學習的是從風格圖像到風格參數的映射。在Kaggle Painter By Numbers（內容）和Describable Textures Dataset（風格）兩個數據集上進行了訓練后，模型輸出的風格遷移效果如下圖（左）所示：

網絡是聯合訓練的，但它只用少量訓練圖像就模擬了多種風格，這意味著我們沒有必要為每種風格單獨設定拉格朗日乘數λs。 也就是說，同一個損失加權就足以在所有繪畫風格和紋理上產生合理的結果。上圖（右）則證明，該模型能夠預測以前從未見到的風格和紋理樣式，它們在質量上與訓練集樣本的風格和紋理幾乎一致。

開源答疑

在GitHub上，開源項目的Reiichiro Nakano向開發者重點提了一些注意事項。

問：我的數據安全嗎？你會看到我提交的圖片嗎？

當你在演示網站里測試風格遷移時，你的數據和圖片只會在你自己的計算機上留下痕跡。事實上，這也是在瀏覽器中運行神經網絡的主要優勢之一。我只是把模型和代碼發給你，由你在自己的瀏覽器上運行模型。

問：如果我想下載，模型一共多大？

風格神經網絡的大小是9.6MB，遷移網絡大概有7.9MB。它們在任何風格上都有效，所以你只用下一次就可以了。

問：你的模型和論文模型一模一樣嗎？

不完全一樣，論文的風格網絡用的是Inception-v3（大約96.2MB），太大了。所以在把模型移植到瀏覽器上之前，我用MobileNet-v2從預訓練的Inception-v3網絡中提取了知識，把大小縮小到了論文的1/10。

問：風格組合的具體方法是什么？

由于風格網絡可以把每種風格映射成100維的風格向量，所以我們只需對內容和風格圖像的風格向量進行加權平均，把計算結果作為遷移網絡的輸入，即可獲得新風格向量。