要說(shuō)目前最火的用到手機(jī)攝像頭的應(yīng)用是什么，毫無(wú)疑問(wèn)非二維碼識(shí)別莫屬了。微信帶起來(lái)的二維碼熱，幾乎已經(jīng)改變了整個(gè)世界的支付方式、社交方式。

但二維碼的設(shè)計(jì)畢竟是為了對(duì)算法友好，人眼看起來(lái)就丑了些。

一種天然的想法是，能否把信息嵌入到照片里去？想象一下如果給一張個(gè)人大頭照，就可以自動(dòng)提取里面的名片信息，或者掃個(gè)風(fēng)景照就支付，那看起來(lái)就自然多了。

實(shí)際上用圖像檢索的方式可以在一定程度上實(shí)現(xiàn)上述功能，提取特征然后到服務(wù)器上匹配圖像，把對(duì)應(yīng)信息下載下來(lái)。

傳統(tǒng)的AR（增強(qiáng)現(xiàn)實(shí)）就是這么做的。但這需要聯(lián)網(wǎng)，而且對(duì)于紋理不豐富的圖片，檢索效果很差，也沒(méi)有很好的信息校正機(jī)制。以前有一家國(guó)內(nèi)電商用類似圖像檢索的方式做過(guò)拍書(shū)籍封面搜商品的應(yīng)用，但用的人并不是很多。

深度學(xué)習(xí)時(shí)代，能否實(shí)現(xiàn)照片“隱寫(xiě)術(shù)“？

幾天前看到一篇論文，感覺(jué)距離實(shí)現(xiàn)這個(gè)目標(biāo)不遠(yuǎn)了。

論文題目“StegaStamp: Invisible Hyperlinks in Physical Photographs”，翻譯一下就是《隱寫(xiě)郵票：自然照片中嵌入不可見(jiàn)超鏈接》，Stega有隱寫(xiě)術(shù)的意思。

這篇論文作者來(lái)自美國(guó)加州大學(xué)伯克利分校。

作者的想法就是把信息寫(xiě)入圖像中，使打印出來(lái)的圖片感知度不被破壞，同時(shí)拍攝打印的圖片還能把信息解碼出來(lái)！

下圖把這個(gè)一目了然表達(dá)了出來(lái)。需要說(shuō)明的是，作者論文中說(shuō)不只是打印照片支持拍照再解碼，顯示在屏幕上也能拍照后解碼。

細(xì)節(jié)的流程是這樣的，如下圖：

圖像與要嵌入的信息經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)編碼成新的照片，經(jīng)過(guò)打印或者屏幕顯示后再拍攝，把得到的圖像經(jīng)過(guò)檢測(cè)算法得到校正后的圖像區(qū)域，該圖像經(jīng)過(guò)解碼算法得到嵌入圖像里的信息。

這個(gè)過(guò)程中，我們不免有疑問(wèn)，信息嵌入會(huì)不會(huì)影響照片的視覺(jué)感知？另外，信息嵌入是可以，但經(jīng)過(guò)打印或者再次成像后拍照，外界的環(huán)境變化可能很大，如何保證提取信息的魯棒性？

在目前該文的算法中，嵌入信息過(guò)多的確會(huì)影響視覺(jué)感知，但作者實(shí)驗(yàn)嵌入100bits信息還是OK的。

下圖展示了，嵌入信息后（第二列）與原始圖像（第一列）的差異（第三列）。視覺(jué)上幾乎難以分辨不同。

至于解決魯棒性的問(wèn)題，做法是在訓(xùn)練解碼器的時(shí)候，模擬真實(shí)的圖像質(zhì)量退化模型對(duì)嵌入信息的圖像做變換。如下圖：

包括圖像透視變換、模糊化、顏色操作、加噪聲、JPEG壓縮。

最終該文得到的效果還是很不錯(cuò)的！

在大多數(shù)情況下都能100%正確解碼！

下圖為更多圖像的識(shí)別結(jié)果：

同時(shí)該算法對(duì)各種真實(shí)世界的環(huán)境影響均有魯棒性。

這是對(duì)抗光照變化：

這是對(duì)抗視角變化：

這是對(duì)抗局部遮擋：

這是對(duì)抗光線反射：

是不是很神奇？！

這個(gè)算法感覺(jué)很有用，不知道作者申請(qǐng)了專利沒(méi)有。

作者已經(jīng)開(kāi)源了代碼：

https://github.com/tancik/StegaStamp

該項(xiàng)目主頁(yè)：

http://www.matthewtancik.com/stegastamp

論文地址：

https://arxiv.org/abs/1904.05343

有了這個(gè)技術(shù)，很多有趣的東西可以做出來(lái)，它不僅可以作為超鏈接，還可以在用戶不知情的情況下對(duì)照片和屏幕嵌入信息。。。