文字向后。時鐘逆時針運行。汽車在錯誤的道路上行駛。右手變成左手。

康奈爾大學的一個研究小組對反射如何以微妙而不是那么微妙的方式改變圖像產(chǎn)生了興趣，他們使用人工智能研究了將原稿與反射區(qū)分開的原因。他們的算法學會了從意想不到的線索（例如頭發(fā)部位，凝視方向以及令人驚訝的胡須）中發(fā)現(xiàn)-這些發(fā)現(xiàn)對于訓練機器學習模型和檢測偽造圖像具有啟示意義。

“宇宙不對稱。如果您翻轉(zhuǎn)圖像，也有差別，”諾厄·斯納夫利，在康奈爾大學科技計算機科學副教授和研究的資深作者說，“視覺手性在6月14日至19日舉行的2020年計算機視覺和模式識別會議上發(fā)表。“我對通過收集信息的新方法所能發(fā)現(xiàn)的發(fā)現(xiàn)很感興趣。”

林志奎‘20是該論文的第一作者;合著者是計算機科學助理教授安倍·戴維斯（Abe Davis）和康奈爾科技大學的博士后研究員JinSun。

Snavely說，區(qū)分原始圖像和反射圖像對于AI來說是一件非常容易的任務-基本的深度學習算法可以快速學習如何分類圖像是否以60%到90%的準確度進行翻轉(zhuǎn)，具體取決于所用圖像的種類。訓練算法。人們難以察覺到的許多線索。

在這項研究中，研究小組開發(fā)了創(chuàng)建熱圖的技術(shù)，該熱圖指示了算法感興趣的圖像部分，從而深入了解了如何做出這些決策。

他們毫不奇怪地發(fā)現(xiàn)，最常用的線索是文本，在每種書面語言中向后看起來都不同。為了了解更多信息，他們從數(shù)據(jù)集中刪除了帶有文本的圖像，并發(fā)現(xiàn)該模型關(guān)注的下一組特征包括手表，襯衫領（按鈕通常在左側(cè)），面部和電話-大多數(shù)人往往掌握右手–以及其他顯示右撇子的因素。

該算法傾向于集中于人臉，這似乎并不對稱，這引起了研究人員的興趣。“在某些方面，它留下的問題多于答案，” Snavely說。

然后，他們進行了另一項針對面部的研究，發(fā)現(xiàn)熱量圖在包括頭發(fā)部位，眼睛凝視在內(nèi)的區(qū)域照亮了（由于研究人員不知道的原因，大多數(shù)人凝視肖像照片中的左側(cè)）和胡須。

Snavely說他和他的團隊成員不知道該算法在胡須中發(fā)現(xiàn)了什么信息，但是他們假設人們梳理或刮臉的方式可以顯示出慣用的手感。

“這是視覺發(fā)現(xiàn)的一種形式，” Snavely說。“如果您可以在數(shù)百萬個圖像上大規(guī)模運行機器學習，也許您可??以開始發(fā)現(xiàn)有關(guān)世界的新事實。”

結(jié)果表明，這些線索中的每一個可能都不可靠，但是該算法可以通過組合多個線索來建立更大的置信度。研究人員還發(fā)現(xiàn)，該算法使用源自相機處理圖像的方式的低電平信號來做出決策。

盡管需要進行更多的研究，但是這些發(fā)現(xiàn)可能會影響機器學習模型的訓練方式。這些模型需要大量的圖像才能學習如何對圖片進行分類和識別，因此計算機科學家經(jīng)常使用現(xiàn)有圖像的反射來有效地將其數(shù)據(jù)集加倍。

Snavely說，檢查這些反射圖像與原始圖像的不同之處可能會揭示有關(guān)機器學習中可能導致結(jié)果不準確的偏見的信息。