7月6日，這可能是一年中最適合親吻的日子——國(guó)際接吻日（International Kissing Day）。

這個(gè)節(jié)日最早起源于英國(guó)。1991年這個(gè)節(jié)日得到了聯(lián)合國(guó)的承認(rèn)，也希望讓更多人知道，親吻的美好，這也是人類表達(dá)愛意最自然的一種方式。

那么，人工智能可以通過訓(xùn)練了解親吻嗎？

來自Netflix的一位高級(jí)數(shù)據(jù)科學(xué)家就對(duì)“kiss”鏡頭情有獨(dú)鐘，并且通過上百部電影接吻情節(jié)的定位，成功訓(xùn)練出了可以準(zhǔn)確識(shí)別電影親吻橋段的AI模型——模型的獨(dú)創(chuàng)性在于可以區(qū)別親吻與性行為。

大千世界，無所不能，AI也能檢測(cè)到"kiss"？

讓AI區(qū)別kiss和sex

作為愛情片的代表情節(jié)，“親吻”一直是很多觀眾最愛反復(fù)觀看的鏡頭。不管是《人鬼情未了》中Swayze和Demi Moore的經(jīng)典接吻橋段，還是《泰坦尼克號(hào)》中Rose和Jack的臨別一吻，都造就了經(jīng)典中的經(jīng)典。

而在電影觀看過程中，尋找kiss鏡頭，就成為了不少娛樂視頻場(chǎng)景下的一個(gè)真實(shí)需求。

這項(xiàng)基于人工智能識(shí)別接吻的研究由出自Netflix高級(jí)數(shù)據(jù)科學(xué)家Amir Ziai之手——此時(shí)他正在斯坦福大學(xué)攻讀人工智能研究生學(xué)位。

Ziai在上世紀(jì)好萊塢電影中挑選了100部有代表性的作品，并為電影片段手動(dòng)標(biāo)注“親吻”或“非親吻”標(biāo)簽，用靜態(tài)畫面和聲音片段來訓(xùn)練深度學(xué)習(xí)算法，以實(shí)現(xiàn)對(duì)親吻場(chǎng)景的畫面和聲音的識(shí)別。

為了避免任何人得到錯(cuò)誤的印象，目前還不能確定親吻識(shí)別算法能否用于***場(chǎng)景。Ziai說到，“在我的訓(xùn)練集中，我盡量避免出現(xiàn)***場(chǎng)景，這樣就能確保我的模型不會(huì)混淆接吻和***。”

Ziai目前的雇主Netflix并沒有參與到斯坦福大學(xué)的這個(gè)項(xiàng)目上，但該項(xiàng)目在arXiv中有詳細(xì)記載；另外，即使Ziai還沒去調(diào)研這項(xiàng)研究在Netflix上的應(yīng)用，但是不難想象，Netflix或其他公司（如YouTube，F(xiàn)acebook，Instagram和TikTok等處理大量流媒體或存儲(chǔ)視頻的公司）可能會(huì)對(duì)這一技術(shù)的商業(yè)應(yīng)用場(chǎng)景感興趣。

該圖是1990年的電影《人鬼情未了》中Swayze和Demi Moore的經(jīng)典接吻橋段，數(shù)據(jù)科學(xué)家便是用了近百部類似的電影橋段來訓(xùn)練AI模型識(shí)別親吻的行為。

感興趣的讀者可以閱讀論文原文，附上地址：

https://arxiv.org/pdf/1906.01843.pdf

“雙管齊下”：不僅視頻識(shí)別，還有kiss的音頻識(shí)別

應(yīng)用于接吻場(chǎng)景視覺識(shí)別最成功的深度學(xué)習(xí)模型是ResNet-18，這是一種圖像分類算法，且該算法經(jīng)來自ImageNet數(shù)據(jù)庫超過一百萬張圖像的預(yù)訓(xùn)練；而為了識(shí)別接吻場(chǎng)景的聲音，研究人員采用了名為VGGish的深度學(xué)習(xí)模型，通過每個(gè)以秒分段的場(chǎng)景的后960毫秒音頻訓(xùn)練。這種雙管齊下對(duì)接吻的圖像和音頻同時(shí)處理的AI方法使得訓(xùn)練出的模型獲得了驚人的F1分（算法精度和準(zhǔn)度的加權(quán)平均值，度量模型的一種指標(biāo)）——0.95。

ResNet-18模型結(jié)構(gòu)圖

在模型結(jié)構(gòu)中，采用"shortcut connection”方式，也就是上圖中的弧線來減少卷積網(wǎng)絡(luò)傳播過程中的計(jì)算和參數(shù)量，感興趣的讀者可以研究下，VGGish是是產(chǎn)生音頻數(shù)據(jù)集的工具,一般用于音頻分類。

github網(wǎng)址如下：

https://github.com/tensorflow/models/tree/master/research/audioset

不過在面對(duì)電影場(chǎng)景中一些棘手的片段或某些拍攝機(jī)視角時(shí)，該模型還是略顯吃力。例如，遠(yuǎn)景或廣角的接吻鏡頭會(huì)使算法產(chǎn)生混淆，因?yàn)榇祟愐曨l片段中包含了太多背景畫面。此外，一些快節(jié)奏的視頻片段和不同時(shí)包含兩個(gè)演員的鏡頭對(duì)模型來講也都是極大的挑戰(zhàn)。

電影《Titanic》中Jack和Rose在郵輪甲板上擁吻圖片

深度學(xué)習(xí)是一個(gè)“黑盒子”，我們很難弄清楚深度學(xué)習(xí)模型實(shí)現(xiàn)預(yù)測(cè)時(shí)所使用的的具體數(shù)據(jù)模式。為了嘗試?yán)斫釧I的邏輯，人們通常采用的一種方法是使用顯著地形圖來可視化分析過程中受到AI關(guān)注最多的數(shù)據(jù)。在好萊塢影片識(shí)別接吻場(chǎng)景的項(xiàng)目中，深度學(xué)習(xí)模型似乎更加關(guān)注與演員面部相關(guān)的圖像像素點(diǎn)。

Ziai表示，即使是在少量有限的實(shí)驗(yàn)中也可以看出，人工智能更依賴視覺特征而不是音頻特征來識(shí)別接吻場(chǎng)景。他發(fā)現(xiàn)“精心挑選的數(shù)據(jù)集”對(duì)于訓(xùn)練接吻檢測(cè)系統(tǒng)有很大幫助，這類數(shù)據(jù)可以讓該系統(tǒng)利用更多的上下文信息來檢測(cè)接吻，而不僅僅是通過靜態(tài)圖像。

AI“kiss”之原理

AI模型是如何習(xí)得這種能力呢？

和初吻尚在的人類學(xué)習(xí)基本親吻知識(shí)的途徑一樣，AI模型基于已經(jīng)成熟的深度學(xué)習(xí)算法，觀看各式各樣的好萊塢明星上演的浪漫擁吻片段，通過這種大量的訓(xùn)練來識(shí)別影片中人物的面部表情和定位嘴唇，數(shù)據(jù)科學(xué)家說明了AI系統(tǒng)如何能夠更深入地了解最親密的人類活動(dòng)的原理。

讓AI識(shí)別kiss有什么用？

早在2019年4月，谷歌宣布其智能手機(jī)Pixel已更新其Photobooth功能，這項(xiàng)功能可以在你面部表情發(fā)生變化的時(shí)候自動(dòng)拍照，比如說微笑、親吻、嘟嘴、伸舌頭等等，該功能可是使智能手機(jī)從手機(jī)拍攝的視頻中識(shí)別出接吻畫面。

具體來說，當(dāng)你按下Photobooth功能的拍攝按鍵之后，手機(jī)的AI就會(huì)自動(dòng)分析你的臉部表情。根據(jù)不同狀態(tài)，手機(jī)會(huì)自動(dòng)判定「最佳時(shí)刻」，并將這一刻記錄下來。同樣，Ziai研發(fā)的應(yīng)用端視頻接吻識(shí)別技術(shù)使我們看到了視頻內(nèi)容自動(dòng)分類，用戶個(gè)性化視頻推薦，甚至視頻在線內(nèi)容審核的未來。

Pixel手機(jī)Photobooth功能拍攝的靜態(tài)圖片

OpenAI的策略和傳播主管Jack Clark在他的文章《Import AI newsletter》中重點(diǎn)強(qiáng)調(diào)了這項(xiàng)研究的意義：“現(xiàn)代計(jì)算機(jī)視覺技術(shù)已經(jīng)使得開發(fā)特定的'感知和響應(yīng)類'軟件變得相當(dāng)容易，諸如識(shí)別定性或非結(jié)構(gòu)化的東西，識(shí)別電影中的接吻場(chǎng)景就是一個(gè)極佳的例子，但此類AI對(duì)個(gè)人軟件的應(yīng)用能力明顯被低估。”

AI“kiss”之未來

好萊塢影片數(shù)據(jù)集和計(jì)算資源由斯坦福大學(xué)計(jì)算機(jī)科學(xué)助理教授Kayvon Fatahalian的實(shí)驗(yàn)室提供。

目前，這個(gè)用100部好萊塢影片（如《安娜·卡列尼娜》（1935），《人鬼情未了》（1990）和《007：大戰(zhàn)皇家賭場(chǎng)》（2006）等）訓(xùn)練的AI模型在面對(duì)更大規(guī)模的影片時(shí)性能尚不清楚。但Ziai表示，在經(jīng)超過80個(gè)影片進(jìn)行訓(xùn)練后，該模型只看到了“邊際改善”。

另一個(gè)值得關(guān)注的問題是這種AI模型在檢測(cè)來自社交媒體的不同類型接吻場(chǎng)景視頻時(shí)否能達(dá)到相似的準(zhǔn)確度。這是個(gè)極大的挑戰(zhàn)，可能需要模型對(duì)更多的視頻數(shù)據(jù)集進(jìn)行額外訓(xùn)練，而且訓(xùn)練集中不能僅包含那些出現(xiàn)在電影銀幕上諸如Patrick Swayze和Demi Moore的好萊塢明星。盡管如此，從一些非常初步的測(cè)試中能看出，這種基于AI的接吻測(cè)技術(shù)會(huì)有很好的的應(yīng)用前景。

“未來研究將盡量使用更多樣化的數(shù)據(jù)集，以確保模型不會(huì)對(duì)于某種類型的電影過擬合，”Ziai說道，“不過有趣的是，該模型在我所選的YouTube視頻上性能表現(xiàn)得相當(dāng)好。”