人工智能已經(jīng)發(fā)展到了今天了，創(chuàng)造出“賈維斯”還有點(diǎn)困難。但是，將素面直接變成拉面......嗯，也挺困難的。

那么，能不能將素面的外形看起來像拉面？吃不到那個(gè)味道，我看看總行了吧！

大家都知道，現(xiàn)在GAN（generative adversarial network 生成對(duì)抗網(wǎng)絡(luò)）合成的假圖片可以完美騙過人類了，經(jīng)過語音數(shù)據(jù)的訓(xùn)練也能造一只柯南的變聲蝴蝶結(jié)了。

嗯，技術(shù)就是這么神奇，通過將GAN和AR技術(shù)結(jié)合，真的能把素面吃出拉面味！

在IEEEVR會(huì)議召開之際，日本奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)和電氣通信大學(xué)的研究組發(fā)布了一個(gè)實(shí)時(shí)味覺操作系統(tǒng)，這個(gè)系統(tǒng)通過 GAN將食物的外觀進(jìn)行圖像轉(zhuǎn)換，之后利用 AR 將這個(gè)圖片疊加到真實(shí)圖片上，從視覺上來引起味覺上的錯(cuò)覺。

此論文被IEEEVR收錄，并作為Demo展出。

論文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

作者：Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi

所屬：Nara Institute of Science and Technology; The University of Electro-Communications; The University of Tokyo

具體來說，是提出了一種通過 GAN 將真實(shí)食物實(shí)時(shí)轉(zhuǎn)換為其他食物圖像，從而操縱味覺的方法。這個(gè)方法主要是通過實(shí)時(shí)轉(zhuǎn)換食物的外觀（顏色和紋理），以從視覺層面控制味覺。

首先是從視頻透視型頭盔顯示器（HTC VIVE Pro）的前置攝像頭獲取 RGB 圖像，然后將其發(fā)送到服務(wù)器。服務(wù)器端將所獲圖像中心切割出來，再將其轉(zhuǎn)換為另一個(gè)食物圖像。圖像轉(zhuǎn)換后，最后將轉(zhuǎn)換的圖像疊加在真實(shí)圖像上去。

對(duì)于食物到食物的圖像轉(zhuǎn)換，這里用了基于 StarGAN 的網(wǎng)絡(luò)架構(gòu)，實(shí)時(shí)運(yùn)行。因此，該系統(tǒng)可以根據(jù)原始食物的變化，動(dòng)態(tài)并且可交互地進(jìn)行操作。此外，因?yàn)槭窃谝欢ǔ潭壬媳３衷际澄镆曈X特性的同時(shí)進(jìn)行調(diào)整，從而在轉(zhuǎn)換后能產(chǎn)生更自然的錯(cuò)覺 。還有，比如說吃面的時(shí)候，不僅可以把素面變成拉面，同時(shí)還能變成像炒面這樣各種各樣的面。

注：不同于Pix2Pix和CycleGAN針對(duì)解決一對(duì)一的問題，即一個(gè)領(lǐng)域到另一個(gè)領(lǐng)域的轉(zhuǎn)換。StarGAN可以解決多領(lǐng)域要轉(zhuǎn)換。具體來說，StarGAN就是將多領(lǐng)域轉(zhuǎn)換用統(tǒng)一框架實(shí)現(xiàn)的算法，在同一種模型下，可以做多個(gè)圖像翻譯任務(wù)，比如更換頭發(fā)顏色，更換表情，更換年齡等。

為了訓(xùn)練網(wǎng)絡(luò)，研究人員從五種食物類別（拉面，炒面，白米飯，咖喱飯，炒飯）中創(chuàng)建了有 149,370 張食物圖像的數(shù)據(jù)集。在演示視頻中，我們可以看到系統(tǒng)將素面變成拉面或者炒面，將白米轉(zhuǎn)換成咖喱飯或炒飯，可以在吃一種食物的時(shí)候體驗(yàn)到一種仿佛在吃另一種食物的味覺幻覺。

素面變拉面，一位拉面“狂魔”的技術(shù)之路

這篇技術(shù)論文的第一作者是Kizashi Nakano，一位對(duì)拉面有著狂熱般的熱愛。就連他的facebook主頁上的個(gè)人資料都標(biāo)注著我想吃拉面......

根據(jù)Facebook上面的資料，Kizashi Nakano是日本奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)的研究生，擅長(zhǎng)的領(lǐng)域是VR、AR、MR。

其實(shí)，關(guān)于拉面味覺變換的研究，他已經(jīng)做了兩個(gè)了，而且，第一個(gè)項(xiàng)目已經(jīng)獲得了國(guó)家級(jí)別的獎(jiǎng)勵(lì)。

將自己的興趣愛好玩的如此高端，也是非常令人佩服的。在一次采訪中，這位同學(xué)說出了他做這項(xiàng)研究的原因：“我非常喜歡吃拉面，但是自從生了一次病之后，就無法嘗到這個(gè)味道了，但我還是忘不了拉面！我想再次吃到拉面！并且，我一直都這么認(rèn)為。后來我想，如果看一下拉面圖像并吃掉別的東西，那么就有可能再次擁有拉面的味道了吧！所以我決定“嘗試虛擬現(xiàn)實(shí)的研究”。

據(jù)介紹，他在高中的時(shí)候，就從事過機(jī)器人等相關(guān)研究。進(jìn)入大學(xué)之后，他想一定要精通編程，并用它進(jìn)行相關(guān)研究。因此，大一的時(shí)候，他參加了由文部科學(xué)省主辦的“科學(xué)學(xué)院”的研究，成為了學(xué)生志愿者組成的“FIT袖珍實(shí)驗(yàn)室（FITポケットラボ）”的一員。兩年后，覺得沒有什么有趣的研究題材的時(shí)候，他的小伙伴也參與了進(jìn)來。

注：FIT袖珍實(shí)驗(yàn)室是福岡工業(yè)大學(xué)信息工程學(xué)院的跨學(xué)科工作之一，專注于低年級(jí)的獨(dú)特學(xué)術(shù)研究活動(dòng)。參與者確定他們想要做的研究主題，接受前輩和教授的建議，并且可以進(jìn)行一年的實(shí)驗(yàn)和研究。

他的小伙伴名字為津田，也曾在在福岡工業(yè)大學(xué)就讀，兩人在大學(xué)相識(shí)，并合力做了味覺變換的研究，發(fā)布了“利用增強(qiáng)現(xiàn)實(shí)技術(shù)開發(fā)味覺操縱系統(tǒng)”，并獲得了國(guó)家級(jí)別的獎(jiǎng)勵(lì)。所以被IEEEVR收錄的這項(xiàng)研究肯定也離不開津田的支持和幫助。

這種味覺轉(zhuǎn)換的研究在學(xué)界并不是很多，在剛接觸的時(shí)候，Kizashi Nakano表示，他和他的小伙伴經(jīng)歷了許多挫折，為了讓效果更逼真，圖像更清晰，兩位反復(fù)試錯(cuò)，嘗試過各種各樣的食物。最后在測(cè)試的時(shí)候，80%的人稱食物的味道確實(shí)改變了。

其實(shí)，終極的虛擬現(xiàn)實(shí)體驗(yàn)將包含所有的感官感覺，包括嗅覺和味覺，而行業(yè)和社區(qū)一直在不斷探索相關(guān)的實(shí)現(xiàn)方式。例如，東京大學(xué)的研究人員就曾經(jīng)提出過利用電顎刺激GJS技術(shù)，從而更好地改變味覺并控制味道。這種GAN&AR技術(shù)結(jié)合的研究項(xiàng)目，相信也能夠給予虛擬現(xiàn)實(shí)研究者新的方向吧。