通過將GAN和AR技術(shù)結(jié)合，真的能把素面吃出拉面味！

人工智能已經(jīng)發(fā)展到了今天了，創(chuàng)造出“賈維斯”還有點困難。但是，將素面直接變成拉面......嗯，也挺困難的。

那么，能不能將素面的外形看起來像拉面？吃不到那個味道，我看看總行了吧！

大家都知道，現(xiàn)在GAN（generative adversarial network 生成對抗網(wǎng)絡(luò)）合成的假圖片可以完美騙過人類了，經(jīng)過語音數(shù)據(jù)的訓(xùn)練也能造一只柯南的變聲蝴蝶結(jié)了。

嗯，技術(shù)就是這么神奇，通過將GAN和AR技術(shù)結(jié)合，真的能把素面吃出拉面味！

在IEEEVR會議召開之際，日本奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)和電氣通信大學(xué)的研究組發(fā)布了一個實時味覺操作系統(tǒng)，這個系統(tǒng)通過 GAN將食物的外觀進(jìn)行圖像轉(zhuǎn)換，之后利用 AR 將這個圖片疊加到真實圖片上，從視覺上來引起味覺上的錯覺。

此論文被IEEEVR收錄，并作為Demo展出。

論文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

作者：Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi

所屬：Nara Institute of Science and Technology; The University of Electro-Communications; The University of Tokyo

具體來說，是提出了一種通過 GAN 將真實食物實時轉(zhuǎn)換為其他食物圖像，從而操縱味覺的方法。這個方法主要是通過實時轉(zhuǎn)換食物的外觀（顏色和紋理），以從視覺層面控制味覺。

首先是從視頻透視型頭盔顯示器（HTC VIVE Pro）的前置攝像頭獲取 RGB 圖像，然后將其發(fā)送到服務(wù)器。服務(wù)器端將所獲圖像中心切割出來，再將其轉(zhuǎn)換為另一個食物圖像。圖像轉(zhuǎn)換后，最后將轉(zhuǎn)換的圖像疊加在真實圖像上去。

對于食物到食物的圖像轉(zhuǎn)換，這里用了基于 StarGAN 的網(wǎng)絡(luò)架構(gòu)，實時運行。因此，該系統(tǒng)可以根據(jù)原始食物的變化，動態(tài)并且可交互地進(jìn)行操作。此外，因為是在一定程度上保持原始食物視覺特性的同時進(jìn)行調(diào)整，從而在轉(zhuǎn)換后能產(chǎn)生更自然的錯覺 。還有，比如說吃面的時候，不僅可以把素面變成拉面，同時還能變成像炒面這樣各種各樣的面。

注：不同于Pix2Pix和CycleGAN針對解決一對一的問題，即一個領(lǐng)域到另一個領(lǐng)域的轉(zhuǎn)換。StarGAN可以解決多領(lǐng)域要轉(zhuǎn)換。具體來說，StarGAN就是將多領(lǐng)域轉(zhuǎn)換用統(tǒng)一框架實現(xiàn)的算法，在同一種模型下，可以做多個圖像翻譯任務(wù)，比如更換頭發(fā)顏色，更換表情，更換年齡等。

為了訓(xùn)練網(wǎng)絡(luò)，研究人員從五種食物類別（拉面，炒面，白米飯，咖喱飯，炒飯）中創(chuàng)建了有 149,370 張食物圖像的數(shù)據(jù)集。在演示視頻中，我們可以看到系統(tǒng)將素面變成拉面或者炒面，將白米轉(zhuǎn)換成咖喱飯或炒飯，可以在吃一種食物的時候體驗到一種仿佛在吃另一種食物的味覺幻覺。

素面變拉面，一位拉面“狂魔”的技術(shù)之路

這篇技術(shù)論文的第一作者是Kizashi Nakano，一位對拉面有著狂熱般的熱愛。就連他的facebook主頁上的個人資料都標(biāo)注著我想吃拉面......

根據(jù)Facebook上面的資料，Kizashi Nakano是日本奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)的研究生，擅長的領(lǐng)域是VR、AR、MR。

其實，關(guān)于拉面味覺變換的研究，他已經(jīng)做了兩個了，而且，第一個項目已經(jīng)獲得了國家級別的獎勵。

將自己的興趣愛好玩的如此高端，也是非常令人佩服的。在一次采訪中，這位同學(xué)說出了他做這項研究的原因：“我非常喜歡吃拉面，但是自從生了一次病之后，就無法嘗到這個味道了，但我還是忘不了拉面！我想再次吃到拉面！并且，我一直都這么認(rèn)為。后來我想，如果看一下拉面圖像并吃掉別的東西，那么就有可能再次擁有拉面的味道了吧！所以我決定“嘗試虛擬現(xiàn)實的研究”。

據(jù)介紹，他在高中的時候，就從事過機(jī)器人等相關(guān)研究。進(jìn)入大學(xué)之后，他想一定要精通編程，并用它進(jìn)行相關(guān)研究。因此，大一的時候，他參加了由文部科學(xué)省主辦的“科學(xué)學(xué)院”的研究，成為了學(xué)生志愿者組成的“FIT袖珍實驗室（FITポケットラボ）”的一員。兩年后，覺得沒有什么有趣的研究題材的時候，他的小伙伴也參與了進(jìn)來。

注：FIT袖珍實驗室是福岡工業(yè)大學(xué)信息工程學(xué)院的跨學(xué)科工作之一，專注于低年級的獨特學(xué)術(shù)研究活動。參與者確定他們想要做的研究主題，接受前輩和教授的建議，并且可以進(jìn)行一年的實驗和研究。

他的小伙伴名字為津田，也曾在在福岡工業(yè)大學(xué)就讀，兩人在大學(xué)相識，并合力做了味覺變換的研究，發(fā)布了“利用增強(qiáng)現(xiàn)實技術(shù)開發(fā)味覺操縱系統(tǒng)”，并獲得了國家級別的獎勵。所以被IEEEVR收錄的這項研究肯定也離不開津田的支持和幫助。

這種味覺轉(zhuǎn)換的研究在學(xué)界并不是很多，在剛接觸的時候，Kizashi Nakano表示，他和他的小伙伴經(jīng)歷了許多挫折，為了讓效果更逼真，圖像更清晰，兩位反復(fù)試錯，嘗試過各種各樣的食物。最后在測試的時候，80%的人稱食物的味道確實改變了。

其實，終極的虛擬現(xiàn)實體驗將包含所有的感官感覺，包括嗅覺和味覺，而行業(yè)和社區(qū)一直在不斷探索相關(guān)的實現(xiàn)方式。例如，東京大學(xué)的研究人員就曾經(jīng)提出過利用電顎刺激GJS技術(shù)，從而更好地改變味覺并控制味道。這種GAN&AR技術(shù)結(jié)合的研究項目，相信也能夠給予虛擬現(xiàn)實研究者新的方向吧。