“手球”實(shí)物為虛擬現(xiàn)實(shí)交互提供全新的模式與體驗(yàn)

當(dāng)2021年社交媒體巨頭Facebook改名為Meta時(shí)，很多人才真正意識(shí)到，元宇宙（即“metaverse”）將改變這個(gè)世界。盡管當(dāng)下人們對(duì)其最直觀的感知，還是一個(gè)只能在視覺上模擬真實(shí)世界的VR眼鏡。

但誰(shuí)也沒想到，古老的東方手工技藝“折紙”，率先實(shí)現(xiàn)了從虛擬到真實(shí)的關(guān)鍵突破。

近期，Nature Machine Intelligence（《自然-機(jī)器智能》）在線發(fā)表了西湖大學(xué)姜漢卿團(tuán)隊(duì)的最新研究成果“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”，在國(guó)際上首次提出并開發(fā)了“高保真主動(dòng)機(jī)械觸感交互系統(tǒng)”，為元宇宙帶來(lái)了全新的觸覺感知維度。

這意味著他們借鑒折紙藝術(shù)，讓VR眼鏡里的虛擬世界不僅可見、可聽，還可“觸摸”！

聽起來(lái)不可思議。這一切是怎么發(fā)生的？

鏡花水月：“觸”不可及的失真“宇宙”

讓我們從metaverse（元宇宙）的起源講起。

這是美國(guó)科幻作家尼爾·斯蒂芬森創(chuàng)造的一個(gè)新名詞，出現(xiàn)在一個(gè)以披薩速遞員為主角的、關(guān)于未來(lái)世界的故事中。它指的是現(xiàn)實(shí)世界與通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)和虛擬現(xiàn)實(shí)技術(shù)創(chuàng)造出的現(xiàn)實(shí)世界與虛擬世界相互混合的狀態(tài)。

1992年，這部名為《雪崩》的科幻小說(shuō)面世，斯蒂芬森因“塑造和影響了整整一批IT人”，位列《時(shí)代》周刊評(píng)選的“50位數(shù)字英雄”榜單。

二十年后，當(dāng)年斯蒂芬森在書中所暢想的世界，已經(jīng)近乎站立在你我的“家門口”了。無(wú)論充滿爭(zhēng)議與否，元宇宙都為人類社交生活提供了新的橋梁與無(wú)限可能。如Meta Reality Labs首席科學(xué)家Michael Abrash所說(shuō)：“VR/AR正掀起個(gè)人計(jì)算機(jī)歷史上的第二次變革大浪潮，其影響可能超過(guò)過(guò)去三十年個(gè)人計(jì)算機(jī)的發(fā)展，將是繼個(gè)人電腦和智能手機(jī)之后下一代消費(fèi)級(jí)計(jì)算機(jī)科技產(chǎn)品?！?/p>

但當(dāng)前的VR交互，僅可提供視覺與聽覺體驗(yàn)，呈現(xiàn)的是一個(gè)僅可遠(yuǎn)觀、卻無(wú)法觸碰的虛擬空間，而觸覺恰恰是人類獲得主體感的關(guān)鍵——在人類的五感（視覺、聽覺、嗅覺、味覺、觸覺）中，視、聽覺在信息接收方面居于主導(dǎo)地位，味、嗅覺處于輔助地位，觸覺則居于根本地位（我們據(jù)此獲得物主感，這是區(qū)分主體和客體的關(guān)鍵）。

研究者們?cè)?jīng)嘗試過(guò)很多種“解決”方案，大多是通過(guò)震動(dòng)或壓力代償創(chuàng)造“被動(dòng)觸感”：例如具有振動(dòng)功能的手柄；柔性電子科學(xué)家、西北大學(xué)John Rogers院士發(fā)明的可以貼在皮膚上的振動(dòng)馬達(dá)；以及Meta在2021年發(fā)布的觸覺感知手套，通過(guò)氣囊壓迫給予用戶抓取物體時(shí)的觸感……

然而，這些“觸感”就如同你的手機(jī)忽然振動(dòng)了一下，或者是坐在4D電影院里突然感受到座椅的晃動(dòng)，你的體感都是由設(shè)備出發(fā)、給予你一種被動(dòng)的交互體驗(yàn)，距離日常生活中真實(shí)的、由人類主動(dòng)觸發(fā)的“觸覺”還差距甚遠(yuǎn)。

這似乎也呼應(yīng)了人類在觸覺理解上的艱難進(jìn)度條——2021年，美國(guó)生理學(xué)家David Julies與亞美尼亞裔美國(guó)神經(jīng)科學(xué)家Ardem Patapoutian因揭開了觸覺（與溫度覺）的神秘面紗，獲得了諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)——而聽覺與視覺，早在上世紀(jì)60年代就已揭秘，完成了對(duì)諾獎(jiǎng)的問(wèn)鼎。

折紙繆斯：撬動(dòng)VR世界的星辰大海

那么，最前沿的VR和元宇宙，怎么會(huì)因?yàn)閭鹘y(tǒng)的折紙藝術(shù)而破局？

讓我們把視線轉(zhuǎn)回西湖。

2021年6月18日，姜漢卿結(jié)束了在美國(guó)亞利桑那州立大學(xué)十五年的任教生涯，正式加盟西湖大學(xué)。在這里，他最早啟動(dòng)的課題之一就是柔性電子與軟/硬異質(zhì)性材料研究，這也是我們第一次從他那里聽到“折紙機(jī)械超材料”這個(gè)概念——所謂“機(jī)械超材料”，指的是并非自然形成，而是人為構(gòu)造的材料結(jié)構(gòu)，材料的性能不依賴于材料的分子結(jié)構(gòu)或者晶體結(jié)構(gòu)本身，主要依賴于其精巧的構(gòu)型里面的結(jié)構(gòu)細(xì)節(jié)。

從事“折紙研究”十年之久，又感知到了元宇宙的欣欣向榮，姜漢卿萌生了把兩者結(jié)合起來(lái)的念頭。“折紙材料可能很軟，但是依賴于不同的折疊方式，折紙結(jié)構(gòu)又會(huì)變得很硬，基于折紙結(jié)構(gòu)的機(jī)器人，就可以隨時(shí)調(diào)節(jié)軟硬程度?！?/p>

擺脫當(dāng)前虛擬現(xiàn)實(shí)交互的固有思維定式，姜漢卿創(chuàng)造了“主動(dòng)觸覺”這個(gè)新概念——不同于肩、胸、腰、背等人類身體通常接收“被動(dòng)觸覺”的部位，人的手和腳通常是主動(dòng)出擊，通過(guò)主動(dòng)觸摸去感知物理世界。研究團(tuán)隊(duì)選擇從“機(jī)械觸感”（即剛度，物品的軟硬觸感）入手，模擬手和腳主動(dòng)觸摸物體時(shí)的感覺。

他們研發(fā)了一套“高保真主動(dòng)機(jī)械觸感交互系統(tǒng)”，利用不同材質(zhì)、不同尺寸的折紙模塊搭建了兩種不同維度的交互裝置：一種可引發(fā)局部觸感的手持式裝置,與一種可以產(chǎn)生全身體感的腳踏式裝置。在使用手持式交互裝置時(shí)，用戶可通過(guò)主動(dòng)抓握，體驗(yàn)其所交互的不同物品的軟硬程度；在使用腳踏式裝置時(shí)，用戶則可通過(guò)主動(dòng)踩踏，以全身運(yùn)動(dòng)的形式體驗(yàn)其所處的環(huán)境地面特性。?

這種主動(dòng)機(jī)械觸感的實(shí)現(xiàn)，正是源于硬件設(shè)備內(nèi)部曲面折紙結(jié)構(gòu)在交互過(guò)程中、由用戶主動(dòng)觸發(fā)的被動(dòng)變形——在電機(jī)的配合作用下，曲面折紙能彎曲成不同的角度，也會(huì)產(chǎn)生不同大小的反力，從而給予用戶手足不同的“彈性”反饋。

觀看下圖可以獲得更直觀的感受：將兩張薄薄的塑料片對(duì)折，呈“X”狀穿插在一起，想象一下，當(dāng)你縱向“上下”按壓塑料片，力量、角度不一樣時(shí)，手收到的“回彈”反饋的感知也會(huì)不一樣。這種觸覺的變化傳遞給大腦，大腦就會(huì)根據(jù)“軟硬”做出判斷：抓到的是棉花，是木板，還是鋼球……如果把手換成腳，大腦同樣會(huì)根據(jù)腳所傳遞的剛度反饋，來(lái)判定人是走在馬路上、草地上，還是踩在冰上……

高保真主動(dòng)機(jī)械觸感交互系統(tǒng)的局部結(jié)構(gòu)

由此，我們?cè)谠钪娴奶摂M世界中，就可以完美實(shí)現(xiàn)“所見即所觸，所處即所踏”了。

力學(xué)之美：向虛擬世界伸出精妙之“手”

姜漢卿的實(shí)驗(yàn)室名為“跨力學(xué)實(shí)驗(yàn)室”，這是一個(gè)名副其實(shí)深耕交叉學(xué)科的實(shí)驗(yàn)室，參與該項(xiàng)研究的幾名主要成員，有畢業(yè)于上海交通大學(xué)機(jī)械工程系的博士后張壯，來(lái)自浙江大學(xué)力學(xué)系的訪問(wèn)學(xué)生徐正昊，清華大學(xué)工程力學(xué)本科背景的博士生陳森濤，畢業(yè)于武漢大學(xué)化工系的博士后衛(wèi)平東，以及動(dòng)手能力超強(qiáng)、曾獲國(guó)家級(jí)機(jī)器人競(jìng)賽一等獎(jiǎng)的科研助理俄木羅前……

如果說(shuō)，這項(xiàng)研究中最大的創(chuàng)意來(lái)自“折紙”，那么，實(shí)現(xiàn)創(chuàng)意的最大挑戰(zhàn)就來(lái)自“怎么折”——既能完美實(shí)現(xiàn)主動(dòng)觸感，又能集成在有限的空間里。就像現(xiàn)實(shí)世界的折紙一樣，人人都會(huì)，但只有那心靈手巧的藝人，才能展現(xiàn)其精妙之處。

在姜漢卿實(shí)驗(yàn)室，我們現(xiàn)場(chǎng)體驗(yàn)了這個(gè)“手持式裝置”——形狀像一個(gè)球，5個(gè)位點(diǎn)對(duì)應(yīng)人的5個(gè)手指，每一個(gè)位點(diǎn)下面就是呈現(xiàn)“X”形狀交叉的兩片成組的曲線折紙塑料片；10個(gè)塑料片，全靠一個(gè)電機(jī)帶動(dòng)，以扭轉(zhuǎn)成各種不同角度，形成不同的“軟硬度”。與之配套的腳踏式裝置，原理一樣，差別在于踏板下是鋼片，數(shù)量更多、矩陣排布，通過(guò)拉繩的方式改變曲線折紙的角度來(lái)改變剛度。

“手球”實(shí)物

令人驚訝的是，這些設(shè)備里沒有任何昂貴或罕見的器件。無(wú)論是“手球”里的塑料片，還是“踏板”中的鋼片，都是網(wǎng)購(gòu)取得的，可以被替換為任何有彈性的材料。核心器件就是可以根據(jù)虛擬場(chǎng)景而相應(yīng)變化的曲線折紙。如果核心結(jié)構(gòu)一致，交互的硬件設(shè)備也可以放大或縮小。這意味著一旦找到合適的應(yīng)用場(chǎng)景，它將有希望快速進(jìn)入生產(chǎn)市場(chǎng)。

研究的最后一步，秉持科學(xué)的嚴(yán)謹(jǐn)和理性，研究團(tuán)隊(duì)進(jìn)行了人體感受表征的驗(yàn)證，包括“主觀”的用戶調(diào)查和“客觀”的肌電圖、心率測(cè)量。圖中曲線的最高點(diǎn)，記錄了體驗(yàn)者踩在虛擬的冰面上、冰面破裂時(shí)，心跳急速變快的真實(shí)生理反應(yīng)。因?yàn)槟且豢烫ぐ逋蝗凰?，讓人瞬間產(chǎn)生踏空墜落的恐懼感。虛擬世界，就這樣創(chuàng)造出了真實(shí)世界的完美觸感。

心率與肌電信號(hào)測(cè)量

“科研需要?jiǎng)?chuàng)新，要有societal impact，要對(duì)這個(gè)社會(huì)真正有貢獻(xiàn)?！边@是姜漢卿對(duì)科學(xué)工作的定義。他們這項(xiàng)研究，為虛擬現(xiàn)實(shí)交互提供了全新的模式與體驗(yàn)，為超材料在元宇宙中的進(jìn)一步集成提供了指導(dǎo)方案，也有望拓展虛擬現(xiàn)實(shí)技術(shù)在娛樂、遙操作、醫(yī)療診治與康復(fù)等領(lǐng)域的廣泛應(yīng)用。

接下來(lái)，研究團(tuán)隊(duì)將繼續(xù)找到多模式的感知，還原更完整的觸覺，在形態(tài)上，他們正在嘗試和柔性電子整合，實(shí)現(xiàn)主動(dòng)觸覺與被動(dòng)觸覺的結(jié)合，以及努力用折紙實(shí)現(xiàn)更大尺度的體驗(yàn)，在更大的場(chǎng)景中實(shí)現(xiàn)交互。

“比如在游戲中要騎摩托車，能不能直接從地面‘長(zhǎng)出’可以觸摸到的摩托車來(lái)？不僅是摩托車，還能長(zhǎng)出能坐的椅子，能開的小船……”姜漢卿放飛自己的想象。

雖然只是“想象”，但歷史已無(wú)數(shù)次證實(shí)，科學(xué)家的天馬行空，也許就是未來(lái)世界的真實(shí)圖景。

西湖大學(xué)工學(xué)院博士后張壯為本文第一作者，西湖大學(xué)工學(xué)院講席教授姜漢卿為本文通訊作者，第一單位為西湖大學(xué)。其他主要研究人員包括浙江大學(xué)的研究生徐正昊和王永副教授。本研究獲得了國(guó)家自然科學(xué)基金、西湖教育基金會(huì)、以及西湖大學(xué)未來(lái)產(chǎn)業(yè)研究中心相關(guān)經(jīng)費(fèi)支持。