元宇宙的核心關(guān)鍵技術(shù)—人機(jī)交互

元宇宙的目標(biāo)是實(shí)現(xiàn)萬物的信息化和智能化，創(chuàng)造一個(gè)信息充分包圍人的虛實(shí)融合空間，演化生成時(shí)空無界的新型社會(huì)形態(tài)。 元宇宙是信息技術(shù)蓬勃發(fā)展的集大成應(yīng)用環(huán)境，著名的元宇宙七層價(jià)值鏈圖上包含了許多當(dāng)下先進(jìn)的IT技術(shù)，如5G/6G、穿戴、眼鏡XR、AI、區(qū)塊鏈、3D引擎等。 元宇宙是面向終端用戶的，所以人機(jī)交互是核心關(guān)鍵技術(shù)。

01人機(jī)交互式核心關(guān)鍵技術(shù)

人機(jī)交互研究人機(jī)之間高可用的信息交換原理和技術(shù)，建立起計(jì)算機(jī)多種模態(tài)的輸入輸出軟硬件交互接口，及其構(gòu)成的用戶終端界面，形成特定的交互模式。

縱觀計(jì)算機(jī)發(fā)展歷史，交互模式從字符用戶界面（CUI）的鍵入命令，到圖形用戶界面（GUI）的鼠標(biāo)拖拽，再到智能手機(jī)上的動(dòng)作語音操控，不斷突破用戶使用計(jì)算機(jī)的難度瓶頸，計(jì)算得以從少量專家用戶的科學(xué)計(jì)算擴(kuò)增到數(shù)十億人的日常應(yīng)用。 人機(jī)交互也是元宇宙系統(tǒng)的基礎(chǔ)能力，其性能水平直接決定了人在元宇宙中的能力邊界，進(jìn)而決定了元宇宙對(duì)人類的價(jià)值。 元宇宙中所運(yùn)用的人機(jī)交互應(yīng)突破目前的兩種技術(shù)，進(jìn)入第三階段：自然用戶界面。 不管是CUI還是GUI都要求用戶必須學(xué)習(xí)軟件開發(fā)者預(yù)先設(shè)置好的操作，而NUI只需要用戶用最自然的方式（語音、面部表情、動(dòng)作手勢、移動(dòng)身體、旋轉(zhuǎn)頭部……）和計(jì)算機(jī)交流。

02元宇宙的人機(jī)交互

目前有成熟可用于元宇宙的人機(jī)交互技術(shù)嗎？答案是沒有。

首先，元宇宙的用戶終端將從智能手機(jī)擴(kuò)展開來，新型的終端將多種多樣，典型的包括智能眼鏡、AR/VR設(shè)備和智慧物聯(lián)網(wǎng)環(huán)境，如家居等。 這些新型終端在交互接口上的共性是接口的虛擬化、遠(yuǎn)程化和多映射關(guān)系，不同于PC和手機(jī)的固定接口并能提供明確的反饋確認(rèn)，這些新型終端在目前實(shí)現(xiàn)基本的交互功能尚有困難。 交互技術(shù)在不斷進(jìn)步，輸入技術(shù)上，則都需要實(shí)現(xiàn)交互接口上的三個(gè)原子交互功能：操控目標(biāo)對(duì)象，對(duì)象空間位置明確，又稱為可視目標(biāo)、表達(dá)抽象命令，不是基于目標(biāo)位置的、輸入語言內(nèi)容，如下圖總結(jié)了歷史上幾種交互模式是如何實(shí)現(xiàn)這些原子交互功能的。

03現(xiàn)有產(chǎn)品設(shè)備的難題

目前一些科技巨頭在開發(fā)研究的智能眼鏡，意義是解放雙手，沉浸三維，回歸自然。

但自然交互上，由于失去了精準(zhǔn)的輸入設(shè)備，如桌面的鼠標(biāo)，缺少觸覺反饋的感知支持，如手機(jī)觸屏，完成這三類基本的交互功能，一直是智能眼鏡這類新型終端設(shè)備固有的難題。

視覺速度慢和眩暈

3D對(duì)象的訪問一般都需要人眼視覺參與，但我們用手訪問精細(xì)的3D對(duì)象時(shí)，視覺注意力的高度集中和隨動(dòng)圖像難以準(zhǔn)確匹配人的視覺感知，不僅訪問速度慢，還是造成用戶眩暈的重要因素。

手勢動(dòng)作的可用性不高

手勢動(dòng)作的設(shè)計(jì)空間雖然大，但手勢到命令的映射關(guān)系設(shè)計(jì)和用戶表達(dá)需要符合人的認(rèn)知和表達(dá)能力，同時(shí)還存在傳感和識(shí)別技術(shù)上的困難。

文字輸入必要但難以實(shí)現(xiàn)

智能眼鏡用戶用手勢在空中使用虛擬鍵盤輸入文字時(shí)，速度慢到不及手機(jī)打字的1/3；而語音并不萬能，很多場合不方便出聲；并且缺少連續(xù)交互能力，每次輸入文字都需要特地喚醒設(shè)備。 因此，這些問題限制了用戶的表達(dá)能力，是智能眼鏡一直難以成為通用用戶終端的癥結(jié)所在。

為解決這些問題，市場上還出現(xiàn)了專屬折疊藍(lán)牙鍵盤和鼠標(biāo)這樣不得不“回歸”的配置，完全失去了眼鏡解放雙手的意義。

04人機(jī)關(guān)系與交互的變革

進(jìn)一步地，元宇宙空間，人機(jī)關(guān)系將發(fā)生重大變革，機(jī)器從被動(dòng)應(yīng)答者向主動(dòng)服務(wù)者身份轉(zhuǎn)變，交互從單一的用戶動(dòng)作表達(dá)向機(jī)器智能推理與用戶表達(dá)融合方向發(fā)展，在恰當(dāng)時(shí)間與情境下提供用戶亟需的智能服務(wù)成為必然發(fā)展趨勢。

也就是說，人機(jī)交互的路徑，將從現(xiàn)在用戶記憶搜索應(yīng)用和界面的模式，轉(zhuǎn)換到AI主動(dòng)感知和推送服務(wù)，極大縮減交互路徑的模式。 由于用戶終端多樣，這一層面的問題還反映在同樣功能的服務(wù)需要設(shè)計(jì)實(shí)現(xiàn)為每種終端上的應(yīng)用功能的開發(fā)難題。 元宇宙作為所有用戶可隨時(shí)隨地接入的虛擬空間，其中用戶的交互行為將無處不在、連續(xù)不斷，這會(huì)導(dǎo)致交互數(shù)據(jù)模糊，為AI推理用戶交互意圖的準(zhǔn)確能力帶來巨大挑戰(zhàn)。 無論是擴(kuò)展現(xiàn)實(shí)的智能眼鏡、VR設(shè)備還是智慧互聯(lián)的現(xiàn)實(shí)環(huán)境，交互接口都不再是單一固定的界面。 設(shè)備在虛擬化的空間上如何實(shí)現(xiàn)操控目標(biāo)對(duì)象、表達(dá)抽象命令、輸入語言內(nèi)容三個(gè)輸入交互接口上的原子功能，目前尚無高可用的產(chǎn)品技術(shù)，這是人機(jī)交互領(lǐng)域的熱點(diǎn)研究方向，也是元宇宙需要突破的人機(jī)交互技術(shù)。