智能手機(jī)盛行的時(shí)代,觸控成了主流的人機(jī)交互方式。不過(guò)對(duì)于智能手表以及VR設(shè)備,觸控顯然不是理想的交互方式。那么,谷歌提出的想要徹底改變?nèi)藱C(jī)互動(dòng)方式的手勢(shì)控制Soli到底是什么黑科技?
Google Project Soli亮相
在Google I/O 2015大會(huì)上,以一個(gè)敏捷團(tuán)隊(duì)為核心,向外與各大院校與各行各業(yè)的企業(yè)與研究所建立合作的方式運(yùn)作,進(jìn)行各種跨界研究的谷歌ATAP團(tuán)隊(duì)分享了其在人機(jī)交互方面的最新進(jìn)展,包括Project Soli與Project Jacquard。
Project Soli是基于無(wú)線電波反射建立的交互體系。5mm波長(zhǎng)的無(wú)線電波有能力捕捉到5m空間范圍以內(nèi)的精細(xì)動(dòng)作。然而這其中的技術(shù)挑戰(zhàn)在于,目前市面上的無(wú)線電波發(fā)射器都太大了。Project Soli的目標(biāo)是將無(wú)線電波發(fā)射器+接收器做到手表上,在四分之一硬幣尺寸的芯片里集成無(wú)線電波發(fā)射天線與接收天線。
Project Soli研發(fā)出一塊只有手指甲一樣大的芯片,可以裝嵌在不同類型的電子產(chǎn)品。透過(guò)芯片發(fā)射出來(lái)的雷達(dá),可以準(zhǔn)確探測(cè)出使用者的手部動(dòng)作,特定的手勢(shì)可以調(diào)較不同設(shè)置,如聲量大小、放大縮小、甚至開(kāi)關(guān)機(jī)等等。
Project Jacquard是一個(gè)將人機(jī)交互界面植入到紡織品(即衣物)當(dāng)中的項(xiàng)目。衣物的年產(chǎn)量(百億級(jí))大約是智能手機(jī)(億級(jí))的百倍以上,是個(gè)極大的市場(chǎng),但是存在如下的技術(shù)挑戰(zhàn):1、生產(chǎn)過(guò)程可融入紡織品的工廠制作流程中;2、電子電路和芯片不怕熨燙的高溫、不怕洗衣機(jī)的水泡、不怕用戶在穿戴過(guò)程中拉扯的破壞。
雖然Jacquard觸摸纖維項(xiàng)目和Soli仍然還留在ATAP,但Soli至少有了一個(gè)新的宏大目標(biāo):打造配備雷達(dá)技術(shù)的消費(fèi)電子設(shè)備產(chǎn)業(yè)和設(shè)計(jì)語(yǔ)言。
Project Soli進(jìn)展
繼2015年首度亮相之后,Project Soli 手勢(shì)遙控概念今年有更進(jìn)一步的演示了。Google I/O 2016大會(huì)上完全通過(guò)手勢(shì)控制的智能手表和無(wú)線揚(yáng)聲器產(chǎn)品原型首次亮,智能手表是一臺(tái)改裝的 LG Urbane,可以感應(yīng)你的手的遠(yuǎn)近,以及動(dòng)作。離最遠(yuǎn)的時(shí)候是普通的時(shí)間顯示表面,隨著手指的靠近會(huì)出現(xiàn)愈來(lái)愈多的功能,而再遠(yuǎn)離的話表面就又回來(lái)了。
除了LG外,Soli團(tuán)隊(duì)也將這個(gè)技術(shù)做進(jìn)了一個(gè)JBL的音響里,但這里它能「看」到的范圍就大得多,可以判斷整只手的手勢(shì),像是比「贊」的話,可以代表跳下一首曲子。
Soli 擁有 18,000 FPS 的雷達(dá)偵測(cè)更新率,可以「看」到相當(dāng)細(xì)微的動(dòng)作,甚至連輕輕撮手指都能偵側(cè)到。谷歌ATAP技術(shù)項(xiàng)目負(fù)責(zé)人Ivan Poupyrev表示:“通過(guò)讓移動(dòng)和固定終端實(shí)現(xiàn)第三種交互方式,手勢(shì)感應(yīng)帶來(lái)了徹底改變?nèi)藱C(jī)互動(dòng)的新機(jī)遇。這樣將能填補(bǔ)現(xiàn)有的空白,在觸摸和語(yǔ)音控制交互的基礎(chǔ)上增添一種便捷的備選交互方案?!?/p>
英飛凌與谷歌ATAP希望憑借“Solli”雷達(dá)技術(shù)滿足包括家庭娛樂(lè)、移動(dòng)終端和物聯(lián)網(wǎng)(IoT)等在內(nèi)的眾多市場(chǎng)的需求。
英飛凌電源管理及多元化市場(chǎng)事業(yè)部總裁Urschitz表示:“我們的目標(biāo)是創(chuàng)建新的市場(chǎng)標(biāo)準(zhǔn),帶來(lái)卓越性能與全新用戶體驗(yàn),從而打造實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)和物聯(lián)網(wǎng)的核心技術(shù)?!北M管虛擬現(xiàn)實(shí)技術(shù)已能為我們帶來(lái)身臨其境的感覺(jué),但到目前為止,用戶并不能與其互動(dòng)。谷歌與英飛凌開(kāi)發(fā)的60 GHz雷達(dá)應(yīng)用可填補(bǔ)空白,作為實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)。
ATAP的目的不僅僅是證明這類產(chǎn)品在理論上的可能性,它與LG、高通、JBL等公司進(jìn)行了合作,并向這些公司證明它們可以在市場(chǎng)上推出產(chǎn)品。
如何用雷達(dá)實(shí)現(xiàn)手勢(shì)識(shí)別
雷達(dá),英文Radar(Radio Detection And Ranging),利用發(fā)射“無(wú)線電磁波”得到反射波來(lái)探測(cè)目標(biāo)物體的距離,角度,和瞬時(shí)速度。隨著天線尺寸和芯片的極度縮小,在可預(yù)見(jiàn)的未來(lái),更多的雷達(dá)設(shè)備將會(huì)以微型器件面世,如圖所展示的那樣,它們不僅能嵌入可穿戴設(shè)備,成為物聯(lián)網(wǎng)的一類重要傳感器。
圖 傳統(tǒng)的探測(cè)偵查雷達(dá)(左)以及Project Soli中用于手勢(shì)識(shí)別的迷你雷達(dá)(右)
相比于其它隔空操作技術(shù),比如體感相機(jī)、超聲波等,雷達(dá)有著一些天然優(yōu)勢(shì):比如無(wú)論白天黑夜,暴曬寒風(fēng),皆可正常工作;在體積、成本,以及功耗上都比Kinect等體感相機(jī)來(lái)得要更低;高頻雷達(dá)測(cè)量物體距離通??梢跃_到毫米級(jí)別;而低頻雷達(dá)則可以做到“穿墻而過(guò)”,完全無(wú)視遮擋物的存在。這些特性讓雷達(dá),尤其是微型雷達(dá),在未來(lái)都有著廣闊的應(yīng)用前景。
雷達(dá)的組成
一般雷達(dá)由發(fā)射器、接收器、發(fā)射/接收天線、信號(hào)處理單元,以及終端設(shè)備組成。發(fā)射器通過(guò)發(fā)射天線將經(jīng)過(guò)調(diào)頻或調(diào)幅的電磁波發(fā)射出去;部分電磁波觸碰物體后被反射回接收器,這就好比聲音碰到墻壁被反射回來(lái)一樣;信號(hào)處理單元分析接受到的信號(hào)并從中提取有用的信息諸如物體的距離、角度,以及行進(jìn)速度;這些結(jié)果最終被實(shí)時(shí)地顯示在終端設(shè)備上。傳統(tǒng)的軍事雷達(dá)還常配有機(jī)械控制的旋轉(zhuǎn)裝置用以調(diào)整天線的朝向,而新型雷達(dá)則更多通過(guò)電子方式做調(diào)整。
為節(jié)省材料和空間,通常發(fā)射器和接收器可以共享同一個(gè)天線,方法是交替開(kāi)關(guān)發(fā)射或接收器避免沖突。終端設(shè)備通常是一個(gè)可以顯示物體位置的屏幕,但在迷你雷達(dá)的應(yīng)用中更多是將雷達(dá)提取的物理信息作為輸入信號(hào)傳送給諸如手表或其它電子設(shè)備。信號(hào)處理單元才是雷達(dá)真正的創(chuàng)意和靈魂所在,主要利用數(shù)學(xué)物理分析以及計(jì)算機(jī)算法對(duì)雷達(dá)信號(hào)作過(guò)濾、篩選,并計(jì)算出物體的方位。在這基礎(chǔ)之上,還可以利用前沿的機(jī)器學(xué)習(xí)算法對(duì)捕捉的信號(hào)作體感手勢(shì)識(shí)別等等。
雷達(dá)實(shí)現(xiàn)手勢(shì)識(shí)別
雷達(dá)的測(cè)距或者測(cè)速都把物體想像成一個(gè)抽象的點(diǎn)。而真實(shí)的物體如手掌則可以認(rèn)為是一堆三維點(diǎn)的集合體。所以在反射波中已然蘊(yùn)藏了許多個(gè)點(diǎn)的距離與速度信號(hào)。同時(shí)呈現(xiàn)這些信息的一個(gè)好方法叫做距離-多普勒映射(Range-Dopler Map),簡(jiǎn)稱RDM(如圖)。RDM中的橫軸是速度,縱軸是距離。它可以認(rèn)為是一張反射波的能量分布圖或概率圖,每一個(gè)單元的數(shù)值都代表了反射波從某個(gè)特定距離和特定速度的物體得到的反射波能量。仔細(xì)看的話,從RDM中已然可以窺見(jiàn)探測(cè)物體的特征身形!基于RDM及其時(shí)間序列, 我們可以采用機(jī)器學(xué)習(xí)的方法識(shí)別特定的能量模式變化,進(jìn)而識(shí)別手勢(shì)及動(dòng)作。在Soli推出之前,Nvidia也做過(guò)類似的研究。
圖 距離-多普勒(速度)映射的等高線表示示例 每一個(gè)單元值代表了反射波中具有對(duì)應(yīng)距離和速度的點(diǎn)的集合的反射能量。該映射可以作為特征向量用于機(jī)器學(xué)習(xí)識(shí)別手勢(shì)動(dòng)作。
Project Soli面臨的挑戰(zhàn)及解決方法
Google 第一版的Soli技術(shù)邀請(qǐng)了60名開(kāi)發(fā)者參與,開(kāi)發(fā)者們也想出了各種奇特的應(yīng)用,像是辨識(shí)材料、3D建模等,甚至是做進(jìn)方向盤里,讓你手不用離開(kāi)方向盤,就可以控制娛樂(lè)系統(tǒng)。
不過(guò)第一版的 Soli 耗電量極為驚人,其實(shí)無(wú)法用在穿戴設(shè)備上,Project Soli技術(shù)負(fù)責(zé)人波普列夫(Ivan Poupyrev)說(shuō),“如果某種技術(shù)能整合在智能手表中,它就能整合到其他任何產(chǎn)品中?!盇TAP重新設(shè)計(jì)了Soli芯片,進(jìn)一步減小了其尺寸,降低了能耗,并多次對(duì)它進(jìn)行優(yōu)化。據(jù)Soli首席和硬件產(chǎn)品工程師哈基姆·拉賈(Hakim Raja)稱,經(jīng)過(guò)一年的的努力,Google和Infineon一起最終實(shí)現(xiàn)了芯片的最小化。它非常薄,4根天線能提供全雙工通信,收發(fā)雷達(dá)信號(hào),Soli的電耗由1.2W 降低到了0.054W,足有22倍之多。同時(shí) Google也將程序優(yōu)化了256x,讓Snapdragon 400、Intel Atom 處理器等都能順暢跑動(dòng)。
把芯片做得如此小也有弊端。雷達(dá)的設(shè)計(jì)目標(biāo)是探測(cè)在數(shù)英里及更遠(yuǎn)距離之外飛行的金屬物體,而非數(shù)英寸之外、手指作出的幅度僅為數(shù)毫米的手勢(shì)。就在不久前,人們還不需要擔(dān)心這種水平的能耗,沒(méi)有人考慮如此小的雷達(dá)芯片對(duì)信號(hào)的影響。
Soli首席研究員意識(shí)到把雷達(dá)提供的空間信號(hào)轉(zhuǎn)化為能在計(jì)算機(jī)上處理的時(shí)間信號(hào)的意義。沒(méi)有什么比如此小的芯片遭遇的噪聲問(wèn)題更棘手了,她的算法必須在眾多噪聲中找出需要的信號(hào)。對(duì)信號(hào)進(jìn)行聚束是不可能的,通過(guò)芯片的每個(gè)信號(hào)都必須被捕獲。換句話說(shuō),這是一項(xiàng)很復(fù)雜的任務(wù)。
與電子工藝相比,決定識(shí)別出用戶手勢(shì)后電子設(shè)備作出何種反應(yīng)的機(jī)器學(xué)習(xí)算法就相對(duì)簡(jiǎn)單了,但它也絕對(duì)不是小兒科。對(duì)于配置觸摸屏的設(shè)備,屏幕上會(huì)顯示按鈕和滑動(dòng)條;對(duì)于有實(shí)體開(kāi)關(guān)的設(shè)備,用戶在撥動(dòng)開(kāi)關(guān)時(shí)能感覺(jué)到刻度。但是,如果什么也沒(méi)有,如何引導(dǎo)用戶進(jìn)行操作呢?
波普利夫表示,“萬(wàn)物都有自己的界面?每個(gè)開(kāi)關(guān)、智能灑水器或杯子都有自己的界面?這會(huì)引發(fā)混亂。”Soli的目標(biāo)之一是開(kāi)發(fā)一種既容易掌握、又足夠靈活能控制許多功能的通用設(shè)計(jì)語(yǔ)言。
Soli首席機(jī)械工程師尼克·吉利安(Nick Gillian)介紹了團(tuán)隊(duì)已經(jīng)敲定的基本手勢(shì)。手勢(shì)分為遠(yuǎn)處和近處兩大類,在遠(yuǎn)處,用戶可以使用的手勢(shì)不多(用戶可以揮舞手臂,與微軟Kinect體感控制器相似);用戶靠近設(shè)備后,Soli能識(shí)別更細(xì)微的動(dòng)作。
波普列夫表示,Soli的“設(shè)計(jì)語(yǔ)言借鑒了實(shí)體控制”。這些控制是捻(拇指在食指上捻,就像捻牙簽玩一樣)、響指(拇指拍打食指)、搓(拇指沿著食指滑動(dòng))。
Soli控制手勢(shì)的優(yōu)勢(shì)是能提供兩個(gè)級(jí)別的反饋:除能看到屏幕對(duì)手勢(shì)的反應(yīng)外,還能感覺(jué)到手指的動(dòng)作。這聽(tīng)起來(lái)有些荒謬,但手指能相互觸摸到也是一種“有形”的操作。
Project Soli的未來(lái)計(jì)劃
首款Soli原型是LG Watch Urbane和JBL音箱,這兩款產(chǎn)品近期內(nèi)都不會(huì)上市銷售。揚(yáng)聲器是靠空氣振動(dòng)發(fā)聲的,因此要在其中集成一款能探測(cè)毫米級(jí)別運(yùn)動(dòng)的芯片,會(huì)有一些難題需要解決;智能手表仍然存在電源和交互問(wèn)題需要解決。
谷歌稱,它將于 2017 年發(fā)布測(cè)試版 Project Soli 開(kāi)發(fā)者工具包,其中包括尺寸更小和能耗更低的 Project Soli 硬件,功耗只有之前的 1/22(54 毫瓦特),體積也只有最初模型的三分之一。隨后,這個(gè)解決方案可以整合進(jìn)更多的移動(dòng)智能設(shè)備中。
對(duì)于 Project Soli 項(xiàng)目的未來(lái),開(kāi)發(fā)團(tuán)隊(duì)認(rèn)為能做的有很多。
左側(cè)為原型,右下角為最終版這項(xiàng) ATAP 的項(xiàng)目,又是手勢(shì)識(shí)別,又是雷達(dá)芯片,雖然可以更好的解決智能手表顯示屏過(guò)小的問(wèn)題,但是肯定不會(huì)只滿足于用到智能手表上。就像團(tuán)隊(duì)說(shuō)到的那樣,他們希望 Soli 芯片可以出現(xiàn)在更多的地方,成為未來(lái)人機(jī)交互的一種新方式。開(kāi)發(fā)團(tuán)隊(duì)認(rèn)為,現(xiàn)在更多都在關(guān)注語(yǔ)音控制,但是人類進(jìn)化出來(lái)的雙手同樣重要。
評(píng)論
查看更多