多點(diǎn)觸摸技術(shù)就是指允許用戶同時(shí)通過多個(gè)手指來控制圖形界面的一種技術(shù),能構(gòu)成一個(gè)觸摸屏(屏幕,桌面,墻壁等)或觸控板,同時(shí)接受來自屏幕上多個(gè)點(diǎn)進(jìn)行計(jì)算機(jī)的人機(jī)交互操作。與多點(diǎn)觸摸技術(shù)相對(duì)應(yīng)的當(dāng)然就是單點(diǎn)觸摸,單點(diǎn)觸摸設(shè)備已經(jīng)有很多的年頭了,最早起源于20世紀(jì)70年代,小尺寸的有觸摸式手機(jī),大尺寸最常見的就是銀行里的ATM機(jī)和排隊(duì)查詢機(jī)。
而蘋果公司在iPhone上采用感應(yīng)電容式觸摸屏,讓用戶與設(shè)備的互動(dòng)不在局限于一根手指,為互動(dòng)觸摸用戶界面革命做出了不可估量的貢獻(xiàn)。很多人以為多點(diǎn)觸摸僅限于放大縮小功能。其實(shí),放大縮小只是多點(diǎn)觸摸的實(shí)際應(yīng)用樣例之一。有了多點(diǎn)觸摸技術(shù),怎么應(yīng)用就可以通過無限想象來無限擴(kuò)展。程序員可以把多點(diǎn)觸摸應(yīng)用到很多方面,從一定程度上改變或者創(chuàng)新出更多的操作方式來。
就電子產(chǎn)品,特別是消費(fèi)類產(chǎn)品而言,如何將用戶復(fù)雜的控制動(dòng)作轉(zhuǎn)變?yōu)橹庇^、便捷且可生產(chǎn)的體驗(yàn),是用戶界面設(shè)計(jì)面臨的終極挑戰(zhàn)。用戶界面設(shè)計(jì)一方面要考慮到用戶視覺、聽覺、味覺、嗅覺和觸覺等五種感官的需求,另一方面還要考慮到用戶需求對(duì)器件或系統(tǒng)的影響。目前市場上推出的大部分產(chǎn)品雖然有效,但主要都是將用戶的視覺和觸覺分開來處理。從計(jì)算機(jī)鍵盤、手機(jī)鍵盤、MP3播放器、家用電器甚至電視遙控器等上面的簡單按鈕或按鍵,到音量調(diào)節(jié)滑條、滾輪和跟蹤板等上面更高級(jí)的單擊和滾動(dòng)特性,輸出位置(也就是用戶的輸入或操控動(dòng)作的結(jié)果)與用戶的輸入位置是截然不同的。而這種視覺和觸覺的一致性正是觸摸屏的基本優(yōu)勢所在。讓視覺和觸覺完全達(dá)到一致說起來簡單,但做起來則不啻為一場意義深遠(yuǎn)的技術(shù)突破,其將徹底改變用戶與電子產(chǎn)品互動(dòng)的方式,因此有人將此稱為用戶界面的革命。
簡述單點(diǎn)觸摸、點(diǎn)觸摸、多點(diǎn)觸摸的關(guān)系與區(qū)別
單點(diǎn)觸摸屏
觸摸屏的功能發(fā)展由簡及繁,最初的產(chǎn)品只支持最簡單的操控,就是一個(gè)手指觸摸屏幕上的一點(diǎn)來實(shí)現(xiàn)操控。比如我們每天在附件超市的POS終端機(jī),或者在機(jī)場的check-in終端上進(jìn)行的操作。以前,我們只能通過屏幕周邊的機(jī)械按鈕進(jìn)行操控,單點(diǎn)觸摸屏在此基礎(chǔ)上實(shí)現(xiàn)了用戶界面方面的一大進(jìn)步。當(dāng)然,機(jī)械和新型電容式觸摸感應(yīng)按鈕在我們的家庭、辦公室及其他地方無所不在:手機(jī)、固定電話、遙控器、電視、電腦及其各種外設(shè)、游戲機(jī)、電冰箱、微波爐、烤箱,以及無線電和空調(diào)等車內(nèi)電子控制設(shè)備等等?,F(xiàn)在,如下列圖所示的單點(diǎn)觸摸屏在顯示屏上直接集成了用戶控制界面,因此再也不需要傳統(tǒng)的機(jī)械按鈕了。
這種屏幕為用戶界面帶來兩大好處:一是設(shè)備設(shè)計(jì)空間得到優(yōu)化,特別有利于小型設(shè)備,因其能在同一區(qū)域內(nèi)同時(shí)“安裝”屏幕和按鈕;二是由于按鈕能綁定于操作系統(tǒng)中的任意應(yīng)用,所以設(shè)備使用的“按鈕”可以達(dá)到無限多個(gè)。
上述功能主要建立在電阻式觸摸屏技術(shù)基礎(chǔ)之上,在消費(fèi)電子產(chǎn)品、機(jī)場報(bào)刊亭、食品雜貨店P(guān)OS終端和車載GPS系統(tǒng)等各種應(yīng)用中都得到了廣泛推廣。
點(diǎn)觸摸屏
盡管單點(diǎn)觸摸屏和電阻式觸摸屏技術(shù)很令人吃驚并頗具革命意義,但其還是有兩大缺點(diǎn),一是電阻式技術(shù)依賴于觸摸屏的物理運(yùn)動(dòng),盡管影響不大,但經(jīng)過正常的磨損老化后,性能就會(huì)下降;二是這種技術(shù)只支持單點(diǎn)觸摸,也就是一次只能用一個(gè)手指在屏幕的某個(gè)區(qū)域做單一動(dòng)作。
為什么用戶與設(shè)備的互動(dòng)只能局限于一根手指呢?蘋果公司為用戶界面革命做出了不可估量的貢獻(xiàn),其推出的iPhone采用了感應(yīng)電容式觸摸屏。即使在智能電話等小型化設(shè)備中,要想充分發(fā)揮應(yīng)用和操作系統(tǒng)的功能,也需要多個(gè)手指才能實(shí)現(xiàn)最佳的可用性。因?yàn)橛辛颂O果公司,用戶現(xiàn)在已經(jīng)很難設(shè)想過去是怎么在不支持兩個(gè)手指的手勢動(dòng)作的情況下,完成諸如下列圖所示的照片縮放,以及相冊、網(wǎng)頁視圖的方位改變等相關(guān)操作的。
其他技術(shù)革新者正在多種設(shè)備系統(tǒng)上繼續(xù)沿用這種多點(diǎn)觸摸技術(shù),其中包括GoogleG-1和BlackberryStorm智能電話、MacBookPro和惠普touchsmart臺(tái)式機(jī)和筆記本電腦、便攜式媒體播放器以及其他多種應(yīng)用等。
多點(diǎn)觸摸屏
與單點(diǎn)觸摸屏一樣,識(shí)別手指方向的多點(diǎn)觸摸屏也有一個(gè)局限,就是該技術(shù)能在屏幕上同時(shí)識(shí)別的操作點(diǎn)數(shù)量有限。為什么一次只能識(shí)別兩個(gè)操作點(diǎn)呢?用戶的兩只手有十個(gè)手指,當(dāng)用戶之間彼此互動(dòng)時(shí),屏幕上會(huì)出現(xiàn)更多的手指。這就是識(shí)別手指位置的多點(diǎn)觸摸概念的由來,它可以實(shí)現(xiàn)兩個(gè)手指以上的操控。
Cypress將此技術(shù)稱為“多點(diǎn)觸控全區(qū)輸入”,它進(jìn)一步提升了觸摸屏可靠的可用性,能滿足多種特性豐富的應(yīng)用需求。可靠性是指我們能以最高粒度準(zhǔn)確捕獲到屏幕上所有觸點(diǎn)的原始數(shù)據(jù),盡可能減少屏幕觸點(diǎn)定位不準(zhǔn)帶來的混亂問題的能力。可用性是指眾多功能強(qiáng)大的應(yīng)用可在不同大小的屏幕上受益于雙手或兩個(gè)手指以上的屏幕操控的能力。3D互動(dòng)游戲、鍵盤輸入和地圖操作等都是使用這種觸摸屏功能的一些主要對(duì)象。
從根本上來講,多點(diǎn)觸控全區(qū)輸入技術(shù)為設(shè)備和系統(tǒng)OEM廠商提供了唾手可得的所有觸摸數(shù)據(jù),幫助他們發(fā)揮創(chuàng)造性,以開發(fā)下一代新型實(shí)用的技術(shù)。
賽普拉斯半導(dǎo)體公司推出的TrueTouch觸摸屏解決方案就是多點(diǎn)觸控全區(qū)輸入的一個(gè)應(yīng)用實(shí)例。TrueTouch采用了賽普拉斯PSoC可編程片上系統(tǒng)架構(gòu),該架構(gòu)集成了帶有可編程模擬和數(shù)字塊的8位微控制器。可實(shí)現(xiàn)無與倫比的靈活性和可配置性。TrueTouch解決方案的感應(yīng)式電容觸摸屏控制器能擴(kuò)展支持各種尺寸的屏幕,可靈活支持單點(diǎn)觸摸、識(shí)別手指方向的多點(diǎn)觸摸和識(shí)別手指位置的多點(diǎn)觸摸技術(shù)。TrueTouch可高度集成外部元件,而且特別適合與各種觸摸屏感應(yīng)器或LCD顯示屏協(xié)同工作。靈活的PSoC架構(gòu)使設(shè)計(jì)人員能夠在產(chǎn)品設(shè)計(jì)的最后階段方便地進(jìn)行修改,而這是其他觸摸屏產(chǎn)品無法做到的。
多點(diǎn)觸控(Multi-Touch)屏幕技術(shù)發(fā)展歷史
多點(diǎn)觸控技術(shù)始于1982年由多倫多大學(xué)發(fā)明的感應(yīng)食指指壓的多點(diǎn)觸控屏幕。同年貝爾實(shí)驗(yàn)室發(fā)表了首份探討觸控技術(shù)的學(xué)術(shù)文獻(xiàn)。
1984年,貝爾實(shí)驗(yàn)室研制出一種能夠以多于一只手控制改變畫面的觸屏。同時(shí)上述于多倫多大學(xué)的一組開發(fā)人員終止了相關(guān)硬件技術(shù)的研發(fā),把研發(fā)方向轉(zhuǎn)移至軟件及界面上,期望能接續(xù)貝爾實(shí)驗(yàn)室的研發(fā)工作。
1991年此項(xiàng)技控取得重大突破,研制出一種名為數(shù)碼桌面的觸屏技術(shù),?容許使用者同時(shí)以多個(gè)指頭觸控及拉動(dòng)觸屏內(nèi)的影像。
1999年,“約翰埃利亞斯”和“魯尼韋斯特曼”生產(chǎn)了的多點(diǎn)觸控產(chǎn)品包括iGesture板和多點(diǎn)觸控鍵盤。經(jīng)過多年維持專利的iGesture板和多點(diǎn)觸控鍵盤。
2006年,Siggraph大會(huì)上,紐約大學(xué)的Jefferson Y Han教授向眾人演示最新成果,其領(lǐng)導(dǎo)研發(fā)的新型觸摸屏可由雙手同時(shí)操作,并且支持多人同時(shí)操作。利用該技術(shù),Jefferson Y Han在36英寸×27英寸大小的屏幕上,同時(shí)利用多只手指(拇指似乎還無法感應(yīng)到),在屏幕上畫出了好幾根線條。與普通的觸摸屏技術(shù)所不同的是,它同時(shí)可以有多個(gè)觸摸熱點(diǎn)得到響應(yīng),而且響應(yīng)時(shí)間非常短——小于0.1秒。
多點(diǎn)觸摸的基本原理
傳統(tǒng)觸摸屏的本質(zhì)是傳感器,它由觸摸檢測部件和觸摸屏控制器組成,常見的傳感器包括電阻式和電容式觸摸屏。而基于光學(xué)感應(yīng)的多點(diǎn)觸摸系統(tǒng)是用戶通過觸摸投影屏幕表面,影響光學(xué)感應(yīng)成像設(shè)備的輸入結(jié)果,成像設(shè)備將成像結(jié)果輸入軟件系統(tǒng)進(jìn)行處理,一般經(jīng)過3個(gè)步驟,首先是對(duì)原始輸入圖像進(jìn)行包括矯正、濾波等預(yù)處理,然后通過光斑跟蹤引擎對(duì)觸點(diǎn)進(jìn)行跟蹤,并將其解釋為各種輸入狀態(tài),最后將輸入位置、狀態(tài)等信息發(fā)送給上層應(yīng)用程序。應(yīng)用程序處理結(jié)果最終被投射到顯示屏幕表面上,從而與用戶產(chǎn)生真正的所見即所得的交互效果。根據(jù)不同的光學(xué)感應(yīng)原理,目前常見的多點(diǎn)觸摸實(shí)現(xiàn)方式包括FTIR(受抑全內(nèi)反射)、DI、LLP等技術(shù)。
多點(diǎn)觸摸的技術(shù)特點(diǎn)
1、?多點(diǎn)觸摸是在同一顯示界面上的多點(diǎn)或多用戶的交互操作模式,摒棄了鍵盤、鼠標(biāo)的單點(diǎn)操作方式。
2、用戶可通過雙手進(jìn)行單點(diǎn)觸摸,也可以以單擊、雙擊、平移、按壓、滾動(dòng)以及旋轉(zhuǎn)等不同手勢觸摸屏幕,實(shí)現(xiàn)隨心所欲地操控,從而更好更全面地了解對(duì)象的相關(guān)特征(文字、錄像、圖片、衛(wèi)片、三維模擬等信息)。
3、可根據(jù)客戶需求,訂制相應(yīng)的觸摸板,觸摸軟件以及多媒體系統(tǒng);可以與專業(yè)圖形軟件配合使用。
多點(diǎn)觸摸的技術(shù)解析
識(shí)別手勢方向
我們現(xiàn)在看到最多的是?Multi-Touch Gesture,即兩個(gè)手指觸摸時(shí),可以識(shí)別到這兩個(gè)手指的運(yùn)動(dòng)方向。但還不能判斷出具體位置??梢赃M(jìn)行縮放、平移、旋轉(zhuǎn)等操作。這種多點(diǎn)觸摸的實(shí)現(xiàn)方式比較簡單,軸坐標(biāo)方式即可實(shí)現(xiàn)。把?ITO?分為?X,Y?軸,可以感應(yīng)到兩個(gè)觸摸操作,但是感應(yīng)到觸摸和探測到觸摸的具體位置是兩個(gè)概念。XY?軸方式的觸摸屏可以探測到第?2?個(gè)觸摸,但是無法了解第二個(gè)觸摸的確切位置。單一觸摸在每個(gè)軸上產(chǎn)生一個(gè)單一的最大值,從而斷定觸摸的位置,如果有第二個(gè)手指觸摸屏面,在每個(gè)軸上就會(huì)有兩個(gè)最大值。這兩個(gè)最大值可以由兩組不同的觸摸來產(chǎn)生,于是系統(tǒng)就無法準(zhǔn)確判斷了。有的系統(tǒng)引入時(shí)序來進(jìn)行判斷,假設(shè)兩個(gè)手指不是同時(shí)放上去的,但是,總有同時(shí)觸碰的情況,這時(shí),系統(tǒng)就無法猜測了,我們可以把并不是真正觸摸的點(diǎn)叫做"鬼點(diǎn)。
識(shí)別手指位置
Multi-Touch All-Point?是近期比較流行的話題。其可以識(shí)別到觸摸點(diǎn)的具體位置。即沒有"鬼?點(diǎn)"的現(xiàn)象。多點(diǎn)觸摸識(shí)別位置可以應(yīng)用于任何觸摸手勢的檢測,,可以檢測到雙手十個(gè)手指的同時(shí)觸摸,也允許其他非手指觸摸形式,比如手掌、臉、拳頭等,甚至戴手套也可以。它是最人性化的人機(jī)接口方式,很適合多手同時(shí)操作的應(yīng)用,比如游戲控制。Multi-Touch All-Point?的掃描方式是每行和每列交叉點(diǎn)都需單獨(dú)掃描檢測,掃描次數(shù)是行數(shù)和列數(shù)的乘積。例如,,一個(gè)?10?根行線,15?根列線所構(gòu)成的觸摸屏,使用Multi-Touch Gesture?的軸坐標(biāo)方式,需要掃描的次數(shù)為?25?次,而多點(diǎn)觸摸識(shí)別位置方式則需要?150?次。
Multi-Touch All-Point?基于互電容的檢測方式,而不是自電容,自電容檢測的是每個(gè)感應(yīng)單元的電容(也就是寄生電容?Cp)的變化,有手指存在時(shí)寄生電容會(huì)增加,從而判斷有觸摸存在,而互電容是檢測行列交叉處的互電容(也就是耦合電容?Cm)的變化,當(dāng)行列交叉通過時(shí),行列之間會(huì)產(chǎn)生互電容(包括:行列感應(yīng)單元之間的邊緣電容,行列交叉重疊處產(chǎn)生的耦合電容),有手指存在時(shí)互電容會(huì)減小,就可以判斷觸摸存在,并且準(zhǔn)確判斷每一個(gè)觸摸點(diǎn)位置。
多點(diǎn)觸控技術(shù)種類
基于傳感器的Multi-Touch系統(tǒng)
許多Multi-Touch裝置基于傳感器技術(shù),這些傳感器能同時(shí)檢測到多個(gè)接觸點(diǎn),從而識(shí)別多個(gè)點(diǎn)的輸入。和基于計(jì)算機(jī)視覺的Multi-Touch系統(tǒng)相比,基于傳感器的Multi-Touch系統(tǒng)一般不能從現(xiàn)成的組件來組裝,搭建的成本較高。而且環(huán)境溫度、濕度的會(huì)影響到系統(tǒng)的性能。但是由于可以把傳感器集成在接觸表面上,可用于手機(jī)、Pads等屏幕較小的手持設(shè)備上。
1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device)多點(diǎn)觸控裝置是最早的基于傳感器的多點(diǎn)觸控裝置之一。該系統(tǒng)由一個(gè)傳感器矩陣面板、行列選擇寄存器、A/D轉(zhuǎn)換器和一個(gè)控制CPU組成。通過測量電容的改變,來檢測手指的觸摸點(diǎn)。FMTSID可以精確的檢測多個(gè)手指的觸摸位置,而且還可以檢測出手指的接觸壓力。
三菱電子研究實(shí)驗(yàn)室的Dietz等在2001年提出了DiamondTouch(DT),是一個(gè)支持多用戶的前置攝像頭的多點(diǎn)觸控系統(tǒng)。桌面是投影的屏幕,同時(shí)也是接觸屏。觸屏下面鑲嵌大量的觸角,每一個(gè)觸角傳遞一個(gè)特定的信號(hào),每一個(gè)使用者有獨(dú)立的接收器,利用使用者的導(dǎo)電性,通過其座椅將信號(hào)傳遞。當(dāng)使用者接觸面板,在接觸點(diǎn)附近的觸角在使用者的身體和接收器之間傳遞微弱的信號(hào)。這種獨(dú)特的接觸技術(shù)支持單一使用者的多種接觸(例如雙手接觸的動(dòng)作),還能區(qū)別不同使用者之間的同時(shí)輸入(多達(dá)4個(gè))而互不干擾。該系統(tǒng)還可以檢測接觸點(diǎn)的壓力,支持豐富的手勢,不受外來物體的干擾。和許多的多點(diǎn)觸控技術(shù)一樣,DT不能區(qū)分來自同一個(gè)用戶的多個(gè)接觸點(diǎn)是那個(gè)手指的。DiamondTouch存在如下的缺點(diǎn):只能檢測到“touch”動(dòng)作,而不能識(shí)別放在他表面上的物體;DT則從桌子上方投射圖像,因此使用的時(shí)候,人的肢體遮擋顯示屏,從而帶來操作上的不變。
根據(jù)FMTSID原理,Sony計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin多點(diǎn)觸控系統(tǒng),該系統(tǒng)由網(wǎng)格狀發(fā)射器/接收器組成。
SmartSkin可以不僅可以識(shí)別多個(gè)手的接觸位置和它們的形狀,而且通過電容感應(yīng)和網(wǎng)格式的天線來計(jì)算手和接觸面的距離。和DiamondTouch相比,SmartSkin能夠返回更加豐富的接觸信息(如手指的接觸形狀)。這激發(fā)了Cao等人利用手指的接觸形狀來設(shè)計(jì)新穎的交互方式。
Apple在2007年推出的iPhone手機(jī),是第一個(gè)支持多點(diǎn)觸控的移動(dòng)設(shè)備。iPhone使用電容耦合來感應(yīng)多個(gè)觸控點(diǎn)。iPhone能夠?qū)崿F(xiàn)具有有限維度的多點(diǎn)觸控,允許人們以徒手的方式進(jìn)行操作,并且可以通過虛擬的鍵盤進(jìn)行打字,撥電話號(hào)碼以及由Krueger最先介紹的“pinching”技術(shù)(用一只手的大拇指和食指實(shí)現(xiàn)對(duì)地圖和照片的縮放操作)。這是鼠標(biāo)、鍵盤這些傳統(tǒng)的輸入方式所辦不到的,iPhone的這些功能讓人們耳目一新。隨著Apple公布了iPhone SDK,引起了研究人員對(duì)于Multi-touch技術(shù)在手持設(shè)備中的應(yīng)用研究的極大興趣。
基于計(jì)算機(jī)視覺的Multi-Touch系統(tǒng)
由于計(jì)算機(jī)成本的下降和性能的提高,計(jì)算機(jī)視覺技術(shù)得到了很大的進(jìn)步,這使我們能夠?qū)崟r(shí)、高速處理視頻信號(hào),這足以滿足實(shí)時(shí)交互和人機(jī)交互的要求。由此研究人員提出了許多以計(jì)算機(jī)視覺為核心的Multi-Touch系統(tǒng)。
完全基于計(jì)算機(jī)視覺的多點(diǎn)觸控系統(tǒng)
完全基于計(jì)算機(jī)視覺的多點(diǎn)觸控系統(tǒng)僅使用圖像處理技術(shù)來識(shí)別接觸點(diǎn)及其接觸的位置。采用該技術(shù)的多點(diǎn)觸控系統(tǒng)可以在任何平整的表面使用,而不需要專門的顯示設(shè)備,具有很高的便攜性。但這種便攜性是以犧牲選擇精度為代價(jià)的。
Pinhanez等人設(shè)計(jì)了一個(gè)完全基于計(jì)算機(jī)視覺的觸摸顯示系統(tǒng)——Everywhere Display[4]。該系統(tǒng)使用一個(gè)攝像頭和投影儀通過圖像處理技術(shù)把一個(gè)普通的屏幕變成可以觸控互動(dòng)的顯示屏幕。雖然Pinhanez在文章中沒有提供任何接觸檢測算法的選擇精度的數(shù)據(jù),但很明顯為了便攜性而犧牲了選擇的精度。比起其它Multi-touch技術(shù)來說,Everywhere Display要精確確定手指觸摸顯示屏的時(shí)間和時(shí)長很困難。
Microsoft的Wilson等提出的PlayAnywhere系統(tǒng)]是一個(gè)相對(duì)比較緊湊和具有較好的移動(dòng)性的前置攝像頭的桌面交互系統(tǒng)。Wilson為基于計(jì)算機(jī)視覺的前置攝像頭桌面交互系統(tǒng)提出了多種圖像處理技術(shù),最顯著的是基于陰影的觸摸檢測算法,該算法能夠準(zhǔn)確、可靠地檢測觸摸事件和它們的接觸位置。但Agarwal等指出,該算法只有在手指的指向是垂直的情況下效果才是最好的,這限制了該系統(tǒng)在協(xié)作環(huán)境下的應(yīng)用。
Agarwal等人根據(jù)立體圖像和機(jī)器學(xué)習(xí)技術(shù)開發(fā)了計(jì)算機(jī)視覺算法,該算法改善了基于計(jì)算機(jī)視覺的多點(diǎn)交互桌面的選擇精度(精確度2~3mm),能夠準(zhǔn)確地檢測指尖的觸摸事件,其準(zhǔn)確率達(dá)到了98.48%,這和以前的技術(shù)級(jí)相比(之前的選擇精度一般是cm級(jí)別的),有了很大的提高。
基于計(jì)算機(jī)視覺和光學(xué)的多點(diǎn)觸控系統(tǒng)
基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch技術(shù)搭建起來的設(shè)備具有很好的擴(kuò)展性,而且成本相對(duì)較低,但其體積一般都比較大。下面介紹兩種基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch系統(tǒng)。
1、受抑全內(nèi)反射技術(shù)(FTIR)
FTIR(Frustrated TotalInternal Reflection)是一種光學(xué)現(xiàn)象,LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后,將產(chǎn)生反射。如果屏幕表層是空氣,當(dāng)入射光的角度滿足一定條件時(shí),光就會(huì)在屏幕表面完全反射。但是如果有個(gè)折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板,屏幕表面全反射的條件就會(huì)被打破,部分光束透過表面,投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射),散射光透過觸摸屏被架設(shè)在亞克力板面下面的紅外攝像頭讀取,通過對(duì)應(yīng)的軟件(Touchlib)就可以檢測到相應(yīng)的觸摸信息。Touchlib?是NUI Group為多點(diǎn)觸控系統(tǒng)開發(fā)的一套軟件庫,它實(shí)現(xiàn)了計(jì)算機(jī)視覺大部分算法。這種技術(shù)使用簡單的Blob檢測算法就能檢測多個(gè)觸摸點(diǎn)和接觸的位置。
實(shí)際上,F(xiàn)TIR原理很早就被用來生產(chǎn)一些輸入設(shè)備,例如指紋閱讀器。Jefferson首次利用FTIR原理搭建了一個(gè)低成本的多點(diǎn)觸摸顯示屏,大大降低了Multi-touch技術(shù)的研究成本。根據(jù)Jefferson的方法,我們搭建了一個(gè)60cmx45cm的Multi-touch平臺(tái),總共花費(fèi)不到500元。
2、散射光照明技術(shù)(DI)
DI(DiffusedIllumination)多點(diǎn)觸摸技術(shù)指紅外光從底部照射在觸摸屏幕上,將漫反射幕放在觸摸屏幕的上面或者底部,當(dāng)物體觸摸屏幕的時(shí)候會(huì)反射比漫反射幕更多的紅外光,然后被攝像頭讀取,通過Touchlib就可以檢測到相應(yīng)的觸摸信息。用這個(gè)漫反射幕也可以用來檢測懸停和在界面上的物體。
DI技術(shù)和FTIR相比,有一定的優(yōu)勢,DI系統(tǒng)可以檢測物體的懸停狀態(tài)(系統(tǒng)能識(shí)別手或者手指在屏幕上移動(dòng)或者移近屏幕,而不需要真正觸摸)。另外,基于DI的系統(tǒng)依靠“看”什么在屏幕上,而不是檢測觸摸本身,因此,DI能夠識(shí)別和檢測物體和物體的標(biāo)記。但是,和FTIR中使用的簡單的Blob跟蹤檢測算法相比,DI使用的圖像處理技術(shù)比較復(fù)雜。此外,DI系統(tǒng)容易受到外界光線的影響。
Microsoft的?Surface?是基于背面DI (Diffuse Illumination)技術(shù)的多點(diǎn)觸控系統(tǒng)。Surface內(nèi)置的攝像頭可以感知觸摸和姿勢等用戶輸入(手指在屏幕上移動(dòng)),還能夠捕捉識(shí)別放在上面的物體所需信息。這些信息發(fā)送到普通類型的Windows PC進(jìn)行處理,處理結(jié)果由數(shù)字光處理(DLP)投影儀返回給Surface。Microsoft Surface能感應(yīng)多個(gè)手指和手,能識(shí)別多種物體和它們在表面上的位置。
還有其他一些基于計(jì)算機(jī)視覺和光學(xué)的Multi-touch系統(tǒng),例如:Alex?提出的激光平面多點(diǎn)觸摸技術(shù)(LLP);由Nima提出發(fā)光二極管平面多點(diǎn)觸摸技術(shù)(LED-LP);由Tim Roth?提出的散射光平面多點(diǎn)觸摸技術(shù)(DSI)。這些技術(shù)都可以用來搭建Multi-touch設(shè)備。
多點(diǎn)觸控的關(guān)鍵技術(shù)
Multi-touch技術(shù)可簡單的分解為兩部:硬件和軟件。硬件完成信息的采集,軟件完成信息的分析判斷,最終轉(zhuǎn)換成具體的用戶命令。由此可以認(rèn)為Multi-touch的關(guān)鍵技術(shù)應(yīng)包括以下幾個(gè)主要的部分:
Multi-touch硬件平臺(tái)
如本文前面介紹的硬件平臺(tái),這些平臺(tái)各有各的優(yōu)缺點(diǎn),了解這些平臺(tái)的組成和原理的意義在于如何搭建成本更加低廉、安裝移植更加方便、目標(biāo)選擇更加精確的交互平臺(tái)和研究一些與平臺(tái)無關(guān)的交互技術(shù)。
精度選擇技術(shù)
精度選擇技術(shù)實(shí)際上也就是觸點(diǎn)的檢測跟蹤,如何準(zhǔn)確地跟蹤和定位觸點(diǎn),實(shí)現(xiàn)手勢的自由交互有很大的意義。尤其,當(dāng)目標(biāo)尺寸很小時(shí),我們的手指如何準(zhǔn)確定位到我們想要的目標(biāo)上,這也是一個(gè)值得深入研究的內(nèi)容。
身份識(shí)別技術(shù)
現(xiàn)有的Multi-touch技術(shù)檢測到的觸點(diǎn)大都不攜帶用戶信息。目前可以識(shí)別用戶身份的技術(shù)有DiamondTouch(最多可以識(shí)別4個(gè)用戶)。文獻(xiàn)[30]提出的利用手指指向在FTIR平臺(tái)上實(shí)現(xiàn)的一種輕量級(jí)的用戶身份識(shí)別技術(shù)。研究識(shí)別觸點(diǎn)來自哪個(gè)用戶,更進(jìn)一步,這些觸點(diǎn)來自用戶的那只手,還有就是哪些觸點(diǎn)只對(duì)特定的用戶響應(yīng)等等,這對(duì)于大尺寸的交互區(qū)上的多用戶協(xié)同工作具有重要的應(yīng)用價(jià)值。
雙手交互技術(shù)
雙手操作是人在日常生活中最常用操作方式,將這些自然操作應(yīng)用與人機(jī)交互過程可以大大減輕操作者的認(rèn)知負(fù)擔(dān),形成很自然的“意識(shí)~動(dòng)作”,提高交互操作的效率,我們認(rèn)為將是以后的一個(gè)研究重點(diǎn)。
多點(diǎn)觸控技術(shù)的應(yīng)用
多點(diǎn)觸控屬于感應(yīng)式互動(dòng)投影系統(tǒng)主要針對(duì)新型多媒體內(nèi)容展示而設(shè)計(jì)。集合新的創(chuàng)意、新的表現(xiàn)形式、新的媒體平臺(tái),配合普通桌面顯示絢麗的交互畫面,令用戶在觸覺、視覺、聽覺以及人機(jī)交互感知方面獲得極大沖擊力。用戶站在背投屏幕的面前,通過手掌點(diǎn)擊和拖動(dòng)等方式與多媒體內(nèi)容進(jìn)行互動(dòng)。
該系統(tǒng)的開發(fā)基于先進(jìn)的計(jì)算機(jī)視覺技術(shù)和投影顯示技術(shù),將用戶的自然運(yùn)動(dòng)與可交互的多媒體內(nèi)容相結(jié)合,創(chuàng)造了一種神奇清新的互動(dòng)體驗(yàn),系統(tǒng)交互所產(chǎn)生的絢麗效果可以有效的吸引目標(biāo)人群的注意。使用本系統(tǒng),用戶可以使用雙手或肢體與多媒體內(nèi)容進(jìn)行任意的互動(dòng),互動(dòng)過程中,用戶可以收獲感官的新奇刺激,并對(duì)所交互的內(nèi)容留下深刻的印象。
而多點(diǎn)觸控系大屏幕邊緣融合系統(tǒng)包含一組渲染子系統(tǒng)和一組圖像采集子系統(tǒng)。圖像采集子系統(tǒng)的硬件主要包含一個(gè)紅外信號(hào)感應(yīng)器,其功能是捕捉觀展者的動(dòng)作對(duì)其進(jìn)行分析與處理,并將處理結(jié)果發(fā)送給渲染服務(wù)器。渲染子系統(tǒng)主要包含一臺(tái)投影儀,其功能是接收圖像采集子系統(tǒng)的處理結(jié)果,生成相應(yīng)的圖像通過投影儀顯示到屏幕上,從而實(shí)現(xiàn)最自然的展示效果。所有的圖像采集處理/渲染工作均在工作站上完成。這樣的一來,多點(diǎn)平臺(tái)的應(yīng)用就不在被投影屏幕尺寸規(guī)格所限制,擁有更強(qiáng)大的展示方式。
多點(diǎn)觸控技術(shù),能構(gòu)成一個(gè)觸摸屏(屏幕,桌面,墻壁等)或觸控板,都能夠同時(shí)接受來自屏幕上多個(gè)點(diǎn)的輸入信息。在與傳統(tǒng)的單點(diǎn)觸摸屏技術(shù)相比,已經(jīng)突破了傳統(tǒng)的單一的鼠標(biāo)左鍵功能,不在是單調(diào)的點(diǎn)擊,可以實(shí)現(xiàn)多人一起操作,擁有更華麗的操作模式和豐富的素材內(nèi)容。
編輯:黃飛
?
評(píng)論
查看更多