Magic Leap 核心技術(shù)揭秘 - 揭秘Magic Leap核心技術(shù)

　　光場采集光場是定義在射線空間上的函數(shù)，射線空間是4維的，傳統(tǒng)的針孔相機只能采集二維射線簇，因此光場采集具有本質(zhì)的難度。早期光場采集的方法簡單粗暴，就是用大規(guī)模相機陣列，如圖12所示的二維相機陣列。這種光場相機笨重昂貴，無法普及。

斯坦福的光場相機：16x8多相機陣列

　　依隨數(shù)字相機技術(shù)的成熟，針孔相機愈來愈小，可以密集地集成在一起，從而縮小了光場相機的體積。但是鏡頭的尺寸無法縮減，如圖13所示。

斯坦福的光場相機：相機陣列

　　真正的突破來自于仿生學(xué)。許多昆蟲都有復(fù)眼,復(fù)眼獲取的就是光場信息。

昆蟲的復(fù)眼：光場相機

　　人類模仿昆蟲，制造了類似復(fù)眼的鏡頭，如圖15所示，在一個大鏡頭上集成了數(shù)十個小鏡頭。依隨光學(xué)工藝的改進(jìn)，人們制造出在一張塑料薄膜上集成了數(shù)千個微小鏡頭。斯坦福的博士生吳任基于這種想法，創(chuàng)立了光場相機Lytro公司。

Adobe制造的人造復(fù)眼原型

　　傳統(tǒng)的相機需要先對焦，再照相。Lytro相機提出的口號是“先照相，再對焦”。因為Lytro相機得到的光場信息，使用者可以由4維光場合成不同角度，深度的二維相片。

Lytro相機

　　如圖17所示的婚紗攝影：同一個光場相片，我們既可以聚焦于靠近鏡頭的新郎；也可以聚焦于遠(yuǎn)離鏡頭的新娘。

Lytro婚紗照：同一張光場相片，可以聚焦在不同的區(qū)域。左幀，聚焦在新郎上；右?guī)劢乖谛履锷?/p>

　　光場顯示傳統(tǒng)的顯示方式，屏幕，LCD/LED，只保留了射線穿過屏幕的交點的幾何信息和顏色信息，沒有保留射線的方向信息。屏幕是漫反射的，從屏幕上某一點發(fā)出的所有射線都是相同顏色的，而光場顯示要求從同一點出發(fā)的不同射線具有不同的顏色，如圖18所示。光場顯示，正是MagicLeap的核心技術(shù)。

顯示模式對比：左圖是傳統(tǒng)屏幕，過一點的所有射線同樣顏色；右圖是光場顯示，過一點的不同射線不同顏色

　　USC的光場顯示南加州大學(xué)提出并制作了一種光場顯示裝置，如圖19、20所示，有一個四面透光的玻璃柜子，柜子中間是一面和水平面夾角為45度的鏡子，柜子頂部安裝了一臺高速投影儀，投影儀垂直向下投影，光線經(jīng)過鏡子反射后水平射出。同時，鏡子高速旋轉(zhuǎn)。一顆幽靈般的透明人頭懸浮在空氣之中，當(dāng)我們繞著柜子走的時候，我們可以看到人頭的各個側(cè)面，并且這顆人頭對你擠眉弄眼。

USC Light field display，一顆漂浮的人頭

USC Light field display用于遠(yuǎn)程會議系統(tǒng)

USC Light Field display 專利圖

　　圖21展示了這一光場顯示儀器的原理。45度傾斜的鏡子（114）被電機馬達(dá)（115）帶動旋轉(zhuǎn)，圖形處理器（130）生成圖像傳遞給高速投影儀（120），投影儀投射到鏡子上，經(jīng)反射水平射向四周。這樣，經(jīng)過嚴(yán)格同步控制，我們就顯示了一個三維的光場。這一裝置笨重而昂貴，同時高速旋轉(zhuǎn)的鏡子使得系統(tǒng)的穩(wěn)定性下降。任何機械振動都會影響光場顯示效果。

　　MagicLeap光場顯示-手電筒解釋MagicLeap的核心技術(shù)是一種特殊的光場顯示設(shè)備：光導(dǎo)纖維投影儀。激光在光導(dǎo)纖維中傳播，在纖維的端口射出，輸出方向和纖維相切。改變纖維在三維空間中的形狀，特別是改變纖維端口處的切方向，我們可以控制激光射出的方向。這就猶如我們拿著一個手電筒，通過改變手電筒的位置，和指向改變輸出光柱的方向。如果我們快速搖動手腕，手電筒發(fā)出的光柱在空中劃出了一個圓錐面，這個圓錐面打到一面墻上成為一個圓周。通過快速改變手腕搖動的幅度，我們可以控制這個圓周半徑大小，從而得到一系列的同心圓，這一系列同心圓覆蓋了一張圓盤。如果，手電筒的光柱顏色會變化，則我們在墻上畫出了一個彩色圓盤。這樣，通過快速搖動一只手電筒，我們得到了一幅圖像，或者覆蓋了一簇射線。假設(shè)有很多人，站在不同的空間位置，每人都搖動一只手電筒，則我們得到了一個光場。這就是MagicLeap的光場顯示設(shè)備：光導(dǎo)纖維投影儀的原理。

Magic Leap的手電筒

　　圖22顯示了MagicLeap的手電筒，促動器(206）相當(dāng)于人的手腕，光纖（208）相當(dāng)于手電筒，促動器使得纖維頂端周期性地顫動，纖維頂端螺旋地畫出了一些列的同心圓，激光經(jīng)由透鏡系統(tǒng)輸出，在空中畫出了一簇射線。投射到平面上照亮了一個圓盤。同步地改變經(jīng)過顏色和強度，一根纖維利用分時技術(shù)得到一幅圖像，如圖23所示。

一根纖維利用分時技術(shù)得到一幅圖像

　　在MagicLeap的纖維光投影儀中，有許多根光導(dǎo)纖維，集結(jié)成二維陣列，每根纖維都相當(dāng)于一個針孔相機，二維相機陣列生成了光場。

　　光場顯示的優(yōu)勢相比于雙目立體視覺，光場顯示有很多優(yōu)勢。人類獲取三維深度信息有兩種途徑，“shapefromstereo”和“shapefromfocus”。我們用兩只眼睛看同一個物體，同一個三維空間中的點，映到左右視網(wǎng)膜不同的像素上。我們?nèi)四X能夠通過視網(wǎng)膜上的像素，反算對應(yīng)的空間的射線，從而得到兩條射線的交點，得到深度信息，這一過程是“shapefromStereo”。我們每只眼睛看物體的時候，大腦會自動調(diào)節(jié)眼睛的晶狀體的曲率，使得物體在視網(wǎng)膜上清晰成像。調(diào)節(jié)晶狀體的肌肉緊張程度使得大腦能夠計算物體的深度信息，即所謂的“shapefromfocus”。看3D版的《阿凡達(dá)》的時候，我們只用到了“shapefromStereo”，眼睛的焦距一直固定，因為眼睛到屏幕的距離不變，因此沒有“shapefromfocus”的過程。但是，人類經(jīng)過漫長的進(jìn)化，這兩種過程自然而然地緊密聯(lián)系在一起。人為地割裂它們，就會使人目眩頭暈。相反地，如果用光場顯示技術(shù)，我們同時需要“shapefromStereo”和“shapefromfocus”，因此觀看時不會頭暈?zāi)垦?，光場顯示技術(shù)更加自然健康。

　　光場顯示的挑戰(zhàn)作為一場革命的開端，MagicLeap的技術(shù)面臨著許多挑戰(zhàn)。最為直接的就是：傳統(tǒng)的顯示技術(shù)只需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算復(fù)雜度提高幾個數(shù)量級，這是技術(shù)瓶頸之一。同時，精確的調(diào)控機械部件，使得每一個纖維都穩(wěn)定自然地顫動，并且顫動的模式要和數(shù)據(jù)傳輸相互同步，并且這種顫動不受外界噪音的影響，這也需要令人匪夷所思的技術(shù)。

　　數(shù)字全息光場從概念的提出到MagicLeap的投資狂潮已經(jīng)走了二十年，而數(shù)字全息技術(shù)的發(fā)展歷史更加漫長。光場本質(zhì)上還是幾何光學(xué)，而數(shù)字全息則是波動光學(xué)。目前數(shù)字全息技術(shù)日益成熟，依隨藍(lán)色激光的發(fā)明，彩色數(shù)字全息技術(shù)成為可能。目前發(fā)展的瓶頸一是計算量巨大，遠(yuǎn)遠(yuǎn)超過光場計算，二是數(shù)字全息顯示中需要特殊的一種晶體，每個像素的折射率能夠由電壓控制。目前這種光學(xué)器件依然昂貴，并且尺寸較小。我們相信依隨光場技術(shù)的廣為接受，數(shù)字全息技術(shù)也會長足發(fā)展。

　　光場技術(shù)的啟示光場技術(shù)的歷史發(fā)展使我們看到顛覆性的技術(shù)革命往往起源于基礎(chǔ)科學(xué)和非商業(yè)功利的學(xué)術(shù)界。從學(xué)術(shù)界醞釀成熟，到商業(yè)界呼風(fēng)喚雨往往要幾十年。MagicLeap的技術(shù)突破來自于對于內(nèi)窺鏡技術(shù)的轉(zhuǎn)用，這顯示了跨界科研的重要性。

　　期待有一天，電視電影都是用光場攝像機拍攝，觀眾可以任意動態(tài)選擇觀看角度?；蛟S這一天要等待另一個二十年，或許只需三五年。我相信，不久的將來，淘寶網(wǎng)上的照片都會被光場相片所取代，而Magicleap頭盔，成為每一個網(wǎng)購者的標(biāo)配。