Lumin OS、SDK和開發(fā)者端口的解讀

Magic Leap在本周終于在Magic Leap's Creator端口上發(fā)布了自己的Lumin SDK文件，我們也有機(jī)會了解到設(shè)備更多的功能，以及如何哪些軟件是可以使用的。

以下就是對Lumin OS、SDK和開發(fā)者端口的一些解讀。

Lumin OS

我們知道Magic Leap的操作系統(tǒng)被稱作Lumin。這個系統(tǒng)是基于Linux和安卓開源項(xiàng)目所打造的。應(yīng)用將會基于Magic Leap自己的Lumin Runtime引擎打造，同時(shí)在Lumin上運(yùn)行。除了Lumin Runtime之外，尋常的3D引擎如Unity和UE4引擎也都可以用來開發(fā)Magic Leap內(nèi)容。

Magic Leap軟件棧

Magic Leap One軟件棧的下一層級是OS服務(wù)層。在這一層,利用OS Core我們會進(jìn)入更高層次。例如，輸入管理、通信管理（藍(lán)牙和Wi-Fi）以及電源管理等功能都在此進(jìn)行處理。

在這一層，Magic Leap也包含了該公司名為Perception的服務(wù)。這些子系統(tǒng)處理一些更復(fù)雜的輸入，例如用戶和環(huán)境感應(yīng)，以及圖形渲染管道，其中包括Magic Leap實(shí)現(xiàn)異步時(shí)間扭曲（ATW）。

使用可移植操作系統(tǒng)接口（POSIX）API標(biāo)準(zhǔn)，平臺API層作為開發(fā)人員與空間計(jì)算功能之間的看門人，具有用戶設(shè)置權(quán)限系統(tǒng)。這一層還包括常用于Android OS中作為進(jìn)程間的通信系統(tǒng)的Binder框架，允許應(yīng)用程序相交互（HoloLens在這一點(diǎn)上尤其缺失這一功能）。

Lumin Runtime引擎

目前，很多基于其他引擎打造的沉浸式應(yīng)用都必須獨(dú)立運(yùn)行，但Lumin Runtime可以讓應(yīng)用在運(yùn)行的同時(shí)，也能夠進(jìn)行交互，展示出一種“單一的、連續(xù)性的體驗(yàn)”。開發(fā)者可以獲取13種平臺上的API來打造不同的交互，包括場景圖（用于確定空間中的坐標(biāo)和等級）、碰撞物理效果、手勢、實(shí)時(shí)立體計(jì)算技術(shù)（用于渲染物體）、控制、光影以及在現(xiàn)實(shí)世界中的遮蔽效果。這種單場景中多應(yīng)用的形式，聽上去和2016年的“Waking Up with Mixed Reality”的demo很相似。

在某一時(shí)刻，我們現(xiàn)在知道的Windows計(jì)算機(jī)是由MS-DOS操作系統(tǒng)組成的，Windows是一個在操作系統(tǒng)之上運(yùn)行的圖形用戶界面（GUI），因此GUI+可能是查看關(guān)于Lumin Runtime是什么的簡單方法。但Lumin Runtime除了提供簡單的GUI外，還提供了一些更重要的功能。

跳出來看，Magic Leap One使用客戶端/服務(wù)器模式，允許多個設(shè)備共享應(yīng)用程序。根據(jù)文檔中的內(nèi)容，這看起來像是自動處理的。如果是這樣，它將帶來能控制基礎(chǔ)元素共享或不共享的問題，這對于那些已經(jīng)在HoloLens中開發(fā)出共享體驗(yàn)的人來說就像是一片新鮮空氣一般。

Lumin Runtime的其他基礎(chǔ)元素：

帶有材質(zhì)的3D模型和骨骼3D模型動畫

2D圖片精靈動畫

用于空間計(jì)算的高保真空間化文本渲染

2D和聲場音頻

2D和立體視頻

剛體碰撞物理

實(shí)時(shí)粒子特效

輸入事件和觸覺控制

手勢

語音識別

時(shí)空間計(jì)算技術(shù)，用于渲染對象、照明、陰影和真實(shí)世界的遮擋

看起來，Lumin Runtime旨在提供類似Unreal或Unity 那樣的3D引擎所能提供的設(shè)施，包括諸如Lumin Editor和UI Toolkit等。也就是說，Lumin Runtime層也支持這兩種引擎。

Lumin Runtime應(yīng)用可以平行運(yùn)作，也可以協(xié)同工作，而Unreal和Unity應(yīng)用只能夠以獨(dú)立的應(yīng)用運(yùn)行，因?yàn)樗鼈儠υO(shè)備有獨(dú)立的控制。當(dāng)然，它們在其他平臺也是以這種形式運(yùn)作的，因此不是什么新鮮事了。但開發(fā)者們肯定還是非常期待能夠做出一些改變的。

從這方面來看，Magic Leap的確有對Lumin OS和一系列軟件做出深思熟慮的設(shè)計(jì)。但是要到我們真正拿到設(shè)備的的時(shí)候才能知曉能做和不能做的事。

平臺API

SDK發(fā)布筆記中，包含了多款驚人的API。眼球追蹤API能夠用于確定用戶注視點(diǎn)的方向、眼部的中央，還可以監(jiān)測眨眼的動作。這一SDK同時(shí)支持硬件遮蔽，擁有一個交互界面來給平臺提供深度信息。

頭部姿勢

Magic Leap One（ML1）能夠整合其一系列傳感器所收集的數(shù)據(jù)，同時(shí)還有用戶視覺上的觀察。如果用戶的視野被昏暗的環(huán)境或者被遮擋的相機(jī)所影響的話，ML1會自動啟用陀螺儀追蹤，直到系統(tǒng)重新收集足夠的視覺數(shù)據(jù)。

圖像追蹤

ML1可以持續(xù)的捕捉視覺數(shù)據(jù)來建造一個周圍環(huán)境的地圖，而且在回到之前已經(jīng)建模的環(huán)境時(shí)，會自動識別并且給出之前的內(nèi)容。所以在房間中玩追逐小機(jī)器人的游戲時(shí)，它們會停留在你之前看到過它們的地方。

這項(xiàng)技術(shù)聽上去和Magic Leap工程師此前發(fā)布的研究非常相似，使用了一對神經(jīng)網(wǎng)絡(luò)系統(tǒng)來給圖像上確定“SLAM-ready”的點(diǎn)，可以用于追蹤。具體形式如下圖所示。

手勢

Lumin SDK支持8種不同的手勢。微軟HoloLens支持3種手勢（可以通過Mixed Reality Toolkit實(shí)現(xiàn)第4種），而Meta 2可以實(shí)現(xiàn)7種不同的抓取手勢。

鑒于Magic Leap最近申請了一個翻譯手語的專利，我們能夠期待接下來還會在開發(fā)者平臺上看到更多的手勢識別功能。

聲場音頻

就在上周，Magic Leap申請了一份立體聲專利，聽上去正是ML1上具備的聲場音頻功能。

現(xiàn)在我們已經(jīng)確定，公司這項(xiàng)獨(dú)家的技術(shù)將會向開發(fā)者開放?；诼晥鲆纛l技術(shù)的立體聲方案或許會在不久之后就登陸Unity和UE4引擎，同時(shí)聲場API也很快能夠被原生C++應(yīng)用和公司自己的Lumin Runtime引擎所調(diào)用。除此之外，Magic Leap也有計(jì)劃支持更多的中間件，包括Wwise和FMOD Studio，大概在GDC結(jié)束之后就會實(shí)現(xiàn)。同時(shí)，開發(fā)者還可以將谷歌Resonance Audio項(xiàng)目的SDK進(jìn)行調(diào)用。

光照

Lumin OS能夠?qū)崿F(xiàn)環(huán)繞式光線追蹤。應(yīng)用可以對一個場景增加光線，但是不能在沒有光的情況下渲染。盡管如此，開發(fā)者可以用明亮的色彩來對沖昏暗的色彩，來制造出昏暗的感覺。同時(shí)，由于物體不會投射陰影，開發(fā)者需要從上方照亮物體。Lumin同時(shí)支持虛擬物體的自我陰影。

接近裁切平面

Magic Leap官方表示，距離用戶一臂遠(yuǎn)的內(nèi)容能夠?qū)崿F(xiàn)最佳的體驗(yàn)，同時(shí)也提醒開發(fā)者不要長時(shí)間將虛擬物體置于用戶30厘米的范圍之內(nèi)。公司還鼓勵開發(fā)者在用戶過于接近虛擬物體的時(shí)候，讓這些物體“逐漸消失”，而不是突然的讓景象消失。

總的來說，為Magic Leap進(jìn)行開發(fā)對于習(xí)慣于開發(fā)Unity的的人來說并沒有太大不同，只不過增加了一些額外的功能，比如眼球追蹤。我們很期待開發(fā)者們能夠用Lumin Runtime引擎做出來什么樣的作品。