Magic Leap在本周終于在Magic Leap's Creator端口上發(fā)布了自己的Lumin SDK文件，我們也有機會了解到設(shè)備更多的功能，以及如何哪些軟件是可以使用的。

以下就是對Lumin OS、SDK和開發(fā)者端口的一些解讀。

Lumin OS

我們知道Magic Leap的操作系統(tǒng)被稱作Lumin。這個系統(tǒng)是基于Linux和安卓開源項目所打造的。應(yīng)用將會基于Magic Leap自己的Lumin Runtime引擎打造，同時在Lumin上運行。除了Lumin Runtime之外，尋常的3D引擎如Unity和UE4引擎也都可以用來開發(fā)Magic Leap內(nèi)容。

Magic Leap軟件棧

Magic Leap One軟件棧的下一層級是OS服務(wù)層。在這一層,利用OS Core我們會進入更高層次。例如，輸入管理、通信管理（藍牙和Wi-Fi）以及電源管理等功能都在此進行處理。

在這一層，Magic Leap也包含了該公司名為Perception的服務(wù)。這些子系統(tǒng)處理一些更復雜的輸入，例如用戶和環(huán)境感應(yīng)，以及圖形渲染管道，其中包括Magic Leap實現(xiàn)異步時間扭曲（ATW）。

使用可移植操作系統(tǒng)接口（POSIX）API標準，平臺API層作為開發(fā)人員與空間計算功能之間的看門人，具有用戶設(shè)置權(quán)限系統(tǒng)。這一層還包括常用于Android OS中作為進程間的通信系統(tǒng)的Binder框架，允許應(yīng)用程序相交互（HoloLens在這一點上尤其缺失這一功能）。

Lumin Runtime引擎

目前，很多基于其他引擎打造的沉浸式應(yīng)用都必須獨立運行，但Lumin Runtime可以讓應(yīng)用在運行的同時，也能夠進行交互，展示出一種“單一的、連續(xù)性的體驗”。開發(fā)者可以獲取13種平臺上的API來打造不同的交互，包括場景圖（用于確定空間中的坐標和等級）、碰撞物理效果、手勢、實時立體計算技術(shù)（用于渲染物體）、控制、光影以及在現(xiàn)實世界中的遮蔽效果。這種單場景中多應(yīng)用的形式，聽上去和2016年的“Waking Up with Mixed Reality”的demo很相似。

在某一時刻，我們現(xiàn)在知道的Windows計算機是由MS-DOS操作系統(tǒng)組成的，Windows是一個在操作系統(tǒng)之上運行的圖形用戶界面（GUI），因此GUI+可能是查看關(guān)于Lumin Runtime是什么的簡單方法。但Lumin Runtime除了提供簡單的GUI外，還提供了一些更重要的功能。

跳出來看，Magic Leap One使用客戶端/服務(wù)器模式，允許多個設(shè)備共享應(yīng)用程序。根據(jù)文檔中的內(nèi)容，這看起來像是自動處理的。如果是這樣，它將帶來能控制基礎(chǔ)元素共享或不共享的問題，這對于那些已經(jīng)在HoloLens中開發(fā)出共享體驗的人來說就像是一片新鮮空氣一般。

Lumin Runtime的其他基礎(chǔ)元素：

帶有材質(zhì)的3D模型和骨骼3D模型動畫

2D圖片精靈動畫

用于空間計算的高保真空間化文本渲染

2D和聲場音頻

2D和立體視頻

剛體碰撞物理

實時粒子特效

輸入事件和觸覺控制

手勢

語音識別

時空間計算技術(shù)，用于渲染對象、照明、陰影和真實世界的遮擋

看起來，Lumin Runtime旨在提供類似Unreal或Unity 那樣的3D引擎所能提供的設(shè)施，包括諸如Lumin Editor和UI Toolkit等。也就是說，Lumin Runtime層也支持這兩種引擎。

Lumin Runtime應(yīng)用可以平行運作，也可以協(xié)同工作，而Unreal和Unity應(yīng)用只能夠以獨立的應(yīng)用運行，因為它們會對設(shè)備有獨立的控制。當然，它們在其他平臺也是以這種形式運作的，因此不是什么新鮮事了。但開發(fā)者們肯定還是非常期待能夠做出一些改變的。

從這方面來看，Magic Leap的確有對Lumin OS和一系列軟件做出深思熟慮的設(shè)計。但是要到我們真正拿到設(shè)備的的時候才能知曉能做和不能做的事。

平臺API

SDK發(fā)布筆記中，包含了多款驚人的API。眼球追蹤API能夠用于確定用戶注視點的方向、眼部的中央，還可以監(jiān)測眨眼的動作。這一SDK同時支持硬件遮蔽，擁有一個交互界面來給平臺提供深度信息。

頭部姿勢

Magic Leap One（ML1）能夠整合其一系列傳感器所收集的數(shù)據(jù)，同時還有用戶視覺上的觀察。如果用戶的視野被昏暗的環(huán)境或者被遮擋的相機所影響的話，ML1會自動啟用陀螺儀追蹤，直到系統(tǒng)重新收集足夠的視覺數(shù)據(jù)。

圖像追蹤

ML1可以持續(xù)的捕捉視覺數(shù)據(jù)來建造一個周圍環(huán)境的地圖，而且在回到之前已經(jīng)建模的環(huán)境時，會自動識別并且給出之前的內(nèi)容。所以在房間中玩追逐小機器人的游戲時，它們會停留在你之前看到過它們的地方。

這項技術(shù)聽上去和Magic Leap工程師此前發(fā)布的研究非常相似，使用了一對神經(jīng)網(wǎng)絡(luò)系統(tǒng)來給圖像上確定“SLAM-ready”的點，可以用于追蹤。具體形式如下圖所示。

手勢

Lumin SDK支持8種不同的手勢。微軟HoloLens支持3種手勢（可以通過Mixed Reality Toolkit實現(xiàn)第4種），而Meta 2可以實現(xiàn)7種不同的抓取手勢。

鑒于Magic Leap最近申請了一個翻譯手語的專利，我們能夠期待接下來還會在開發(fā)者平臺上看到更多的手勢識別功能。

聲場音頻

就在上周，Magic Leap申請了一份立體聲專利，聽上去正是ML1上具備的聲場音頻功能。

現(xiàn)在我們已經(jīng)確定，公司這項獨家的技術(shù)將會向開發(fā)者開放。基于聲場音頻技術(shù)的立體聲方案或許會在不久之后就登陸Unity和UE4引擎，同時聲場API也很快能夠被原生C++應(yīng)用和公司自己的Lumin Runtime引擎所調(diào)用。除此之外，Magic Leap也有計劃支持更多的中間件，包括Wwise和FMOD Studio，大概在GDC結(jié)束之后就會實現(xiàn)。同時，開發(fā)者還可以將谷歌Resonance Audio項目的SDK進行調(diào)用。

光照

Lumin OS能夠?qū)崿F(xiàn)環(huán)繞式光線追蹤。應(yīng)用可以對一個場景增加光線，但是不能在沒有光的情況下渲染。盡管如此，開發(fā)者可以用明亮的色彩來對沖昏暗的色彩，來制造出昏暗的感覺。同時，由于物體不會投射陰影，開發(fā)者需要從上方照亮物體。Lumin同時支持虛擬物體的自我陰影。

接近裁切平面

Magic Leap官方表示，距離用戶一臂遠的內(nèi)容能夠?qū)崿F(xiàn)最佳的體驗，同時也提醒開發(fā)者不要長時間將虛擬物體置于用戶30厘米的范圍之內(nèi)。公司還鼓勵開發(fā)者在用戶過于接近虛擬物體的時候，讓這些物體“逐漸消失”，而不是突然的讓景象消失。

總的來說，為Magic Leap進行開發(fā)對于習慣于開發(fā)Unity的的人來說并沒有太大不同，只不過增加了一些額外的功能，比如眼球追蹤。我們很期待開發(fā)者們能夠用Lumin Runtime引擎做出來什么樣的作品。