微軟HoloLens 2是如何沸騰下一代計算平臺

2019年02月25日，微軟正式發(fā)布了下一代的可穿戴全息計算機(jī)HoloLens2，同時為其準(zhǔn)備了一套全新的混合現(xiàn)實(shí)服務(wù)，面向商業(yè)的開箱即用App，以及能夠進(jìn)行感知和預(yù)測的傳感器。

微軟同時發(fā)布了一款新的Azure Kinect設(shè)備，為開發(fā)者提供了創(chuàng)建人工智能體驗(yàn)的新方式。Azure Kinect將HoloLens 2中的深度感應(yīng)攝像頭技術(shù)與圓形麥克風(fēng)陣列和彩色攝像頭相結(jié)合，并搭配以Microsoft Azure中的人工智能服務(wù)。它可以幫助開發(fā)者建立新的感知功能，如根據(jù)鋸子的聲音識別其是否屬于危險的運(yùn)行情況，支持機(jī)器人在裝箱時判斷距離，或者是識別從商店貨架中選擇的物品。

所述的新技術(shù)都由微軟的智能服務(wù)提供支持。無論是在設(shè)備自身（可以快速地識別危險情況）運(yùn)行，還是說在云端操作（幾乎無限的計算資源），微軟的智能服務(wù)可允許其在最有意義的地方運(yùn)行計算。簡而言之，這就是智能邊緣和智能云端。

微軟同時表示，這些混合現(xiàn)實(shí)和感知工具將能幫助企業(yè)利用一種跨越數(shù)字世界和物理世界的全新計算浪潮，而只有通過智能云和智能邊緣的最新進(jìn)步才能實(shí)現(xiàn)這一目標(biāo)：從家用電器到倉庫樓層和HoloLens 2，能夠提供有關(guān)周圍環(huán)境即時洞察的傳感器和設(shè)備正變得越來越多。微軟Azure市場營銷的商業(yè)副總裁朱莉婭·懷特表示：“我們已經(jīng)走到了技術(shù)可以解決現(xiàn)實(shí)問題的地步。你將真正開始看到全新的計算浪潮是什么，以及它將如何轉(zhuǎn)化為真正的業(yè)務(wù)成果?！?/p>

1. 從二維屏幕到全息圖

迄今為止，大多數(shù)人都經(jīng)歷過二維屏幕：筆記本電腦，電腦顯示器，智能手機(jī)，平板電腦，以及電視游戲等等。微軟的混合現(xiàn)實(shí)產(chǎn)品可以從矩形屏幕中提取數(shù)字信息，并允許人們在物理空間中與全息圖進(jìn)行交互。它們可以獨(dú)立存在，例如醫(yī)學(xué)生可以抓取人類心臟的三維渲染，調(diào)整其大小并自由旋轉(zhuǎn)觀察角度。這種全息圖可以與現(xiàn)實(shí)世界中的物理對象相關(guān)聯(lián)，例如說明書可以疊加在火爐之上，并向你說明如何更換過濾器。

微軟指出，全新的HoloLens 2為一線工人提供了更具沉浸感，更加直觀和更為舒適的體驗(yàn)。對于雙手需要忙于工作的他們而言，HoloLens 2可以支持其診斷引擎問題或訪問步驟式的組裝說明。用戶可以通過點(diǎn)頭或語音返回前一步驟進(jìn)行再次確認(rèn)。你可以在三維中感知對象，直接在設(shè)備看到每一個螺絲應(yīng)在的位置或每一個棘輪的轉(zhuǎn)動方向。

與初代HoloLens相比，HoloLens 2提供了一系列的新功能，如抓取和旋轉(zhuǎn)全息圖的功能。這就像操作真實(shí)對象一樣，而非通過不自然的手勢。眼動追蹤可以判斷用戶在機(jī)器的注視點(diǎn)位置，并調(diào)取有用的數(shù)字信息。單詞可以在你閱讀時自動滾動。最終的結(jié)果就像是從卡通翻頁書到實(shí)際電影的沉浸式轉(zhuǎn)變。

新設(shè)備的視場是初代HoloLens的一倍多（新設(shè)備FOV對角52度），新的顯示技術(shù)令全息圖變得更加生動逼真。

微軟云計算和人工智能事業(yè)群的Technical Fellow艾利克斯·基普曼指出：“這是你第一次體會到觸摸全息圖，與全息圖交互的感覺，你幾乎會忘記自己正在看著的是數(shù)字內(nèi)容，而它根本不存在于現(xiàn)實(shí)世界?！?/p>

HoloLens 2提供的商業(yè)機(jī)遇由智能邊緣的擴(kuò)展功能提供支持。從嬰兒監(jiān)視器和冰箱傳感器，再到諸如HoloLens這樣復(fù)雜的機(jī)器， 這涵蓋一系列正在呈爆炸式增長的設(shè)備。

這種感知功能越發(fā)敏銳的設(shè)備可以告訴自動駕駛汽車何時轉(zhuǎn)彎，要求一件工廠設(shè)備何時關(guān)閉，或者知會工人清理有可能導(dǎo)致客戶滑倒的水坑，甚至是網(wǎng)絡(luò)信號有限的位置。

但隨著邊緣設(shè)備正變得越加智能化，它們同時需要變得更加安全。對于以前需要在云端和本地服務(wù)器上運(yùn)行的應(yīng)用程序，它們現(xiàn)在需要在快速擴(kuò)展的設(shè)備集合中工作，每天針對特定的工業(yè)流程進(jìn)行更多的開發(fā)。Azure現(xiàn)正通過Azure Sphere和Azure IoT等解決方案為邊緣設(shè)備提供安全的計算能力，并支持開發(fā)者設(shè)計出可跨越多種計算環(huán)境無縫運(yùn)行的產(chǎn)品。

當(dāng)這種邊緣設(shè)備連接到智能云端時，它們可以提供更深入的見解并實(shí)現(xiàn)真正的協(xié)作計算。

基普曼說道：“HoloLens 2是一款令人難以置信的多功能邊緣設(shè)備。它可以脫機(jī)工作，并且可以連接到任何云端。但它的設(shè)計同時考慮了Azure。當(dāng)與Azure連接時，它將成為任何人都可以從任何設(shè)備或任何平臺訪問的共享體驗(yàn)。當(dāng)兩者結(jié)合在一起時，那就是奇跡發(fā)生的時刻?！?/p>

2. 始于Xbox和數(shù)十年的研發(fā)

微軟數(shù)十年來的研究項(xiàng)目和商業(yè)開發(fā)塑造了他們在混合現(xiàn)實(shí)和感知項(xiàng)目的進(jìn)步：最初為Xbox開發(fā)的手勢識別設(shè)備，針對AI的投資，初代HoloLens的經(jīng)驗(yàn)教訓(xùn)，有求必應(yīng)的應(yīng)用程序，安全和身份管理方面的專業(yè)知識，以及與客戶合作和開發(fā)企業(yè)解決方案的悠久歷史。

但是，為了實(shí)現(xiàn)混合現(xiàn)實(shí)承諾的真正協(xié)作式和沉浸式計算體驗(yàn)，這種工具同時需要在開放環(huán)境和人們已經(jīng)擁有的設(shè)備或口袋中運(yùn)行。

基普曼認(rèn)為：“混合現(xiàn)實(shí)的承諾是，所有這些設(shè)備都是窺見存在于世界中的聯(lián)網(wǎng)內(nèi)容的透鏡。假如我想把全息圖放在房間里面。當(dāng)我離開房間，而你戴著HoloLens或拿著智能手機(jī)或平板電腦進(jìn)來，你應(yīng)該看到全息圖嗎？假設(shè)隱私和權(quán)限都適用，答案是肯定的?！?/p>

今天微軟發(fā)布了一項(xiàng)名為Azure Spatial Anchors的云端服務(wù)，其允許用戶創(chuàng)建在特定物理空間中持久存在的全息圖。例如，當(dāng)服裝店經(jīng)理將服裝的全息圖像“放在”相鄰的假人模特身邊，其他人將可以通過HoloLens，智能手機(jī)或平板電腦進(jìn)行瀏覽。第二天，一名員工可以走進(jìn)來并用iPhone指向每個假人模特，看看它的裝扮效果并開始準(zhǔn)備相應(yīng)的服飾?！?/p>

3. 面向一線工人的技術(shù)

對于通過計算機(jī)完成大部分工作的信息工作者而言，他們都受益于科技的爆炸性增長，因?yàn)檫@使得他們能夠通過鼠標(biāo)觸碰幾乎任何一切并實(shí)現(xiàn)即時的溝通。這為個人和企業(yè)帶來了前所未有的生產(chǎn)力提升。

但大多數(shù)人并不是如此。在這場技術(shù)革命中，人們經(jīng)常是用雙手來組裝機(jī)器，照顧病人，修理設(shè)備，排除故障或與事物互動。Dynamics 365 Mixed Reality at Work的總經(jīng)理洛林·巴?。↙orraine Bardeen）表示，這款應(yīng)用程序?yàn)橐痪€工人提供了實(shí)現(xiàn)類似生產(chǎn)力提升的巨大機(jī)遇。

巴丁指出：“一線員工不僅對一系列企業(yè)的日常運(yùn)營至關(guān)重要，而且對其制造產(chǎn)品的方式同樣至關(guān)重要。而且他們往往屬于員工中的大多數(shù)。但與那些在辦公室或在更傳統(tǒng)的計算友好型環(huán)境中工作的人相比，他們很少能體會到技術(shù)進(jìn)步帶來的提升?！?/p>

當(dāng)微軟開始向企業(yè)詢問混合現(xiàn)實(shí)如何能夠致使他們受益時，同樣的需求出現(xiàn)在了各個行業(yè)之中。他們希望位于偏遠(yuǎn)地區(qū)或不同工作地點(diǎn)的工作人員能夠與專家對接并協(xié)同解決問題，在三維空間中可視化設(shè)備或家具以判斷其是否合適，以及培訓(xùn)需要雙手自由工作的新員工。

為了提供更多開箱即用的價值，微軟為Microsoft Dynamics 365創(chuàng)建了混合現(xiàn)實(shí)版應(yīng)用程序?，F(xiàn)在企業(yè)可以立即通過HoloLens 2來滿足工作場所的需求，無需再雇傭一大批開發(fā)者。

繼Dynamics 365 Remote Assist和Dynamics 365 Layout之后，Dynamics 365 Guides成為了微軟開路商業(yè)混合現(xiàn)實(shí)應(yīng)用程序的又一探索。Guides允許企業(yè)將紙張和屏幕的培訓(xùn)材料變成一種身臨其境的三維體驗(yàn)。

“所有人都希望成功，而幫助新員工迅速上手工作的能力十分寶貴。”PACCAR ITD全球技術(shù)與運(yùn)營的高級總監(jiān)羅伯·布蘭森（Rob Branson）如是說道，他的公司已經(jīng)試用了Dynamics 365 Guides的早期版本。

他指出：“如果你想想成年人學(xué)習(xí)的方式，你會發(fā)現(xiàn)視覺的占比非常高。能夠看到步驟式的指南疊加在物理對象上可以加快員工學(xué)習(xí)一項(xiàng)新任務(wù)的速度。”

HoloLens 2顯然考慮到一線工人。與初代HoloLens相比，它更輕更舒適，重心更為平衡，這樣用戶就能整天佩戴。全新的翻蓋式眼罩可允許工人輕松切換物理世界和全息世界。

PACCAR員工佩戴的設(shè)備就像帽子一樣能夠輕松滑動，他們可以訪問步驟式的全息指令，并在其幫助下完成組裝卡車門等不熟悉的任務(wù)。在Dynamics 365 Guides中，點(diǎn)亮的箭頭可以清晰說明從每一個步驟，如線纜需要通過的孔洞或所需工具的正確位置。

疊加在卡車門的全息圖說明了員工應(yīng)如何執(zhí)行所述任務(wù)，全息圖同時點(diǎn)亮了鋼板之下的結(jié)構(gòu)，而如果沒有X射線等技術(shù)的支持，常人通常無法看到鋼板底下的結(jié)構(gòu)。

對于勞動力老齡化的行業(yè)，企業(yè)迫切需要迅速把相關(guān)的工作智慧傳給下一代工人。在以往，這通常需要數(shù)年的學(xué)徒時間或數(shù)十年的工作經(jīng)驗(yàn)才能積累實(shí)現(xiàn)。

例如，對于新加入阿拉斯加航空公司的機(jī)械師，他們原本需要大約兩年的時間才能完成所有的培訓(xùn)?；旌犀F(xiàn)實(shí)工具可以顯著減少新人的學(xué)習(xí)曲線，而沉浸式培訓(xùn)環(huán)境同時能夠令伴隨著電子游戲成長的新生代員工產(chǎn)生共鳴。

阿拉斯加航空公司戰(zhàn)略總監(jiān)麥克·羅倫戈（Mike Loreng）表示：“紙張變得栩栩如生。我看到的不再是一張二維紙張，而是投影至引擎的3D內(nèi)容?！?/p>

4. 人與物之間的智能對話

當(dāng)利用智能邊緣和智能遠(yuǎn)端的不同功能時，混合現(xiàn)實(shí)可以變得更加強(qiáng)大。

在一些情景中，你希望能夠在智能邊緣快速處理信息，而不是將數(shù)據(jù)發(fā)送到云端，例如可以提醒你即將發(fā)生安全風(fēng)險的攝像頭或控制制動系統(tǒng)的算法。在工廠車間，并非每個傳感器的所有數(shù)據(jù)都與“此時此刻”相關(guān)。因此，在邊緣運(yùn)行不太復(fù)雜的AI服務(wù)可以幫助過濾掉不相關(guān)的信息或執(zhí)行不需要云端支持的任務(wù)。

如果你需要全息圖來幫助潛在客戶設(shè)想新車的樣式，單臺HoloLens 2即可通過板載功能提供充足的計算能力和分辨率。

但如果將設(shè)備連接至全新的Azure Remote Rendering混合現(xiàn)實(shí)云端服務(wù)，你將可以快速生成復(fù)雜的三維數(shù)字模型，而原本企業(yè)可能需要花費(fèi)數(shù)天或數(shù)月的時間才能構(gòu)建出與之媲美的模型細(xì)節(jié)。如果沒有云端的圖形處理能力，這是不可能實(shí)現(xiàn)的任務(wù)。

懷特指出：“突然之間，混合現(xiàn)實(shí)從一種新奇玩意變成了能夠增強(qiáng)你工作的真正用例，并可以完全取代一整個商業(yè)流程。例如，以其中以往無法實(shí)現(xiàn)的方式來使用完整的數(shù)字建筑。”

通過賦能現(xiàn)場工作人員快速診斷和修復(fù)對運(yùn)營至關(guān)重要的機(jī)器，PTC的物聯(lián)網(wǎng)和混合現(xiàn)實(shí)工具可以幫助企業(yè)最小化停機(jī)時間。

對于微軟合作伙伴之一PTC新開發(fā)的系統(tǒng)，其已經(jīng)集成了物聯(lián)網(wǎng)邊緣解決方案，Azure云和混合現(xiàn)實(shí)工具，從而對從航空航天到國防承包等一系列企業(yè)進(jìn)行了數(shù)字化轉(zhuǎn)型。

PTC首席執(zhí)行官吉姆·海佩爾曼（Jim Heppelmann）指出，你可以設(shè)想一下這樣的情景：在第二天來到實(shí)驗(yàn)室后，研究人員突然發(fā)現(xiàn)處理血液樣品的關(guān)鍵機(jī)器已經(jīng)停機(jī)。接下來會發(fā)生什么事情呢？

在幾年前，閃爍的燈光或模糊的錯誤信息可能是唯一的線索。她可能會打電話給制造商，他可能會通過電話方式來診斷問題。最有可能的是，實(shí)驗(yàn)室不得不為把在那座城市工作，甚至是在另一座城市工作的維修人員派往現(xiàn)場。重新運(yùn)行機(jī)器可能需要數(shù)小時或數(shù)天的時間。與此同時，擔(dān)心血液結(jié)果的患者只能無奈地苦等。

今天，借助ThingWorx for Azure服務(wù)，她可以戴上HoloLens 2設(shè)備并查看全息儀表板，其中每個組件的運(yùn)行狀況和狀態(tài)都會映射到物理機(jī)器。由微型物聯(lián)網(wǎng)傳感器采集并發(fā)送到Azure云的數(shù)據(jù)可能會診斷其中一個問題。然后，這位研究人員可以訪問步驟式的全息說明，逐步打開蓋子，翻轉(zhuǎn)杠桿，插入新零件。如果她依然無法診斷問題或解決問題，坐在內(nèi)布拉斯加州辦公室的維修專家可以通過HoloLens 2看到其面前的一切，并通過語音和全息指示引導(dǎo)她完成操作。

海佩爾曼說道：“這是人與物之間的封閉循環(huán)。物聯(lián)網(wǎng)設(shè)備告訴我錯誤所在，混合現(xiàn)實(shí)解決方案則將我與能夠輕松解決問題的專家對接，從而節(jié)省花費(fèi)在通勤路上的時間與金錢。”

他進(jìn)一步指出，對于可能需要長時間佩戴混合現(xiàn)實(shí)頭顯的一線工人來說，HoloLens 2提升的舒適度與視場具有十分重要的意義。

他表示：“這兩點(diǎn)令HoloLens從有趣的原型變成了能真正廣泛用于工廠，醫(yī)院和建筑工地的實(shí)用性工具。這是一大進(jìn)步?！?/p>

這些功能對微軟的另一個合作伙伴Bentley Systems而言同樣重要，他們主要是為正在展開復(fù)雜的大型基礎(chǔ)設(shè)施項(xiàng)目的工程師，建筑師和建筑公司開發(fā)軟件。

負(fù)責(zé)項(xiàng)目交付的高級副總裁諾亞·艾克豪斯（Noah Eckhouse）表示，當(dāng)站在存在大量活動組件的平臺和需要操作重型設(shè)備來檢修城市火車站或足球場時，俯視手機(jī)或平板電腦上的信息可能非常危險。HoloLens頭顯則允許工作人員在感知物理環(huán)境的同時自然獲取數(shù)字信息。

通過HoloLens，這家公司的SYNCHRO軟件允許工人放大施工現(xiàn)場的特定位置，并訪問相關(guān)的重要數(shù)字信息，如安全指南或安裝說明。管理人員可以從三維視圖預(yù)覽兩天后或三周后的效果，并基于不斷變化的現(xiàn)實(shí)來預(yù)測潛在的計劃沖突。

他表示：“建筑工地就像是一場大型的芭蕾舞表演，一切都需要非常精心的編排，而材料和人的運(yùn)動都必須存在于一定的空間內(nèi)。計劃表從你開始的第一天就要改變。”

盡管可以在單臺設(shè)備存儲和更新兩居室平房的計劃，但如果沒有云計算，你將無法跟蹤大型基礎(chǔ)設(shè)施項(xiàng)目中的所有活動組件。

通過將作業(yè)現(xiàn)場上的每臺HoloLens設(shè)備連接至在Azure中不斷更新的主模型，SYNCRHO能夠確保每個人都是使用相同的共享現(xiàn)實(shí)，并通過最新信息來排序作業(yè)，計劃起重機(jī)移動，跟蹤進(jìn)度，并確保工人安全。

艾克豪斯認(rèn)為：“云端連接至關(guān)重要，因?yàn)閷τ谶@些大型項(xiàng)目，現(xiàn)場與工程師和設(shè)計師之間的來回信息傳遞是在不斷地進(jìn)行。在物理世界中開展基礎(chǔ)設(shè)施項(xiàng)目的任何影響可都是來真的?！?/p>

5. 將強(qiáng)大的感知工具帶到邊緣

計算機(jī)視覺和人工智能的兩項(xiàng)決定性成就給HoloLens 2的沉浸式體驗(yàn)做出了貢獻(xiàn)。通過語義理解來解釋物理空間的能力允許設(shè)備區(qū)分墻壁和窗戶，或區(qū)分沙發(fā)和咖啡桌。自然手部追蹤則允許人們更直觀地旋轉(zhuǎn)和擴(kuò)展全息圖，而不是必須學(xué)習(xí)模仿鼠標(biāo)移動的手勢。

這些進(jìn)步得益于第四代的Kinect，并結(jié)合了在邊緣運(yùn)行的AI工具。這種深度和動作感知技術(shù)最初是在十年前開發(fā)，并旨在為Xbox創(chuàng)建手勢識別附件。但對于可以準(zhǔn)確感知深度并確定人體在空間中移動的能力，其潛力遠(yuǎn)遠(yuǎn)不局限于游戲。

例如，Ocuvera正與Azure Kinect合作開發(fā)這樣一種系統(tǒng)：旨在幫助防止每年在美國醫(yī)院發(fā)生的大約100萬次跌倒，甚至是全球范圍內(nèi)的更多跌倒。他們研發(fā)的系統(tǒng)可以感知需要幫助行走的患者是于何時無助地下床，并提前預(yù)警護(hù)士以提供幫助。

利用深度感應(yīng)攝像頭和人工智能算法，系統(tǒng)可以在患者起床前識別出運(yùn)動模式，如坐起或擺動腿部的動作。11個臨床試點(diǎn)的初步研究結(jié)果發(fā)現(xiàn)，在實(shí)施上述技術(shù)后，無輔助和未留意的下床行走減少了90％以上。

首席執(zhí)行官史蒂夫·凱恩（Steve Kiene）表示，Ocuvera團(tuán)隊(duì)調(diào)查了世界每一臺深度感應(yīng)攝像頭，甚至試圖開發(fā)自家的深度感應(yīng)攝像頭。但對于區(qū)分病人是向前移動抑或只是翻身，沒有任何一款設(shè)備能夠接近于Azure Kinect的準(zhǔn)確性和分辨率。

他說道：“這就像玩撲克時的認(rèn)牌一樣。只有Azure Kinect能夠?yàn)槲覀兲峁┛梢哉嬲私饣颊咴诓〈采习l(fā)生的情況，并以足夠的準(zhǔn)確度預(yù)測其意圖的數(shù)據(jù)。當(dāng)我們在醫(yī)院進(jìn)行試點(diǎn)測試時，他們經(jīng)常告訴我們這是不可能的做到的事情，但隨后他們發(fā)現(xiàn)它確實(shí)有效，而且他們感到非常驚訝?！?/p>

凱恩認(rèn)為，新的Azure Kinect的價值在于它將傳感器硬件與Cognitive Services等Azure工具結(jié)合在了一起，使得開發(fā)者能夠輕松快速地部署AI解決方案。這可以幫助Ocuvera團(tuán)隊(duì)更輕松地將語音識別或語言翻譯等服務(wù)集成至系統(tǒng)之中。例如，支持患者以多種語言呼叫護(hù)士。

隨著越來越多的服務(wù)移到邊緣，它們無需將數(shù)據(jù)發(fā)送至云端即可在本地運(yùn)行。

凱恩指出：“Azure Kinect不僅僅是一個攝像頭，它與所有其他非常重要的服務(wù)相連，如語音識別和身體追蹤。這一整個服務(wù)包非常有價值?！?/p>

為了幫助HoloLens 2成為世界上最具沉浸感的全息計算機(jī)和最為智能的邊緣設(shè)備，基普曼已經(jīng)投入了十多年的時間與精力。他表示，任何發(fā)明家的真正回報都是基于人們可以在其創(chuàng)新基礎(chǔ)上做什么。

基普曼解釋說：“我們把全副身心和所有醒著的時間都用于締造這個愿景，并將其付諸實(shí)踐?，F(xiàn)在，我們終于可以看到這項(xiàng)技術(shù)將如何幫助我們的客戶進(jìn)行市場競爭，進(jìn)行數(shù)字化轉(zhuǎn)型，實(shí)現(xiàn)以前無法實(shí)現(xiàn)的目標(biāo)，做一些我們從未想象過的事情，令我無比興奮的事情?！?/p>