成像設計趨勢：為什么 AR/VR 需要顛覆性的智能成像系統(tǒng)

視覺對人類來說是如此重要，以至于你大腦幾乎一半的能力都致力于視覺感知。.毫不奇怪，Meta，微軟和蘋果等超大規(guī)模公司押注增強/虛擬現(xiàn)實（AR / VR）——從增強視覺開始——成為新的機器-人機界面。由于我們的眼睛是僅次于大腦的第二復雜的器官，因此AR / VR取代個人電腦和智能手機是有意義的。然而，電子學（大腦）和光學（眼睛）仍然存在許多技術(shù)障礙。在我關(guān)于成像設計趨勢的第一篇博客文章中，我討論了數(shù)字孿生將如何通過成像系統(tǒng)的端到端仿真（從制造和測試到用戶體驗虛擬化）促進大規(guī)模定制和數(shù)據(jù)優(yōu)化。在這篇博文中，我將重點介紹AR/VR如何推動成像設計的創(chuàng)新。 任何認為數(shù)字孿生只包括機械、熱或電氣組件的人都不需要AR/VR系統(tǒng)來開發(fā)顛覆性的光學智能成像系統(tǒng)。

什么是成像系統(tǒng)，它們?nèi)绾卧贏R/VR系統(tǒng)中使用？

成像系統(tǒng)用于各種應用中的觀察、圖像捕獲或圖像顯示，包括太空探索、工業(yè) 5.0 的機器視覺、國防和安全、娛樂、輔助駕駛、計算機和智能手機。成像系統(tǒng)通常由相機和顯示器以及成像鏡頭組成。它們可以是獨立的單元或模塊化組件組件。

數(shù)字化在20年中期進入我們的生活千世紀。第一個機器人機界面（MHI）是只有專家才能使用和交互的大型計算機。在 1970 年代后期，第一臺個人電腦在智能手機進入我們的口袋之前就進入了我們的家庭。預計MHI的下一次革命將是AR / VR系統(tǒng) - 抬頭和免提。目前還沒有人能夠預測未來MHI的確切形狀，但要使它們無縫和邊緣，而不是連接到云，面臨著巨大的挑戰(zhàn)。

完美的沉浸式環(huán)境仍然是虛擬現(xiàn)實的夢想。無處不在的無縫疊加是增強現(xiàn)實的挑戰(zhàn)。不要忘記價格、整體性能（圖像質(zhì)量、電源效率）和人體工程學方面的多重限制。有朝一日，AR/VR系統(tǒng)可以像隱形眼鏡一樣輕巧、無縫和高效——不會分散你的注意力，而是通過在視野中的精確位置提供量身定制的信息來加強注意力。

正如我們的大腦和眼睛是兩個主要器官一樣，計算芯片和成像系統(tǒng)是未來AR / VR MHI的核心。遵循摩爾定律，半導體生態(tài)系統(tǒng)幾十年來一直在努力使計算芯片小型化。因此，今天的智能手機具有 1970 年代超級計算機的計算能力。光學電子行業(yè)必須付出同樣的努力，為AR/VR系統(tǒng)實現(xiàn)小型化、數(shù)字化和智能成像系統(tǒng)。

成像系統(tǒng)小型化

今天只需 1 美元，您就可以購買一套八個自由曲面塑料鏡片，這些鏡片可以放入不到千分之一英寸的尺寸。1.這套復雜的鏡頭是通過優(yōu)化一千多個參數(shù)設計的。CMOS圖像傳感器和計算機視覺芯片也已經(jīng)小型化和改進，每個智能手機都有不少于四個攝像頭：它們比二十年前的第一臺數(shù)碼相機拍攝的圖像更好，后者擁有超過一百萬像素和笨重，復雜的鏡頭。

顯示器也變得越來越小，以至于我們的下一個MHI不僅可以在我們的眼睛上，還可以在我們的眼睛里。像MOJO Vision這樣的公司正在開發(fā)顛覆性的小型系統(tǒng)，可以安裝在隱形眼鏡上，乍一看是看不見的。這種仿生眼由一個比一粒沙子還小的顯示器組成，該顯示器將其發(fā)射引導到我們眼睛最敏感的部分 - 中央凹 - 那里是光感受器數(shù)量和密度最高的部分。更高版本將包括處理器、眼動追蹤傳感器和通信芯片。一個微小的電池也可以為整個設備供電。

成像系統(tǒng)走向數(shù)字化

與幾十年前的電子產(chǎn)品類似，今天的光學器件主要是模擬的。光學系統(tǒng)由復雜的笨重表面、成堆的薄膜或連續(xù)的形狀組成。直到最近，才出現(xiàn)了這種傳統(tǒng)方法的替代方案。扁平光學器件的出現(xiàn)是為了創(chuàng)造納米結(jié)構(gòu)器件（具有小于波長的特征），能夠復制光學功能，如聚焦、濾色和反射。該技術(shù)的主要優(yōu)點是其緊湊性、多功能性和與半導體工藝的兼容性，為光學和電子協(xié)同集成釋放了新的可能性。要使這項技術(shù)成熟，需要克服許多障礙。材料和半導體工藝領(lǐng)域的領(lǐng)導者，如應用材料公司，正在利用他們的專業(yè)知識幫助推動扁平光學技術(shù)進入各種批量市場。

每個光學元件都將從模擬過渡到數(shù)字。全數(shù)字成像系統(tǒng)將以更敏捷和更具體的方式收集或顯示圖像。注視點相機或顯示器是如何以更定制和更有效的方式使用像素化成像系統(tǒng)的一個例子，將詳細的視覺信息精確地帶到必須處理的地方，而使其他區(qū)域分辨率較低。從某種意義上說，數(shù)字成像系統(tǒng)將模仿我們的眼睛的功能。

面向未來的設計：成像系統(tǒng)智能化

我們大腦的一半處理視覺信息。同樣，成像系統(tǒng)必須變得智能，這意味著光學和電子必須共同設計、共同優(yōu)化，甚至可能共同制造。

成像系統(tǒng)由收集光線的傳感器、將原始傳感器信號傳輸?shù)教幚韱卧?a target="_blank">轉(zhuǎn)換器以及對數(shù)字信號進行后處理以做出決定的計算機視覺單元組成。每個組件都由不同的團隊單獨設計，并采用各種技術(shù)制造。

近傳感器或傳感器內(nèi)計算是更具創(chuàng)新性的成像系統(tǒng)的主要趨勢，這些成像系統(tǒng)具有優(yōu)化的能耗、低延遲和更高的安全性。例如，CMOS圖像傳感器可以由平面片上系統(tǒng)組成，該片上系統(tǒng)集成了光電二極管陣列、脈沖調(diào)制電路和簡單的ADC轉(zhuǎn)換器，以便在傳感器層附近或傳感器層中具有前端處理單元。其他方法可能包括一種解決方案，其中光學器件、傳感器和算法聯(lián)合優(yōu)化，然后相互配合使用，作為獨特成像問題的解決方案：識別物體做出決定與拍攝紀念品照片不同，視頻監(jiān)控攝像機應該不同于眼動追蹤攝像機。顯示引擎也可以變得如此智能和完全優(yōu)化，以至于我們甚至可能不需要構(gòu)建中間圖像來渲染真正身臨其境的內(nèi)容。

下一代成像系統(tǒng)有望擴展AR / VR技術(shù)，使其能夠取代個人電腦和智能手機。對于光學行業(yè)來說，這是一個激動人心的時刻，尤其是對于智能成像系統(tǒng)設計的催化劑生態(tài)系統(tǒng)。

審核編輯：郭婷