英飛凌新款長距離3D ToF圖像傳感器滿足攝影和AR/MR需求

如今的智能手機必須提供許多吸引用戶的功能，尤其是要滿足對高質量攝影效果，以及日益增長的增強現(xiàn)實（AR）/混合現(xiàn)實（MR）功能需求。據(jù)麥姆斯咨詢介紹，英飛凌（Infineon）基于pmd technologies的飛行時間（ToF）像素技術開發(fā)了新款長距離3D ToF圖像傳感器，可以滿足上述攝影和AR/MR的需求。

購買新款智能手機時，消費者越來越重視手機攝像頭。一方面，他們想要拍攝高質量的照片和視頻；另一方面，他們希望全面的增強現(xiàn)實功能，以支持AR/MR游戲領域中的新興和高級的應用功能。因此，智能手機的攝像頭已經(jīng)成為購買過程中的決定性要素，并且無論在商業(yè)、教育還是工業(yè)應用中，智能手機的攝像頭都必須能夠將現(xiàn)實世界與數(shù)字世界聯(lián)系起來。集成飛行時間（ToF）圖像傳感器的3D攝像頭正好可以具備此項能力！

過去幾年，智能手機3D攝像頭的開發(fā)主要集中在手機正面。因為前置攝像頭對于各種高安全性和便利性應用至關重要。例如，前置3D攝像頭用于高級安全功能——3D人臉識別以及應用解鎖和移動支付。此外，前置3D攝像頭還可用于3D虛擬化身、社交媒體交互和具有特殊深度效果的攝影美化。上述功能促進了3D攝像頭在手機正面的部署應用，目前這一趨勢現(xiàn)已在市場上確立。

同時，具有專業(yè)品質和沉浸式AR/MR體驗的計算攝影將成為推動智能手機發(fā)展的下一個游戲規(guī)則變革者，并為在智能手機背面采用3D攝像頭提供重要機遇。這也將引發(fā)無數(shù)此類新應用的誕生，從而將進一步推動后置3D攝像頭的發(fā)展。根據(jù)Strategy Analytics預測，2025年智能手機后置ToF攝像頭市場出貨量將超過5億個（如圖1所示）。

圖1 智能手機后置3D ToF攝像頭市場預測

然而，目前AR/MR應用仍然非常有限。幾年前在游戲和3D設計中普及的AR應用，用戶在其中將虛擬角色或對象放置在場景中的某處，通常只不過是將計算機生成的視覺效果疊加到物理環(huán)境上——利用數(shù)字細節(jié)補充現(xiàn)實世界，從而產(chǎn)生有限或不沉浸的用戶體驗。在這種情況下，兩個關鍵要素只是集成攝像頭的手機和帶有合適算法的AR應用程序（App）——用于計算圖像并將其投影到手機屏幕上的場景中。但是，真正的MR將現(xiàn)實世界與數(shù)字元素融合在一起，使它們可以實時交互和融合。MR可以實現(xiàn)虛擬對象與真實對象之間更高程度的沉浸和無處不在的交互，并將虛擬圖像完美地渲染到現(xiàn)實世界中。MR需要在所有光照條件下實時準確地獲取3D深度數(shù)據(jù)，并且對處理能力的要求比帶有圖像疊加的簡單AR效果要高得多?；?D傳感技術的解決方案由于提供了2D攝像頭無法提供的深度細節(jié)，因而備受關注。盡管如此，但仍然存在挑戰(zhàn)——因為當前部署3D傳感解決方案的智能手機尚無法在不對測距范圍和功耗進行重大折衷的情況下提供理想的分辨率。

英飛凌REAL3產(chǎn)品組合中最新一代的3D ToF圖像傳感器現(xiàn)已解決了上述缺點。在詳細解釋這種新器件的優(yōu)點之前，讓我們先看看ToF原理。

基于ToF原理的3D圖像傳感器

英飛凌新型REAL3 3D ToF圖像傳感器芯片利用紅外光，并采用飛行時間工作原理（圖2）。

圖2 英飛凌REAL3 3D ToF圖像傳感器的工作原理

智能手機3D攝像頭的照明系統(tǒng)將通常在幾十兆赫茲范圍內調制的紅外光發(fā)射到物體上，然后紅外光再反射回來被3D ToF圖像傳感器接收。3D ToF圖像傳感器的每個單獨像素都測量由照明系統(tǒng)發(fā)出的調制紅外光經(jīng)物體反射回來的傳播時間。由于3D ToF圖像傳感器的每個像素都配備一個微透鏡，因此大部分入射光被引導到像素的敏感區(qū)域：實際上，在非活動表面上幾乎沒有光能損失，并且光學像素的靈敏度明顯更高。最后，利用算法處理測得的數(shù)據(jù)，以檢測物體的距離、大小、運動和形狀，并在此基礎上創(chuàng)建精確的3D模型。

英飛凌與專注于ToF技術的德國公司pmd technologies一起開發(fā)了REAL3 3D ToF圖像傳感器系列。到目前為止，只有少數(shù)公司成功地將合適的3D ToF解決方案推向了市場，因為這需要廣泛的系統(tǒng)能力和對ToF技術的深刻理解。英飛凌和pmd technologies自2013年以來通力合作，一直處于ToF技術的前沿領域。他們共同開發(fā)了五代3D ToF圖像傳感器，這些ToF傳感器已應用于多款智能手機、AR設備、智能家居、工業(yè)相機和汽車。

與之前的3D ToF圖像傳感器相比，第六代REAL3 3D ToF圖像傳感器經(jīng)過專門優(yōu)化，可以解決智能手機的痛點，從而增強拍照效果和AR/MR功能。該傳感器比前幾代產(chǎn)品能耗降低40%，從而提高了智能手機的電池使用壽命。這是AR/MR游戲的關鍵，例如ToF攝像頭長時間處于開啟狀態(tài)。由于具有較高的SoC集成度，因此采用這種新款3D ToF圖像傳感器的攝像頭設計可以縮小35%，從而為智能手機設計提供了更大的自由度，進而提高了成本效率。最后，新款3D ToF圖像傳感器及系統(tǒng)旨在提供最遠10米的深度數(shù)據(jù)，并且不會在短距離內損失高分辨率（圖3）。

圖3 英飛凌新款長距離REAL3 3D ToF圖像傳感器應用

為了達到10米的測量距離，必須顯著改變發(fā)射光的調制方法（圖4）。

圖4 可以使用兩個調制頻率精確測量距離

ToF攝像頭照明系統(tǒng)投射的紅外光調制頻率與深度質量/精度有關。調制頻率越高，深度質量越好，但是同時無歧義范圍（UR）也會縮小。因此，高深度精度需要高調制頻率，但是對于較長的無歧義范圍，則需要較低的調制頻率。為了解決此問題，REAL3 3D ToF圖像傳感器使用兩個不同的調制頻率。這意味著對于每個頻率都進行距離測量，然后將兩個頻率的測量值進行比較以確定物體的準確位置。這樣可以將測量范圍擴展到每個調制頻率的無歧義范圍之外。所有這些步驟都是通過pmd technologies的復雜ToF攝像頭驅動軟件完成的。

英飛凌最新一代3D ToF圖像傳感器和相關VCSEL驅動芯片使得3D成像系統(tǒng)能夠采用比之前更高的調制頻率對（modulation frequency pairs）。通過這種方式，深度精度得到提高，并且同時可以在長達10米的范圍內高質量地掃描周圍環(huán)境。在高達5米的距離處，甚至可以獲得4萬個深度點的高分辨率圖像（圖5）。

圖5 英飛凌新款遠距離REAL3 3D ToF圖像傳感器可提供靈活且卓越的分辨率，以在更遠的距離范圍內改善AR/MR體驗

相比之下，市場上其它可用的3D傳感解決方案只能在5米距離提供約600個深度點的分辨率，這意味著無法解決小物體的感知。憑借如此高的測距范圍和分辨率，英飛凌的3D ToF圖像傳感器系列適用于各種AR/MR應用：無論是AR/MR游戲、房間和物體的3D掃描，還是家具設計和其它設計應用的3D成像。

此外，諸如智能手機AR游戲之類的“始終在線（always-on）”應用程序尤其受益于英飛凌新款3D ToF圖像傳感器的低功耗。在新一代產(chǎn)品中，功耗已降低了40%，這意味著智能手機的電池運行時間將大大延長。

在所有環(huán)境光條件下提供準確可靠的深度數(shù)據(jù)

英飛凌REAL3 3D ToF圖像傳感器還有另一個重要優(yōu)勢——它們在所有環(huán)境照明條件下都可以提供準確可靠的深度數(shù)據(jù)。這意味著即使在復雜的環(huán)境光條件下也可以生成高質量的深度數(shù)據(jù)。這一點變得越來越重要，尤其是在現(xiàn)代攝影中。為此，pmd technologies專門開發(fā)了一種專利電路，該電路集成在每個像素中，稱為“背景照明抑制（Suppression of Background Illumination，SBI）”。SBI擴展了ToF圖像傳感器芯片的動態(tài)性能，并降低了由環(huán)境光（例如陽光直射）引起的像素飽和。

弱光條件是2D攝像頭最具挑戰(zhàn)性的環(huán)境之一，并且會阻止高質量的夜間模式人像和快速自動對焦。圖6顯示了ToF輔助弱光條件下的人像拍攝案例，該人像具有完美的背景虛化效果。ToF輔助人像拍攝的背后秘密是新型3D ToF圖像傳感器還可以創(chuàng)建場景的夜視圖像，該圖像以灰度圖顯示。

圖6 在弱光條件下，英飛凌REAL3 3D ToF圖像傳感器實現(xiàn)具有完美背景虛化效果的ToF輔助人像拍攝

除了深度數(shù)據(jù)之外，ToF圖像傳感器的灰度數(shù)據(jù)也可以應用。同樣，分辨率也是關鍵：英飛凌新款3D ToF圖像傳感器提供清晰的夜視圖像，而同類應用中的其它商業(yè)解決方案僅提供數(shù)百個像素。圖6的中間顯示了所拍攝人像的灰度圖和深度圖，左側圖像顯示了沒有ToF輔助的2D人像照片，右側顯示了利用灰度圖和深度圖創(chuàng)建的背景虛化的人像照片。

最后，ToF輔助人像拍攝功能可以實現(xiàn)非常高效的圖像處理，因此美化效果也可以實時應用于視頻流?？傊?，在適當設計的3D攝像頭系統(tǒng)中，英飛凌3D ToF圖像傳感器可確保在所有環(huán)境光條件下（無論是在強烈的陽光照射下，還是在黑暗之中，抑或是在建筑物內或車內）都能夠可靠地工作。

用戶還可以通過I2C接口動態(tài)配置3D ToF圖像傳感器。因此，在操作期間，幀率可以像曝光時間或預定義的操作模式一樣輕松地調整，從而實現(xiàn)針對照明和操作環(huán)境進行功能優(yōu)化。此外，智能電源管理可確保低功耗。借助3D ToF圖像傳感器，ToF攝像頭可以在生產(chǎn)結束后數(shù)秒內可靠地校準。

英飛凌新款長距離REAL3 3D ToF圖像傳感器尺寸僅為4.4mm x 4.8mm，因此在電路板空間有限的情況下，它是緊湊型3D攝像頭設計的理想解決方案。得益于高度集成的CMOS圖像傳感器和英飛凌VCSEL驅動芯片，英飛凌3D攝像頭方案使用的組件數(shù)量少于其它商用3D攝像頭方案，這也大大降低了3D攝像頭的成本。3D ToF圖像傳感器特性（例如編碼調制）和配置靈活性還為各種應用和多攝像頭場景提供了改進的性能和魯棒性。性能、低功耗、功能、尺寸和低成本的結合使3D ToF圖像傳感器特別適合于移動設備的3D攝像頭應用。

英飛凌新款REAL3 3D ToF圖像傳感器的高級配置性提供了差異化的3D攝像頭性能，以支持不同的測距范圍、不同的環(huán)境光條件和不同的使用情況。根據(jù)應用需求，該傳感器可實現(xiàn)以下功能：實時增強現(xiàn)實、遠程掃描、小物體重建、低功耗的快速自動對焦和圖像分割。這使得諸如視頻和圖像中的背景虛化等效果易于實現(xiàn)，并且與照明條件無關，無需對圖像進行復雜的后處理。

據(jù)麥姆斯咨詢介紹，作為一家全球領先的半導體制造商，英飛凌為移動和其它消費類應用提供REAL3 3D ToF圖像傳感器產(chǎn)品組合（如裸芯片），而系統(tǒng)設計及廣泛的應用需求則由設計合作伙伴負責。pmd technologies提供適用于全系列REAL3 3D ToF圖像傳感器的攝像頭驅動軟件——通過全面且通用的API輕松實現(xiàn)3D ToF圖像傳感器配置。新款3D ToF圖像傳感器芯片的批量供貨將于2021年第二季度開始。目前，3D ToF圖像傳感器演示套件已經(jīng)可以提供。

總結

英飛凌與pmd technologies合作開發(fā)的新一代3D ToF圖像傳感器適用于多種應用領域，例如實時混合現(xiàn)實、增強攝影、3D對象掃描和房間重建。無論環(huán)境光條件如何，都可以輕松實現(xiàn)視頻和運動場景圖像的背景虛化等效果。此外，可以在長達10米的距離內進行高質量的深度數(shù)據(jù)采集，并且不會在較短距離內損失分辨率。

智能手機中的“始終在線（always-on）”應用程序（例如混合現(xiàn)實游戲）受益于新款3D ToF圖像傳感器的低功耗，可為用戶提供了更長的運行時間。在用于房間和對象重建的3D掃描等應用中，以及在建筑和工業(yè)室內設計等應用中，基于新款3D ToF圖像傳感器的解決方案的測量范圍是其它商用解決方案的兩倍。

原文標題：英飛凌新款ToF圖像傳感器實現(xiàn)先進的攝影技術和身臨其境的AR/MR體驗

文章出處：【微信公眾號：MEMS】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq