智能眼鏡“重生”：AR芯片、AI大模型、聲效處理單元進入迭代新周期

電子發(fā)燒友網報道（文/莫婷婷）得益于與智能手機等智能設備連接、AI大模型技術加持以及用于聽障等特殊人群的功能增強，豐富了智能眼鏡的應用體驗，智能眼鏡市場正在經歷顯著的增長。其中，AR智能眼鏡市場迎來重生。IDC預計2024年中國AR市場的出貨增速預計將達到101.0%，保持高速增長。AI智能音頻眼鏡也在技術的迭代下保持增長趨勢。

從開年至今，業(yè)內已經推出了包括AR智能眼鏡以及AI智能音頻眼鏡在內的多款新品，我們將從這些新品來看智能眼鏡的技術迭代需求，以及未來發(fā)展方向。


AI大模型加持，AI+智能眼鏡成為標配

最近智能眼鏡市場最受關注的話題莫過于Meta。Meta宣布雷朋智能眼鏡（Ray-Ban Meta智能眼鏡）開始支持多模態(tài)版Llama 3，這將讓Meta AI升級為多模態(tài) AI。內置AI大模型已經成為智能眼鏡的發(fā)展趨勢之一，從簡單的AI大模型到多模態(tài)大模型，Meta這一舉加速了智能眼鏡在AI大模型上迭代進程。

AI技術能給智能眼鏡帶來哪些交互體驗的升級呢？李未可科技AI負責人古鑒提到了三大方面，一是通過定向優(yōu)化的分發(fā)大模型，實現(xiàn)更自然的交互，第二是通過情感大模型提供更人性的陪伴，三是通過戶外多模態(tài)大模型提供更精準的服務。

就在今年4月，AR+AI眼鏡研發(fā)商李未可科技發(fā)布了針對可穿戴設備（如眼鏡等）自研的多模態(tài)大模型平臺——WAKE-AI，已經搭載在旗下首款AI眼鏡——Meta Lens Chat上。

圖：李未可多模態(tài)大模型平臺WAKE-AI

根據介紹，WAKE-AI大模型在云端運行，具備文本生成、語言理解、圖像識別及視頻生成等多模態(tài)交互能力，賦能在AI眼鏡上，WAKE-AI將讓Meta Lens Chat眼鏡具備更強的AI語音交互能力，AI口語教學、翻譯能力。值得一提的是，隨著用戶使用Meta Lens Chat眼鏡越久，AI智能助理將能記住用戶喜好，成為更懂人的AI助手。這也將成為大多數(shù)內置AI大模型的智能穿戴設備未來的功能發(fā)展方向。

在芯片端，2023年，高通Hexagon NPU開始支持LLM和LVM，并支持Transformer。在2015年，模型只是簡單CNN，隨著大語言模型賦能的個人助手的出現(xiàn)，2023年之前的LLM和LVM支持100億參數(shù)，到了2023年后隨著多模態(tài)生成式AI模型的出現(xiàn)，將需要支持100參數(shù)以上LLM和LVM。為了讓多模態(tài)AI大模型的性能發(fā)揮出來，Ray-Ban Meta 眼鏡增加了攝像頭，能夠通過攝像頭完成交互，例如識圖功能。攝像頭以及更多傳感器的加入，對NPU的性能提出了更高的要求。


空間計算時代對AR芯片的性能需求急速提升

MR設備的下一個階段是進入空間計算時代。2023年蘋果發(fā)布 Apple Vision Pro，空間計算時代也由此到來，并加速形成。在空間計算時代，AR智能眼鏡更加強調連接能力、交互、環(huán)境感知、增強現(xiàn)實等技術帶來的體驗。例如AR眼鏡與智能手機或其他計算設備連接時，需要強大的連接能力，虛擬信息與現(xiàn)實世界的融合需要傳感器的感知能力以及增強顯示技術的加持等等。

就在4月，AR智能眼鏡品牌廠商在Rokid Open Day 2024上，發(fā)布新一代AR Lite空間計算套裝，該套裝包括Rokid Max2眼鏡和Rokid Station2主機。根據介紹，在交互方式上，AR Lite空間計算套裝支持空間觸控交互和空間射線交互兩種交互方式，觸控方式增加了多指多手勢觸控，在Station 2的觸控板上就能完成相應操作。

空間射線的交互方式讓Station2主機成為遙控器。此前，AR智能眼鏡的空間射線指針會因為時延和精準度，導致使用體驗不佳。Rokid等AR品牌廠商都在不斷優(yōu)化空間射線指針的精準度。

圖源：Rokid

為了減少用巨幕玩游戲時因為抖動帶來的不適感，Rokid還為AR Lite增加運動防抖模式。此外，面向辦公、觀影、娛樂等應用場景，AR Lite空間計算套裝還具備多聯(lián)屏模式，多任務協(xié)同處理的功能。

上述功能的實現(xiàn)需要計算、圖形渲染、手勢追蹤、數(shù)據處理、無線傳輸?shù)榷喾N技術都有相關的門檻，更為重要的是，AR空間計算的實現(xiàn)還需要計算機視覺和AI深度學習的結合，因此強大的AR芯片在AR智能眼鏡升級的過程中越來越重要。

目前，大多數(shù)AR智能眼鏡已經與高通達成合作，采用高通驍龍平臺，例如Rokid的AR Lite、AR studio等，另外雷鳥X2 Lite也搭載了高通驍龍AR1平臺。

2022年，高通發(fā)布了首款專為AR眼鏡研發(fā)的處理器高通驍龍AR2平臺，采用分布式架構，支持九路并行攝像頭進行用戶和環(huán)境理解，帶有專用硬件加速引擎、AI加速器、重投影引擎，能夠改善用戶運動追蹤和定位、降低手勢追蹤或6DoF等高精度輸入交互時延、帶來更流暢的視頻體驗。

2023年，高通發(fā)布了全新空間計算平臺——第二代驍龍XR2和第一代驍龍AR1。第二代驍龍XR2平臺GPU性能提升2.5倍，GPU能效提升50%，AI每瓦特性能提升8倍。驍龍AR1專為AR智能眼鏡而設計，支持WiFi 7，峰值速度高達5.8Gbps，處理器搭載了第三代Hexagon NPU。拍攝性能也得到大幅提升，采用 14-bit 雙 ISP，并且增強了AI能力，提高照片和視頻的拍攝質量。


更豐富的音頻體驗，麥克風、DSP等音效處理單元同步升級

隨著應用領域越來越細分，智能眼鏡的分類也越來越多，除了上述提到的AR智能眼鏡、AI智能眼鏡，還有智能音頻眼鏡。顧名思義，智能音頻對音效體驗的要求更高。目前已經有多家品牌廠商跨界推出智能音頻眼鏡，例如業(yè)內知名的音頻和揚聲器制造商JBL。

JBL近期推出了音悅范智能音頻眼鏡耳機。做音頻設備是JBL的強項，如今跨界將其音頻能力賦能到智能眼鏡中，也可以說是毫不意外。

但是作為開放式耳機的衍生產品，智能音頻眼鏡對音效的需求也是非常高，根據介紹，JBL這款智能音頻眼鏡的發(fā)聲單元搭載了線性度賽道型驅動單元、抗風噪通話降噪技術、指向性聲場系統(tǒng)投送技術等，減少漏音問題。能夠用于語音會議、會議等場景。
MIJIA智能音頻眼鏡悅享版也在近期開售，采用氣傳導的開放聲場技術，搭載SLS0820超聲線揚聲器融合音腔結構算法、逆聲場結構疊加防漏膜設計、降噪功能等，并且能夠精準拾取通話人聲。

在AR/VR設備中，要實現(xiàn)更高的聽覺效果需要麥克風和DSP芯片等音效處理單元的共同配合，例如現(xiàn)在大多數(shù)智能眼鏡都標配的通話功能需要用到降噪、回聲消除等技術，聽音樂的功能更強調音效。

在上游元器件廠商中，瑞聲科技是主流玩家之一。此前，瑞聲科技發(fā)布了首款AR專用超線性揚聲器，尺寸僅為8x20x3mm，重量1.45g，適用于小型化以及重量敏感的AR智能眼鏡，振幅可以達到0.5mm，不僅解決了音損的問題，還提升了低頻靈敏度。瑞聲科技還采取開放式后腔設計，減少漏音。

樓氏電子同樣是業(yè)內知名的聲學元器件廠商，針對VR/AR設備，公司已經推出了多款DSP芯片，例如DSP芯片IA8201。該芯片具備高算力、低功耗的特點，能夠進行上行的語音通話處理、下行的音效處理。上行的語音通話處理包括降噪、回聲消除、低功耗語音喚醒等功能，下行的音效處理主要通過音效算法提升看電影、聽音樂的音效體驗。

圖：XREAL Air采用了樓氏音效處理單元（電子發(fā)燒友網攝）

小結：

IDC的數(shù)據顯示，2024年，中國AR市場的出貨增速預計將達到101.0%，保持高速增長。除了AR智能眼鏡，音頻智能眼鏡、AI智能眼鏡等更加細分的市場也將隨著市場需求出現(xiàn)，實現(xiàn)增長，在這個過程中將帶動AR芯片、AI大模型，以及聲學處理單元等上游元器件的迭代。