沒有手機(jī)，華為卻發(fā)布了這項(xiàng)獨(dú)創(chuàng)傳感交互技術(shù)，1000+項(xiàng)傳感器專利，布局這么深了！

日前（9月25日），華為一年一度的秋季全場景新品發(fā)布會舉行，這可能是華為歷史上最為特殊、關(guān)注度最高的一場產(chǎn)品發(fā)布會，眾多官媒加持，被許多媒體認(rèn)為是華為強(qiáng)勢回歸的“儀式”。

最近一個(gè)月來，是獨(dú)屬于華為的高光時(shí)刻，從8月底華為Mate 60 pro手機(jī)“未發(fā)先售”，麒麟9000s芯片實(shí)現(xiàn)華為手機(jī)媲美5G上網(wǎng)速度，“遙遙領(lǐng)先”全網(wǎng)熱議，任正非和孟晚舟先后發(fā)表“第四次工業(yè)革命”、“全面智能化時(shí)代”等講話，華為正在全面回歸。

當(dāng)然，在這場發(fā)布會上行，大家更期待的是，聽到更多華為手機(jī)的聲音。然而，并沒有，華為 Mate 60 RS Ultimate Design手機(jī)在劉德華的宣傳視頻中淺淺地漏了一面，此外就是余承東提了一下華為Matepad用的芯片與手機(jī)一樣——也即是麒麟9000s芯片——這看起來麒麟9000s芯片的產(chǎn)能似乎還比較充足。

但是，最近華為發(fā)布一大批發(fā)明專利信息情況，其中包含了多款傳感器發(fā)明專利，涉及光纖傳感器、激光雷達(dá)、MEMS等多種傳感器技術(shù)，據(jù)查詢，華為迄今已經(jīng)公布了1000+項(xiàng)傳感器技術(shù)專利。

在這次發(fā)布會上，我們也發(fā)現(xiàn)華為發(fā)布的多款產(chǎn)品使用了這些傳感器專利，創(chuàng)造了多個(gè)突破性人機(jī)交互應(yīng)用。華為，在傳感器技術(shù)領(lǐng)域布局這么深了！詳情見下文。

11999起！華為Mate 60手機(jī)缺席，發(fā)布全新獨(dú)創(chuàng)人機(jī)交互技術(shù)，發(fā)布會背后，1000+項(xiàng)傳感器專利技術(shù)公開！

日前（9月25日）下午的華為秋季新品發(fā)布會上，余承東一登場，就先介紹了此前“先鋒計(jì)劃”計(jì)劃的火爆——也即是華為Mate 60系列“未發(fā)先售”，對于當(dāng)下的缺貨情況，余承東也說到，他們正在“加班加點(diǎn)緊急生產(chǎn)”。 在發(fā)布會上，我們看到了華為平板產(chǎn)品MatePadPro 13.2英寸、非凡大師智能手表、華為智慧屏V5 Pro、FreeBuds Pro 3旗艦耳機(jī)、華為智能眼鏡 2、華為Watch GT4、華為路由BE3 Pro等系列新產(chǎn)品。 此外，余承東還預(yù)告了首款轎車智界S7，預(yù)計(jì)11月下旬與大家見面；大家期待已久的問界M9，12月如期而至。 關(guān)于本次華為華為發(fā)布會新品信息如下，可上下滑動查看：?1、“全球最輕薄”的大屏平板，手機(jī)同款旗艦芯片，首次支持星閃技術(shù)，配套手寫筆寫畫體驗(yàn)媲美專業(yè)的數(shù)位板。

2、劉德華親臨現(xiàn)場帶來的“非凡大師”手表，一塊手表鑲嵌6段金條，支持雙向北斗衛(wèi)星消息、支持百米潛水，售價(jià)21999元。

3、可以“隔空觸控”、搭配靈犀操控，可以像手機(jī)一樣刷視頻的“巨幕手機(jī)”電視，邊框比iPhone 15 Pro還窄，搭載自研鴻鵠900電視芯片。

4、搭載華為最新自研麒麟A2芯片的耳機(jī)，支持星閃技術(shù)、超CD級無損音質(zhì)，雙DSP架構(gòu)支持空間音頻，中央音樂學(xué)院首席調(diào)音團(tuán)專業(yè)調(diào)音。

5、采用鈦合金工藝的智能眼鏡，支持智慧播報(bào)、頸椎健康檢測等AI功能。

6、支持最新Wi-Fi 7技術(shù)，無線速率可達(dá)3600Mbps的路由器。 7、華為智選車業(yè)務(wù)首款轎車智界S7正式亮相，搭載HarmonyOS 4智能座艙、華為高階智能駕駛，定位超越特斯拉Model S，將在今年11月下旬正式發(fā)布。

▲華為發(fā)布會新品一覽

▲智界S7

▲華為秋季新品全景圖 關(guān)于華為Mate60 系列手機(jī)產(chǎn)品，發(fā)布會中較少提及，華為 Mate 60 RS | Ultimate Design，在發(fā)布會中只在劉德華的宣傳視頻中，露了一臉而在發(fā)布會后，華為官方公眾號發(fā)布了一條“HUAWEI Mate 60 RS 非凡大師”的消息，向大家介紹這款新機(jī)型的信息和價(jià)格——起售價(jià)11999起。

▲來源：華為公眾號 值得一提的是， 本次發(fā)布會中，華為帶來了全球首創(chuàng)的人機(jī)交互方式——華為靈犀指向遙控，該創(chuàng)新的交互技術(shù)與華為智慧屏 V5 Pro 一同亮相，該交互方式基于華為多項(xiàng)傳感器技術(shù)的創(chuàng)新。

靈犀指向遙控交互應(yīng)用于電視領(lǐng)域，主要是解決巨幕時(shí)代下，大屏電視的操控難題，這也是首次有廠商開辟這一新操控方式，號稱開創(chuàng)“巨幕手機(jī)”新時(shí)代。

據(jù)華為終端BG首席運(yùn)營官何剛介紹，靈犀隔空遙控器采用超小型天線設(shè)計(jì)，支持靈犀空間定位，能夠?qū)崿F(xiàn)超精準(zhǔn)位置 / 姿態(tài)融合感知。同時(shí)，該遙控器支持滑動、點(diǎn)按、拖拽、圈選、跳選多種手勢操作，可對電視 UI 進(jìn)行隔空操控，號稱將電視變成“巨幕手機(jī)”。

而近期，華為公開了包括芯片、傳感器等在內(nèi)的多項(xiàng)專利技術(shù)情況，作為中國硬科技的代表企業(yè)，讓人不禁感嘆華為在技術(shù)上的“遙遙領(lǐng)先”。 其中，靈犀指向遙控技術(shù)信息，就在這些公開的發(fā)明專利里，在一項(xiàng)今年剛剛公開的名為“遙控方法、遙控設(shè)備和被控制設(shè)備”的專利中，我們能夠知道華為怎么進(jìn)行指向遙控——這基于多傳感器的感知及算法融合技術(shù)。

全新的隔空交互！華為怎么進(jìn)行指向遙控？1000+傳感器技術(shù)專利披露！華為在傳感器領(lǐng)域的布局這么深了！ 該專利申請?zhí)枮椋?02210248607 .6，在2022年3月份申請， 根據(jù)專利信息摘要介紹：

本發(fā)明實(shí)施例提供了一種遙控方法、遙控設(shè)備和被控制設(shè)備。本發(fā)明實(shí)施例提供的技術(shù)方案中，所述被控制設(shè)備包括屏幕，所述方法包括：接收遙控設(shè)備的第一信息；根據(jù)所述第一信息確定所述遙控設(shè)備正對所述屏幕的目標(biāo)位置；根據(jù)所述目標(biāo)位置在屏幕上執(zhí)行第一操作。本發(fā)明實(shí)施例能夠使得用戶在不需要對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下，實(shí)現(xiàn)對被控制設(shè)備的遠(yuǎn)程操作，提升用戶在使用過程中的體驗(yàn)感。

此外，發(fā)明專利說明書中，提到了：

目前被控制設(shè)備的遙控方法需要用戶對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁的操作來實(shí)現(xiàn)對大屏的遠(yuǎn)程操作，導(dǎo)致使用過程中體驗(yàn)感較差。有鑒于此，本發(fā)明實(shí)施例提供了一種遙控方法、遙控設(shè)備和被控制設(shè)備，能夠使得用戶在不需要對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下，實(shí)現(xiàn)對被控制設(shè)備的遠(yuǎn)程操作，提升用戶在使用過程中的體驗(yàn)感。

因此不難看出，該專利也即是本次發(fā)布會中，華為靈犀指向遙控所采用的技術(shù)。那么，怎么實(shí)現(xiàn)呢? 專利原文介紹較詳細(xì)，這里簡單翻譯下，專利主要使用雙目攝像頭（即雙目視覺傳感器），拍攝電視圖像輪廓，然后將圖像數(shù)據(jù)傳送到算法模塊進(jìn)行解析，算法解析出坐標(biāo)發(fā)送給屏幕，屏幕顯示對應(yīng)的坐標(biāo)圖像并進(jìn)行相應(yīng)的操作。

這個(gè)過程看起來，是不是很像我們用人眼觀看屏幕然后用手指操控觸摸屏？ 其中的算法模塊可以放置于遙控設(shè)備或者被控制設(shè)備（屏幕）中，而無線傳輸也有藍(lán)牙、紅外、移動網(wǎng)絡(luò)或者WLAN傳輸?shù)榷喾N方式，因此該發(fā)明專利包含多個(gè)實(shí)施方案可供選擇。

▲來源：華為專利公開信息 原理看起來并不復(fù)雜，但做起來卻一點(diǎn)都不簡單。要不然憑什么是華為首先發(fā)布這項(xiàng)全新的交互技術(shù)，此前沒有廠商公布呢？ 首先，是在自由空間下，傳感器的標(biāo)定。標(biāo)定傳感器是傳感器感知的必要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個(gè)或者多個(gè)傳感器變換到統(tǒng)一的時(shí)空坐標(biāo)系，使得傳感器融合具有意義。 這里面包括左目攝像頭標(biāo)定、右目攝像頭標(biāo)定、確定攝像頭之間的平移旋轉(zhuǎn)關(guān)系，以及焦距、圖像中心、畸變系數(shù)等。 此外，還要進(jìn)行雙目深度估計(jì)，具體地計(jì)算兩個(gè)圖像之間像素的相對匹配關(guān)系，包括匹配誤差計(jì)算、誤差集成、視差圖計(jì)算、視差圖優(yōu)化和視差圖矯正5個(gè)步驟。 具體有多復(fù)雜，可看下方部分專利原文對操控過程的描述（可上下滑動查看）：

[0106] 需要說明的是，如圖3所示，遙控設(shè)備100正對屏幕時(shí)，遙控設(shè)備100的中心點(diǎn)與屏幕上目標(biāo)位置之間的連線與遙控設(shè)備100較長的兩個(gè)側(cè)邊平行。

[0107] 其中，如圖5所示，算法模塊具體用于：在離線狀態(tài)下對雙目攝像頭進(jìn)行標(biāo)定；通過對屏幕的兩個(gè)圖像進(jìn)行矯正，以去除雙目攝像頭帶來的畸變；通過雙目匹配計(jì)算矯正后的兩個(gè)圖像之間的匹配點(diǎn)，得到視差圖；根據(jù)視差圖，通過3D坐標(biāo)計(jì)算得到遙控設(shè)備100正對屏幕的位置坐標(biāo)。

[0108] 其中，在離線狀態(tài)下對雙目攝像頭進(jìn)行標(biāo)定的目的是通過獲取兩個(gè)攝像頭的內(nèi)參和外參對齊兩個(gè)攝像頭。首先對左目攝像頭標(biāo)定，獲取左目攝像頭的內(nèi)參和外參；其次，對右目攝像頭標(biāo)定，獲取右目攝像頭的內(nèi)參和外參；最后，對雙目攝像頭標(biāo)定，獲取左目攝像頭和右目攝像頭之間的平移旋轉(zhuǎn)關(guān)系。其中，內(nèi)參包括焦距、圖像中心、畸變系數(shù)等；外參包括旋轉(zhuǎn)矩陣、平移矩陣。

[0109] 其中，通過對屏幕的兩個(gè)圖像進(jìn)行矯正可得到兩個(gè)圖像在X方向上的差異，能夠提高視差計(jì)算的準(zhǔn)確性。具體的，對屏幕的兩個(gè)圖像進(jìn)行矯正包括畸變矯正和轉(zhuǎn)化為標(biāo)準(zhǔn)形式。

[0110] 其中，雙目匹配是雙目深度估計(jì)的核心部分，主要目的是計(jì)算兩個(gè)圖像之間像素的相對匹配關(guān)系。具體的，雙目匹配包括匹配誤差計(jì)算、誤差集成、視差圖計(jì)算、視差圖優(yōu)化和視差圖矯正5個(gè)步驟。

[0111] 其中，根據(jù)視差圖中的匹配信息以及三角測量原理重建圖片中屏幕的三維信息，通過3D坐標(biāo)計(jì)算得到遙控設(shè)備100正對屏幕的位置坐標(biāo)。

[0112] 其中，第一操作，包括：在目標(biāo)位置顯示指針；或者，將與目標(biāo)位置對應(yīng)的控件高亮顯示或者陰影顯示。

[0113] 需要說明的是，當(dāng)用戶移動遙控設(shè)備100時(shí)，遙控設(shè)備100采集到的包含屏幕輪廓的圖像會發(fā)生變化，需要重新計(jì)算遙控設(shè)備100正對屏幕的位置坐標(biāo)，被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新指針位置，指針根據(jù)遙控設(shè)備的指向移動；或者，被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新高亮顯示或者陰影顯示的控件。

雙目攝像頭也叫雙目景深攝像頭，即使用兩個(gè)圖像傳感器，像人類的雙眼，通過兩幅圖像的視差計(jì)算來確定距離，雙目攝像頭不需要知道障礙物是什么，只要通過計(jì)算就可以測距。

而在華為的這個(gè)專利中，雙目視覺傳感器感知到的圖像數(shù)據(jù)，除了進(jìn)行測距外，還用來進(jìn)行復(fù)雜的3D坐標(biāo)計(jì)算。

因此，這個(gè)專利除了傳感器外，更涉及到復(fù)雜的算法計(jì)算和處理能力，以及對專用算法的芯片級開發(fā)，以做到在移動設(shè)備下的高效率和低能耗。 這也是未來智能傳感器的重大方向，試想一下，當(dāng)前，機(jī)器學(xué)習(xí)已經(jīng)無處不在。如果算法不僅僅放在機(jī)器設(shè)備里，而是也可以放在最小的感知單元——傳感器中，那么嵌入式人工智能，就會大力推動智能時(shí)代的發(fā)展。

具體來看，智能傳感器集傳感就是芯片、通信芯片、微處理器、驅(qū)動程序、軟件算法等于一體，其核心優(yōu)勢就在于高復(fù)雜度的信息處理能力，以及高集成度的信息傳輸能力。 除了關(guān)鍵的雙目攝像頭外，該專利中還包含了傳感器模塊，可以添加包括壓力傳感器、陀螺儀傳感器、氣壓傳感器、磁傳感器……等等眾多傳感器，實(shí)現(xiàn)遙控設(shè)備的更多功能。

▲來源：華為專利公開信息 目前，華為傳感器技術(shù)領(lǐng)域的專利中，以傳感器為主要關(guān)鍵字的有約923件，此外，在激光雷達(dá)/雷達(dá)、MEMS等領(lǐng)域還有超過250+件專利數(shù)。其中，這些專利大部分以發(fā)明專利為主。 應(yīng)用這些專利技術(shù)，華為已經(jīng)推出了首款光纖傳感產(chǎn)品OptiXsense EF3000、首款車規(guī)級高性能96線中長距激光雷達(dá)、首款毫米波AI超感傳感器、首款S-TAG運(yùn)動傳感器等產(chǎn)品。

來源：天眼查 此外，華為還大力投資了多家傳感器上下游企業(yè)，包括了激光器、CMOS圖像傳感器、TOF傳感器、MEMS陀螺儀、旋變傳感器等多條賽道。 發(fā)布加速行業(yè)智能化白皮書，華為的全面智能化時(shí)代，以傳感器為感知底座，創(chuàng)造數(shù)以億計(jì)的需求 在5天前的華為全聯(lián)接大會上，CFO孟晚舟發(fā)布了華為未來10年的重要戰(zhàn)略規(guī)劃——全面智能化（All Intelligence）戰(zhàn)略，這個(gè)戰(zhàn)略將是未來10年華為發(fā)展的重點(diǎn)方向，也預(yù)示著華為研判的未來科技產(chǎn)業(yè)發(fā)展的趨勢。（相關(guān)信息參看《華為發(fā)布未來10年重要戰(zhàn)略》） 全面智能化戰(zhàn)略提到“所有對象可聯(lián)接”、“讓所有應(yīng)用可模型”、“讓所有決策可計(jì)算”。

會后，華為發(fā)布了《加速行業(yè)智能化白皮書》，其中，“智能感知”將是全面智能化的重要底座之一，包含了雷達(dá)、機(jī)器視覺、傳感器、計(jì)量表等眾多傳感器領(lǐng)域應(yīng)用。 華為的全面智能化戰(zhàn)略，在推動傳統(tǒng)行業(yè)向智能化轉(zhuǎn)型過程中，也必然將創(chuàng)造數(shù)以億計(jì)的海量傳感器需求。

▲來源：華為官網(wǎng) 結(jié)語 本次發(fā)布會上，華為發(fā)布了靈犀遙控等多個(gè)創(chuàng)新的人機(jī)交互操作，而這些操作則基于華為多年來深厚的傳感器專利技術(shù)基礎(chǔ)。 未來，隨著全面智能化時(shí)代的到來，除了傳感器數(shù)量上的巨大需求外，對傳感器的智能化也提出了更高的要求，傳感器+算法的各種智能傳感器將創(chuàng)造新的產(chǎn)品定義，創(chuàng)造新的市場需求。 中國正是因?yàn)橛腥A為這些鏈主級別的科技企業(yè)，不斷推動進(jìn)行技術(shù)創(chuàng)新，推出新的產(chǎn)品，才能拉動芯片、傳感器等上下游技術(shù)的不斷進(jìn)步！ 中國科技，且看未來！并且，這個(gè)未來不遠(yuǎn)了！ 審核編輯 黃宇