短程雷達(dá)傳感器成功集成到Pixel 4和Pixel 4 XL設(shè)備中

經(jīng)過(guò)優(yōu)化后的Pixel 4和Pixel 4 XL易于使用，而實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵功能是Motion Sense，它使用戶能夠無(wú)需觸摸設(shè)備即可通過(guò)多種方式與Pixel互動(dòng)。例如，借助Motion Sense，您可以使用特定的手勢(shì)來(lái)更改音樂(lè)曲目或立即使來(lái)電靜音。另外，Motion Sense還可以檢測(cè)您何時(shí)靠近手機(jī)以及何時(shí)伸手可及，從而可以通過(guò)預(yù)測(cè)動(dòng)作來(lái)使Pixel提供更多的幫助，例如通過(guò)注視相機(jī)以提供無(wú)縫人臉解鎖體驗(yàn)時(shí)，有意降低鈴聲時(shí)的音量以將其消除，或者在不再靠近設(shè)備時(shí)關(guān)閉顯示器以節(jié)省電量。

Motion Sense背后的技術(shù)是Soli，這是消費(fèi)類(lèi)智能手機(jī)中的第一個(gè)集成的短程雷達(dá)傳感器，它可以促進(jìn)與手機(jī)的近距離交互而不接觸。下面，我們討論Soli的核心雷達(dá)傳感原理和基于雷達(dá)數(shù)據(jù)中識(shí)別人類(lèi)活動(dòng)的信號(hào)處理和機(jī)器學(xué)習(xí)（ML）算法的設(shè)計(jì)，以及我們?nèi)绾谓鉀Q一些集成挑戰(zhàn)，以準(zhǔn)備將Soli用于消費(fèi)類(lèi)設(shè)備。

設(shè)計(jì)用于運(yùn)動(dòng)感應(yīng)的Soli雷達(dá)系統(tǒng)

雷達(dá)的基本功能是基于遠(yuǎn)程對(duì)象與無(wú)線電波的相互作用來(lái)檢測(cè)和測(cè)量其特性。一個(gè)經(jīng)典的雷達(dá)系統(tǒng)包括一個(gè)發(fā)射器，它發(fā)射無(wú)線電波，然后被其路徑內(nèi)的物體散射或重定向，其中一部分能量被雷達(dá)接收器反射回并攔截?；诮邮盏降牟ㄐ?，雷達(dá)系統(tǒng)可以檢測(cè)物體的存在，并估計(jì)這些物體的某些屬性，例如距離和大小。

雷達(dá)作為探測(cè)和測(cè)距技術(shù)一直在積極發(fā)展，并已有近一個(gè)世紀(jì)的歷史了。傳統(tǒng)的雷達(dá)方法設(shè)計(jì)用于檢測(cè)大型，剛性，遠(yuǎn)距離的物體，例如飛機(jī)和汽車(chē)。因此，它們?nèi)狈υ谙M(fèi)者手持設(shè)備的要求內(nèi)感測(cè)復(fù)雜運(yùn)動(dòng)的靈敏度和分辨率。因此，為了啟用運(yùn)動(dòng)感應(yīng)，Soli團(tuán)隊(duì)從頭開(kāi)始開(kāi)發(fā)了一種新的小型雷達(dá)系統(tǒng)，集成了新穎的感應(yīng)范例和算法，使得其可以專(zhuān)門(mén)用于對(duì)人機(jī)交互的細(xì)粒度感知。

經(jīng)典雷達(dá)設(shè)計(jì)依賴于相對(duì)于目標(biāo)尺寸的精細(xì)空間分辨率，以便分辨不同的物體并區(qū)分其空間結(jié)構(gòu)。這樣的空間分辨率通常需要較寬的傳輸帶寬，較窄的天線波束寬度，以及大型天線陣列。

另一方面，Soli采用基于運(yùn)動(dòng)而非空間結(jié)構(gòu)的，截然不同的傳感范例。由于采用了這種新穎的范例，我們能夠在Pixel 4中Soli的5 mm x 6.5 mm x 0.873 mm芯片封裝中安裝其整個(gè)天線陣列，從而能將雷達(dá)集成到手機(jī)的頂部。值得注意的是，例如，與光學(xué)成像傳感器相比，我們開(kāi)發(fā)了不需要形成目標(biāo)空間結(jié)構(gòu)的清晰圖像的算法。因此，不會(huì)生成人的身體或面部的可區(qū)分圖像，也不會(huì)將其用于“運(yùn)動(dòng)感應(yīng)”狀態(tài)或手勢(shì)檢測(cè)。

Soli依靠處理接收信號(hào)中的時(shí)間變化來(lái)檢測(cè)和解決細(xì)微運(yùn)動(dòng)。Soli雷達(dá)發(fā)送60 GHz 頻率調(diào)制信號(hào)，并接收附近物體或人的反射疊加。目標(biāo)位置從一次傳輸?shù)搅硪淮蝹鬏數(shù)膩喓撩准?jí)位移會(huì)引起接收信號(hào)中明顯的定時(shí)偏移。在多次傳輸?shù)拇翱谏?，這些偏移表現(xiàn)為與物體速度成比例的多普勒頻率。通過(guò)解析不同的多普勒頻率，Soli信號(hào)處理管道可以區(qū)分以不同運(yùn)動(dòng)模式運(yùn)動(dòng)的物體。

下面的動(dòng)畫(huà)演示了不同的動(dòng)作如何在處理后的Soli信號(hào)中展現(xiàn)出獨(dú)特的運(yùn)動(dòng)特征。每個(gè)圖像的垂直軸表示從傳感器到頂部的距離或徑向距離，從上到下增加。水平軸表示朝向或遠(yuǎn)離傳感器的速度，中心為零，左側(cè)對(duì)應(yīng)于接近目標(biāo)的速度為負(fù)，右側(cè)對(duì)應(yīng)于后退目標(biāo)的速度為正。雷達(dá)接收到的能量被映射到這些范圍速度維度中，并由每個(gè)像素的強(qiáng)度表示。因此，與弱反射目標(biāo)相比，強(qiáng)反射目標(biāo)相對(duì)于周?chē)谋镜自肼曂?。在這些距離-速度映射中，能量的分布和軌跡顯示出一個(gè)人行走時(shí)有明顯的差異，

在左圖中，當(dāng)人接近設(shè)備時(shí)，我們看到來(lái)自多個(gè)身體部位的反射出現(xiàn)在速度軸的負(fù)側(cè)，然后當(dāng)人停止靠近設(shè)備時(shí)，以零速度會(huì)聚在圖像的頂部。在描繪伸手可及的距離的中間圖像中，手從距傳感器20厘米的靜止位置開(kāi)始，然后以負(fù)速向設(shè)備加速，最后在到達(dá)設(shè)備時(shí)減速至停止。與手相對(duì)應(yīng)的反射從圖像的中間移動(dòng)到頂部，這與手在手勢(shì)過(guò)程中從傳感器到傳感器的遞減范圍相對(duì)應(yīng)。最后，第三張圖片顯示了一只手在設(shè)備上滑動(dòng)，以負(fù)速度向速度軸左半邊的傳感器移動(dòng)。

每個(gè)可分辨反射的3D位置也可以通過(guò)處理在Soli的三個(gè)接收器中的每個(gè)接收器處接收到的信號(hào)來(lái)估算。除了目標(biāo)識(shí)別的范圍和速度之外，還可使用此位置信息。

我們?yōu)镾oli設(shè)計(jì)的信號(hào)處理流水線（processing pipeline ）包括定制濾波器和相干積分步驟的組合，這些步驟可提高信噪比，衰減和不必要的干擾，并使人的反射與噪聲和雜波區(qū)分開(kāi)。這些信號(hào)處理功能使Soli可以在消費(fèi)者智能手機(jī)的限制范圍內(nèi)以低功率運(yùn)行。

設(shè)計(jì)雷達(dá)的機(jī)器學(xué)習(xí)算法

在使用Soli的信號(hào)處理流水線來(lái)過(guò)濾和增強(qiáng)原始雷達(dá)信號(hào)之后，將得到的信號(hào)轉(zhuǎn)換輸入到Soli的ML模型中進(jìn)行手勢(shì)分類(lèi)。這些模型已經(jīng)過(guò)訓(xùn)練，可以以低延遲準(zhǔn)確地檢測(cè)和識(shí)別運(yùn)動(dòng)感應(yīng)手勢(shì)。

對(duì)任何運(yùn)動(dòng)傳感技術(shù)都常見(jiàn)的空中手勢(shì)進(jìn)行分類(lèi)，主要存在兩個(gè)主要的研究挑戰(zhàn)。首先是每個(gè)用戶都是唯一的，并且以多種方式執(zhí)行甚至簡(jiǎn)單的動(dòng)作，例如滑動(dòng)。第二，傳感器范圍內(nèi)可能有許多無(wú)關(guān)的動(dòng)作，看起來(lái)與目標(biāo)手勢(shì)類(lèi)似。此外，當(dāng)手機(jī)移動(dòng)時(shí)，從手機(jī)中的運(yùn)動(dòng)傳感器的角度來(lái)看，整個(gè)世界似乎都在移動(dòng)。

為了解決這些挑戰(zhàn)，需要設(shè)計(jì)定制的ML算法，該算法針對(duì)雷達(dá)信號(hào)的空中手勢(shì)的低延遲檢測(cè)進(jìn)行了優(yōu)化。Soli的ML模型由神經(jīng)網(wǎng)絡(luò)組成，這些神經(jīng)網(wǎng)絡(luò)使用了數(shù)千名Google志愿者記錄的數(shù)百萬(wàn)個(gè)手勢(shì)進(jìn)行訓(xùn)練。這些雷達(dá)記錄與來(lái)自其他Google志愿者的數(shù)百小時(shí)背景雷達(dá)記錄混合在一起，其中包含在設(shè)備附近進(jìn)行的一般動(dòng)作。Soli的ML模型使用TensorFlow進(jìn)行了訓(xùn)練，并進(jìn)行了優(yōu)化，可以直接在Pixel的低功耗數(shù)字信號(hào)處理器（DSP）上運(yùn)行。這使我們即使在主應(yīng)用程序處理器掉電的情況下也能以低功耗運(yùn)行模型。

從概念到產(chǎn)品的Soli

Soli可以集成到Pixel智能手機(jī)中，主要是因?yàn)樗亩说蕉死走_(dá)系統(tǒng)（包括硬件，軟件和算法）經(jīng)過(guò)了精心設(shè)計(jì)，所以可以在消費(fèi)類(lèi)設(shè)備的尺寸和功率限制內(nèi)實(shí)現(xiàn)非接觸式交互。Soli的微型硬件允許整個(gè)雷達(dá)系統(tǒng)安裝在Pixel上邊框的有限空間內(nèi)，這是團(tuán)隊(duì)的一項(xiàng)重大成就。

實(shí)際上，2014年的第一個(gè)Soli原型就是臺(tái)式機(jī)的大小。為了將整個(gè)雷達(dá)系統(tǒng)縮小到單個(gè)5.0 mm x 6.5 mm RFIC，我們將硬件創(chuàng)新與我們先前介紹的新型時(shí)間感測(cè)范例相結(jié)合，包括封裝上的天線。Soli團(tuán)隊(duì)還介紹了幾種創(chuàng)新的硬件電源管理方案，并優(yōu)化了Soli的計(jì)算周期，使Motion Sense能夠適應(yīng)智能手機(jī)的功耗預(yù)算。

硬件創(chuàng)新包括將雷達(dá)系統(tǒng)從臺(tái)式機(jī)原型迭代縮小到單個(gè)5.0 mm x 6.5 mm RFIC，包括封裝天線。

為了將Soli集成到Pixel中，雷達(dá)系統(tǒng)團(tuán)隊(duì)與產(chǎn)品設(shè)計(jì)工程師緊密合作，以保持Soli信號(hào)質(zhì)量。手機(jī)中的芯片放置以及芯片上方材料的Z形堆棧經(jīng)過(guò)優(yōu)化，可最大程度地提高通過(guò)玻璃的信號(hào)傳輸，并最大程度地減少來(lái)自周?chē)M件的反射和遮擋。該團(tuán)隊(duì)還發(fā)明了定制信號(hào)處理技術(shù)，以使其與周?chē)碾娫捊M件共存。例如，開(kāi)發(fā)了一種新穎的濾波器來(lái)減少音頻振動(dòng)對(duì)雷達(dá)信號(hào)的影響，從而可以在播放音樂(lè)時(shí)檢測(cè)手勢(shì)。此類(lèi)算法創(chuàng)新可在多種常見(jiàn)用戶場(chǎng)景中啟用Motion Sense功能。

未來(lái)方向

Soli成功集成到Pixel 4和Pixel 4 XL設(shè)備中，首次證明了在日常移動(dòng)消費(fèi)設(shè)備中基于雷達(dá)的機(jī)器感知的可行性。像素設(shè)備中的運(yùn)動(dòng)感顯示了Soli的潛力，它可以為顯式和隱式交互帶來(lái)無(wú)縫的上下文感知和手勢(shì)識(shí)別。我們很高興繼續(xù)研究和開(kāi)發(fā)Soli，以實(shí)現(xiàn)新的基于雷達(dá)的傳感和感知功能。