關(guān)于TOF相機(jī)的性能分析和原理介紹

什么是TOF？

TOF（Time of flight）直譯為“飛行時(shí)間”。其測(cè)距原理是通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。這種技術(shù)跟3D激光傳感器原理基本類(lèi)似，只不過(guò)3D激光傳感器是逐點(diǎn)掃描，而TOF相機(jī)則是同時(shí)得到整幅圖像的深度（距離）信息。

TOF由什么組成？

TOF相機(jī)采用主動(dòng)光探測(cè)，通常包括以下幾個(gè)部分：

1、照射單元

照射單元需要對(duì)光源進(jìn)行脈沖調(diào)制之后再進(jìn)行發(fā)射，調(diào)制的光脈沖頻率可以高達(dá)100MHz。因此，在圖像拍攝過(guò)程中，光源會(huì)打開(kāi)和關(guān)閉幾千次。各個(gè)光脈沖只有幾納秒的時(shí)長(zhǎng)。相機(jī)的曝光時(shí)間參數(shù)決定了每次成像的脈沖數(shù)。

要實(shí)現(xiàn)精確測(cè)量，必須精確地控制光脈沖，使其具有完全相同的持續(xù)時(shí)間、上升時(shí)間和下降時(shí)間。因?yàn)榧词购苄〉闹皇且患{秒的偏差即可產(chǎn)生高達(dá)15 c m的距離測(cè)量誤差。

如此高的調(diào)制頻率和精度只有采用精良的LED或激光二極管才能實(shí)現(xiàn)。

一般照射光源都是采用人眼不可見(jiàn)的紅外光源。

2、光學(xué)透鏡

用于匯聚反射光線，在光學(xué)傳感器上成像。不過(guò)與普通光學(xué)鏡頭不同的是這里需要加一個(gè)帶通濾光片來(lái)保證只有與照明光源波長(zhǎng)相同的光才能進(jìn)入。這樣做的目的是抑制非相干光源減少噪聲，同時(shí)防止感光傳感器因外部光線干擾而過(guò)度曝光。

3、成像傳感器

TOF的相機(jī)的核心。該傳感器結(jié)構(gòu)與普通圖像傳感器類(lèi)似，但比圖像傳感器更復(fù)雜，它包含2個(gè)或者更多快門(mén)，用來(lái)在不同時(shí)間采樣反射光線。因此，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。

4、控制單元

相機(jī)的電子控制單元觸發(fā)的光脈沖序列與芯片電子快門(mén)的開(kāi)/閉精確同步。它對(duì)傳感器電荷執(zhí)行讀出和轉(zhuǎn)換，并將它們引導(dǎo)至分析單元和數(shù)據(jù)接口。

5、計(jì)算單元

計(jì)算單元可以記錄精確的深度圖。深度圖通常是灰度圖，其中的每個(gè)值代表光反射表面和相機(jī)之間的距離。為了得到更好的效果，通常會(huì)進(jìn)行數(shù)據(jù)校準(zhǔn)。

TOF是如何測(cè)距的呢？

照射光源一般采用方波脈沖調(diào)制，這是因?yàn)樗?a target="_blank">數(shù)字電路來(lái)實(shí)現(xiàn)相對(duì)容易。深度相機(jī)的每個(gè)像素都是由一個(gè)感光單元（如光電二極管）組成，它可以將入射光轉(zhuǎn)換為電流，感光單元連接著多個(gè)高頻轉(zhuǎn)換開(kāi)關(guān)（下圖的G1，G2）可以把電流導(dǎo)入不同的可以儲(chǔ)存電荷(下圖S1，S2)的電容里。

相機(jī)上的控制單元打開(kāi)光源然后再關(guān)閉，發(fā)出一個(gè)光脈沖。在同一時(shí)刻，控制單元打開(kāi)和關(guān)閉芯片上的電子快門(mén)。由光脈沖以這種方式產(chǎn)生的電荷S0存儲(chǔ)在感光元件上。

然后，控制單元第二次打開(kāi)并關(guān)閉光源。這次快門(mén)打開(kāi)時(shí)間較晚，即在光源被關(guān)閉的時(shí)間點(diǎn)打開(kāi)?，F(xiàn)在生成的電荷S1也被存儲(chǔ)在感光元件上。

因?yàn)閱蝹€(gè)光脈沖的持續(xù)時(shí)間非常短，此過(guò)程會(huì)重復(fù)幾千次，直到達(dá)到曝光時(shí)間。然后感光傳感器中的值會(huì)被讀出，實(shí)際距離可以根據(jù)這些值來(lái)計(jì)算。

記光的速度為c，tp為光脈沖的持續(xù)時(shí)間， S0表示較早的快門(mén)收集的電荷， S1表示延遲的快門(mén)收集的電荷，那么距離d可以由如下公式計(jì)算：

最小的可測(cè)量距離是：在較早的快門(mén)期間S0中收集了所有的電荷，而在延遲的快門(mén)期間S1沒(méi)有收集到電荷，即S1 = 0。代入公式會(huì)得出最小可測(cè)量距離d=0。

最大的可測(cè)量的距離是：在S1中收集了所有電荷，而在S0中根本沒(méi)有收集到電荷。然后，該公式得出d= 0.5 x c × tp。因此最大可測(cè)量距離是通過(guò)光脈沖寬度來(lái)確定的。例如，tp = 50 ns，代入上式，得到最大測(cè)量距離d = 7.5m。

TOF會(huì)受什么影響？

1、多重反射。

距離測(cè)量要求光只反射一次。但是鏡面或者一些角落會(huì)導(dǎo)致光線的多次反射，這會(huì)導(dǎo)致測(cè)量失真。如果多重反射使得光線完全偏轉(zhuǎn)，則沒(méi)有反射光線進(jìn)入相機(jī)，從而無(wú)法正確測(cè)量反射面的距離。反之，如果其他方向的光通過(guò)鏡面反射進(jìn)入芯片，則可能會(huì)發(fā)生過(guò)度曝光。見(jiàn)下圖。

2、散射光

在鏡頭內(nèi)或在鏡頭后面發(fā)生多余反射會(huì)出現(xiàn)散射光，如下圖所示，散射光會(huì)導(dǎo)致圖像褪色，對(duì)比度下降等不良影響。所以要避免在相機(jī)正前方有強(qiáng)烈反光的物體存在。

3、環(huán)境光

前面說(shuō)過(guò)，深度相機(jī)鏡頭上會(huì)有一個(gè)帶通濾光片來(lái)保證只有與照明光源波長(zhǎng)相同的光才能進(jìn)入，這樣可以抑制非相干光源提高信噪比。這種方式確實(shí)能夠比較有效地過(guò)濾掉人造光源，但是，我們常見(jiàn)的日光幾乎能夠覆蓋整個(gè)光譜范圍，這其中包括和照明光源一樣的波長(zhǎng)，在某些情況下（如夏天的烈日）這部分光強(qiáng)可以達(dá)到很大，會(huì)導(dǎo)致感光傳感器出現(xiàn)過(guò)度曝光。因此相機(jī)如果想在這種條件下正常工作，仍然需要額外的保護(hù)機(jī)制。

4、溫度

電子元件的精度受溫度的影響。所以當(dāng)溫度波動(dòng)時(shí)會(huì)影響電子元件的性能，從而影響到脈沖調(diào)制的精度。前面說(shuō)過(guò)一納秒的脈沖偏差即可產(chǎn)生高達(dá)15 c m的距離測(cè)量誤差，因此相機(jī)要做好散熱，這樣才能保證測(cè)量精度。

那TOF相機(jī)最后輸出的是什么呢？

TOF相機(jī)內(nèi)部每個(gè)像素經(jīng)過(guò)上述過(guò)程都可以得到一個(gè)對(duì)應(yīng)的距離，所有的像素點(diǎn)測(cè)量的距離就構(gòu)成了一幅深度圖，如下圖所示。左邊是原圖，右邊是對(duì)應(yīng)的深度圖。

可以看到深度圖其實(shí)是一張灰度圖，它是一張三維的圖：水平垂直坐標(biāo)對(duì)應(yīng)像素位置，該位置的灰度值對(duì)應(yīng)的是該像素距離攝像頭的距離。所以深度圖中的每個(gè)像素可以表示空間中一個(gè)點(diǎn)的三維坐標(biāo)，所以深度圖中的每個(gè)像素也稱(chēng)為體像素（voxel）。