什么是TOF？

TOF（Time of flight）直譯為“飛行時間”。其測距原理是通過給目標連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。這種技術跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度（距離）信息。

TOF由什么組成？

TOF相機采用主動光探測，通常包括以下幾個部分：

1、照射單元

照射單元需要對光源進行脈沖調(diào)制之后再進行發(fā)射，調(diào)制的光脈沖頻率可以高達100MHz。因此，在圖像拍攝過程中，光源會打開和關閉幾千次。各個光脈沖只有幾納秒的時長。相機的曝光時間參數(shù)決定了每次成像的脈沖數(shù)。

要實現(xiàn)精確測量，必須精確地控制光脈沖，使其具有完全相同的持續(xù)時間、上升時間和下降時間。因為即使很小的只是一納秒的偏差即可產(chǎn)生高達15 c m的距離測量誤差。

如此高的調(diào)制頻率和精度只有采用精良的LED或激光二極管才能實現(xiàn)。

一般照射光源都是采用人眼不可見的紅外光源。

2、光學透鏡

用于匯聚反射光線，在光學傳感器上成像。不過與普通光學鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照明光源波長相同的光才能進入。這樣做的目的是抑制非相干光源減少噪聲，同時防止感光傳感器因外部光線干擾而過度曝光。

3、成像傳感器

TOF的相機的核心。該傳感器結構與普通圖像傳感器類似，但比圖像傳感器更復雜，它包含2個或者更多快門，用來在不同時間采樣反射光線。因此，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。

4、控制單元

相機的電子控制單元觸發(fā)的光脈沖序列與芯片電子快門的開/閉精確同步。它對傳感器電荷執(zhí)行讀出和轉換，并將它們引導至分析單元和數(shù)據(jù)接口。

5、計算單元

計算單元可以記錄精確的深度圖。深度圖通常是灰度圖，其中的每個值代表光反射表面和相機之間的距離。為了得到更好的效果，通常會進行數(shù)據(jù)校準。

TOF是如何測距的呢？

照射光源一般采用方波脈沖調(diào)制，這是因為它用數(shù)字電路來實現(xiàn)相對容易。深度相機的每個像素都是由一個感光單元（如光電二極管）組成，它可以將入射光轉換為電流，感光單元連接著多個高頻轉換開關（下圖的G1，G2）可以把電流導入不同的可以儲存電荷(下圖S1，S2)的電容里。

相機上的控制單元打開光源然后再關閉，發(fā)出一個光脈沖。在同一時刻，控制單元打開和關閉芯片上的電子快門。由光脈沖以這種方式產(chǎn)生的電荷S0存儲在感光元件上。

然后，控制單元第二次打開并關閉光源。這次快門打開時間較晚，即在光源被關閉的時間點打開?，F(xiàn)在生成的電荷S1也被存儲在感光元件上。

因為單個光脈沖的持續(xù)時間非常短，此過程會重復幾千次，直到達到曝光時間。然后感光傳感器中的值會被讀出，實際距離可以根據(jù)這些值來計算。

記光的速度為c，tp為光脈沖的持續(xù)時間， S0表示較早的快門收集的電荷， S1表示延遲的快門收集的電荷，那么距離d可以由如下公式計算：

最小的可測量距離是：在較早的快門期間S0中收集了所有的電荷，而在延遲的快門期間S1沒有收集到電荷，即S1 = 0。代入公式會得出最小可測量距離d=0。

最大的可測量的距離是：在S1中收集了所有電荷，而在S0中根本沒有收集到電荷。然后，該公式得出d= 0.5 x c × tp。因此最大可測量距離是通過光脈沖寬度來確定的。例如，tp = 50 ns，代入上式，得到最大測量距離d = 7.5m。

TOF會受什么影響？

1、多重反射。

距離測量要求光只反射一次。但是鏡面或者一些角落會導致光線的多次反射，這會導致測量失真。如果多重反射使得光線完全偏轉，則沒有反射光線進入相機，從而無法正確測量反射面的距離。反之，如果其他方向的光通過鏡面反射進入芯片，則可能會發(fā)生過度曝光。見下圖。

2、散射光

在鏡頭內(nèi)或在鏡頭后面發(fā)生多余反射會出現(xiàn)散射光，如下圖所示，散射光會導致圖像褪色，對比度下降等不良影響。所以要避免在相機正前方有強烈反光的物體存在。

3、環(huán)境光

前面說過，深度相機鏡頭上會有一個帶通濾光片來保證只有與照明光源波長相同的光才能進入，這樣可以抑制非相干光源提高信噪比。這種方式確實能夠比較有效地過濾掉人造光源，但是，我們常見的日光幾乎能夠覆蓋整個光譜范圍，這其中包括和照明光源一樣的波長，在某些情況下（如夏天的烈日）這部分光強可以達到很大，會導致感光傳感器出現(xiàn)過度曝光。因此相機如果想在這種條件下正常工作，仍然需要額外的保護機制。

4、溫度

電子元件的精度受溫度的影響。所以當溫度波動時會影響電子元件的性能，從而影響到脈沖調(diào)制的精度。前面說過一納秒的脈沖偏差即可產(chǎn)生高達15 c m的距離測量誤差，因此相機要做好散熱，這樣才能保證測量精度。

那TOF相機最后輸出的是什么呢？

TOF相機內(nèi)部每個像素經(jīng)過上述過程都可以得到一個對應的距離，所有的像素點測量的距離就構成了一幅深度圖，如下圖所示。左邊是原圖，右邊是對應的深度圖。

可以看到深度圖其實是一張灰度圖，它是一張三維的圖：水平垂直坐標對應像素位置，該位置的灰度值對應的是該像素距離攝像頭的距離。所以深度圖中的每個像素可以表示空間中一個點的三維坐標，所以深度圖中的每個像素也稱為體像素（voxel）。