3D視覺的核心問題是恢復場景結構、相機位姿、和相機參數，而解決方式有兩種，一種是off-line的sfm(structure from motion)，一種on-line的slam(simultaneous localization and mapping)。Slam 與sfm的區(qū)別在于，大多數slam系統是需要提前標定相機，而sfm 則不需要提前標定(通常所說的三維重建和slam的區(qū)別，嚴格意義上應該是sfm 和slam的區(qū)別)。



Sfm 可以分為以下幾類：Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM，這里主要講解Global SfM和ncremental SfM(主要集中在global sfm)。

一、Global SfM workflow:



Global sfm 的內容包括rotation averaging 和anslation averaging。

Rotation averaging

觀測值：一組相機pose的相對rotation

目標：計算相機的絕對旋轉

優(yōu)化：L2范數，采用L2范數的原因有兩個：1）估計一個好的旋轉初始值 2）收斂快

理論基礎：



translation averaging

觀測值:同rotation averaging 一樣，觀測值是兩一組pose之間的相對translation

目標：計算相機的絕對旋轉

優(yōu)化：L1范數，原因是L1 范數對噪聲魯邦

理論基礎：



Translation averaging 在global sfm 中計算困難，原因如下：

1、 兩視圖之間的運動不能恢復尺度(tvec 是從本質矩陣中恢復出來的，但是本質矩陣的秩是5，不包含尺度，所以global sfm 是屬于三焦張量問題，即是至少tack 3幀才能進行運算。同時，global sfm 容易出現退化現象，當相機都處于同一條線上時候，對于無人機圖像來說，這個時候軌跡就會出現bending map。

解決bending map 的手段有三點：

（1）提前對相機標定

（2）以無人機為例，飛行航線不要在恒定高度上飛行

（3）融合其他傳感器，如gps 位置約束等 退化的case 如下：

? ? ?

以上分別為側面圖和俯視圖 以上結果是fusion low-cost gps的效果，但是依舊可以看出有彎曲的現象(不融合的效果特別差) 飛行方式改變，fusion low-cost gps，退化現象消失，如下：



從側面圖和俯視圖可以看出，當飛行方式發(fā)生改變，global sfm 退化現象消失。

2、 global sfm translation averaging第二個的痛點是對噪聲敏感，其不像Incremental sfm，不斷的ransac 和local ba 來減少bad EGs的影響。 如何去改善global sfm 的魯棒性：

1）如果rotation 是已知的（不夠精確)，提供global rotation初始值給global sfm pipeline ，利用這些初始值在BA中增加relative rotation constraint

2）如果位置已知，sfm 增加位置約束，即最小化先驗位置和估計的位置之間的gap，位置約束可以替代slam回環(huán)(如果是low cost gps ,位置約束不能保證精度，但可以起到一個control strcture 的作用(AR 常用)—參考vins-fusion思想 ，這個openmvg 中已經實現位置約束。

二、Incremental SfM workflow:



增量sfm這里不準備太多的敘述，需要注意的是初始化選擇像對的基準：

enough matching

big baseline

三、global sfm和incremental sfm 優(yōu)缺點和應用場景



應用場景：

1.當考慮速度不考慮精度的時候，并且當圖像overlap 比較大的時候，用global sfm 可以達到理想效果，因為有更多的數據去average（Feature track based translation averaging）

2.如果考慮精度，選擇Incremental sfm ，但是在大場景下，incremental sfm會隨著圖像的增多，速度越來越慢，同時由于誤差的累計，會出現drfit ，這種情況下可以采用Distributed SfM。







審核編輯：劉清