本論文探討的主要重點為整合視覺感測元件與慣性量測元件(Inertial Measurement Unit)之里程計(Visual-Inertial Odometry, VIO)及其一致性分析。以SURF(Speeded-Up Robust Feature)搜尋雙眼影像上之特徵點，將較為強健的特徵設為地標點，並利用立體幾何關係給定三維座標位置。透過移動前後地標點的位置，經由三點透視問題(perspective-3-point, P3P)及隨機取樣一致(random sample consensus, RANSAC)演算法求算出攝影機位置。搭配慣性量測元件(IMU)推算出旋轉角度，達成視覺慣性里程計的目的。此外，加入群聚分析剔除地標點位置的雜訊，並利用菁英制選取地標點，減少P3P運算時間。而後疊代修正攝影機與地標點位置完成一致性的分析。最後以實驗結果驗證所提出的視覺慣性里程計之一致性分析的定位準確性與即時性。

This thesis focuses on integrating a vision system and an inertial measurement unit (IMU) into a visual-inertial odometry (VIO). Also, the consensus analysis is discussed in this thesis. First, the visual features in binocular images are detected by the speeded-up robust feature (SURF) algorithm. And, the robust features are defined as the landmarks and be located by the stereo geometry method. The camera can be located by the perspective-3-point (P3P) and random sample consensus (RANSAC) algorithms with the located landmarks. The IMU is used to measure the rotation of the camera. Then, the visual-inertial odometry is implemented. Besides, the clustering analysis for the position of landmarks removes the outliers. And, elitist strategy effectively reduces the computing demand for the P3P. The positions of the camera and landmarks are iteratively corrected to complete the consensus analysis. Finally, the experimental results demonstrate the accuracy and instantaneity of the proposed consensus analysis for the visual-inertial odometry.

目錄
中文摘要	I
Abstract	II
圖目錄	V
表目錄	VII
第一章 緒論	1
1.1 研究動機與目的	1
1.2 文獻探討	1
1.3 研究範圍	2
第二章 視覺慣性里程計系統架構	3
2.1 系統流程與架構	4
2.2 定位改善	5
第三章 影像特徵偵測與地標管理	7
3.1加速強健特徵(SURF)	7
3.2 地標定位	9
3.3 地標管理	11
3.3.1 新增	11
3.3.2 刪除	11
3.3.3 地標群聚分析	12
第四章 定位改善	14
4.1 三點透視問題(P3P)	14
4.2 隨機取樣一致(RANSAC)	15
4.3 菁英制	17
4.4 一致性分析	18
第五章 實驗	21
5.1 硬體架構	21
5.1.1 視覺感測器	21
5.1.2 慣性量測組	22
5.1.3 筆記型電腦	22
5.2 硬體校正	23
5.2.1 攝影機校正	23
5.2.2 攝影機校正驗證實驗	27
5.3 慣性量測元件校正	30
5.3.1 慣性量測元件校正驗證實驗	30
5.4 地面基準實驗	34
5.5 時間比較	45
5.6 閉合路徑實驗	45
第六章 結論與未來展望	48
6.1 結論	48
6.2 未來展望	48
參考文獻	49
附錄A 攝影機扭曲模型與修正模型	51

圖目錄
圖2. 1 視覺里程計示意圖[8]	3
圖2. 2 視覺里程計累積誤差示意圖	4
圖2. 3 系統架構圖	4
圖2. 4 系統流程圖	5
圖2. 5 改善部分流程圖	6
圖3. 1 盒子濾波器	7
圖3. 2 積分影像示意圖	7
圖3. 3 分層音階	8
圖3. 4 特徵點標示	8
圖3. 5 Haar小波濾波器	9
圖3. 6 與描述向量	9
圖3. 7 雙眼攝影機立體幾何	9
圖3. 8 座標示意圖	11
圖3. 9 經過SURF偵測到的特徵點；(a)移動前影像(b)移動後影	12
圖3. 10 地標點群聚分析流程圖	13
圖3. 11 同一個地標點不同時刻之座標位置	13
圖4. 1 三點透視定位	14
圖4. 2 攝影機位置求解示意圖	15
圖4. 3 RANSAC流程圖	16
圖4. 4 (a)使用P3P求得的攝影機位置解(b)RANSAC篩選出的攝影機位置解	17
圖4. 5 地標點個數與計算P3P次數關係圖	17
圖4. 6 菁英制流程圖	18
圖4. 7一致性分析流程圖	20
圖5. 1 硬體架構	21
圖5. 2 攝影機外觀	21
圖5. 3 IMU	22
圖5. 4 棋盤格角點	23
圖5. 5 攝影機校正圖組；(a)左攝影機(b)右攝影機	24
圖5. 6 假設的影像平面像素座標	25
圖5. 7 左攝影機的影像像素座標；(a)扭曲影像(a)修正影像	25
圖5. 8 左攝影機影像的誤差距離直方圖；(a)扭曲影像(b)修正影像	25
圖5. 9 右攝影機的影像像素座標；(a)扭曲影像(a)修正影像	26
圖5. 10 右攝影機影像的誤差距離直方圖；(a)扭曲影像(b)修正影像	26
圖5. 11 影像扭曲圖；(a)左攝影機(b)右攝影機	26
圖5. 12 實驗環境	27
圖5. 13 影像上的特徵點(a)左眼影像(b)右眼影像	28
圖5. 14 座標示意圖	28
圖5. 15 右移前後左眼影像上的特徵點	29
圖5. 16 後移前後左眼影像上的特徵點	30
圖5. 17 IMU角度測量實驗	31
圖5. 18 IMU逆時針旋轉數據圖	31
圖5. 19 IMU順時針旋轉數據圖	32
圖5. 20 視覺系統角度測量實驗	33
圖5. 21 逆時針旋轉比較數據圖	33
圖5. 22 順時針旋轉比較數據圖	34
圖5. 23 地面基準實驗實驗環境	35
圖5. 24 視覺里程計之路徑圖；(a)無使用群聚分析(b)有使用群聚分析	36
圖5. 25 視覺慣性里程計之路徑圖；(a)無使用群聚分析(b)有使用群聚分析	36
圖5. 26 視覺慣性里程計搭配群聚分析與菁英制P3P之路徑圖	37
圖5. 27 視覺慣性里程計之一致性分析路徑圖	37
圖5. 28 視覺里程計地面基準實驗分圈圖	38
圖5. 29 視覺里程計加群聚分析之地面基準實驗分圈圖	39
圖5. 30 視覺慣性里程計地面基準實驗分圈圖	40
圖5. 31 視覺慣性里程計加群聚分析之地面基準實驗分圈圖	41
圖5. 32 視覺慣性里程計加菁英制P3P之地面基準實驗分圈圖	42
圖5. 33 使用P3P修正角度之一致性分析成本函數圖	43
圖5. 34視覺慣性里程計加一致性分析之地面基準實驗第一圈路徑圖	43
圖5. 35 視覺慣性里程計加一致性分析之地面基準實驗分圈圖	44
圖5. 36 只修正位置之一致性分析成本函數圖	45
圖5. 37 閉合路徑實驗場地	46
圖5. 38 閉合路徑實驗結果	46
圖5. 39 閉合路徑實驗比較	47

表目錄
表5. 1 攝影機規格	22
表5. 2 IMU規格	22
表5. 3 筆記型電腦規格	22
表5. 4 左右攝影機內部參數	24
表5. 5 左右攝影機修正模型參數	24
表5. 6 地標點三維座標位置	28
表5. 7 地標點 方向位置與誤差	29
表5. 8 地標點 方向位置與誤差	30
表5. 9 慣性量測元件修正補償值	30
表5. 10 IMU逆時針旋轉詳細數據表	31
表5. 11 IMU逆時針旋轉詳細數據表	32
表5. 12 逆時針旋轉比較詳細數據表	33
表5. 13 順時針旋轉比較詳細數據表	34
表5. 14 地面基準實驗四角點實際座標位置	34
表5. 15 視覺里程計地面基準實驗結果	38
表5. 16 視覺里程計加群聚分析之地面基準實驗結果	39
表5. 17 視覺慣性里程計地面基準實驗結果	40
表5. 18 視覺慣性里程計加群聚分析之地面基準實驗結果	41
表5. 19 視覺慣性里程計加菁英制P3P之地面基準實驗結果	42
表5. 20 視覺慣性里程計加一致性分析之地面基準實驗結果	44
表5. 21 時間比較	45
表5. 22 閉合路徑實驗比較數據	47

[1]	J.-Y. Bouguet. Camera Calibration Toolbox for Matlab. Available: http://www.vision.caltech.edu/bouguetj/calib_doc/ (Accessed 2015/11/18)
[2]	H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-up robust features (SURF),” Computer Vision and Image Understanding, vol. 110, pp. 346-359, 2008.
[3]	M. Agrawal, K. Konolige, and M. Rufus Blas, “CenSurE : Center Surround Extremas for Realtime Feature Detection and Matching,” Computer Visio ECCV2008, vol. 5305, pp. 102-115, 2008.
[4]	林冠瑜，"使用低階攝影機實現機器人視覺式SLAM"，淡江大學機械與機電工程學系碩士論文，2012。
[5]	M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, ” Commun of the ACM, vol. 24, pp. 381-395, 1981.
[6]	http://www.i2cdevlib.com/forums/topic/96-arduino-sketch-to-automatically-calculate-mpu6050-offsets/ (Accessed 2016/04/13)
[7]	T. Dong-Si and A. Mourikis, “Consistency Analysis for Sliding-Window Visual  Odometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2012.
[8]	D. Nistér, O. Naroditsky, and J. Bergen, “Visual odometry for ground vehicle applications, ” Journal of Field Robotics, vol. 23, pp. 3-20, 2006.
[9]	D. Scaramuzza and F. Fraundorfer, “Visual odometry,” IEEE Robotics Automat. Mag., vol. 18, pp. 80–92, 2011.
[10]	J. Heikkila, and O. Silven, “A Four-step Camera Calibration Procedure with Implicit Image Correctiion”, in Proc. IEEE Intl. Conf. on Computer Vision and Pattern Recognition, pp.1106-1112, 1997.
[11]	蕭恩哲，"基於視覺式里程計之二輪式機器人控制"，淡江大學機械與機電工程學系碩士論文，2013。
[12]	H. Park, H. Mitsumine and M. Fujii, “Fast detection of robust features by reducing the number of box filtering in SURF,” IEICE Trans. Information and systems, vol. 94, pp.725-728, 2011.
[13]	S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, and P. Furgale, “Keyframe-based visual-inertial odometry using nonlinear optimization,” The International Journal of Robotics Research, vol. 34, pp. 314-334, 2015.
[14]	G. Grisetti, C. Stachniss, and W. Burgard, “Improved techniques for grid mapping with Rao-Blackwellized particle filters,” IEEE Trans. Robotics, Volume 23, pp. 34-46, 2007.
[15]	G. Grisetti, C. Stachniss, and W. Burgard, “Improving grid-based SLAM with Rao-Blackwellized particle filters by adaptive proposals and selective resampling,” in Proc. IEEE International Conference on Robotics and Automation, 2005.
[16] 麥耘菁，"使用單視覺影像定位與建圖方法結合慣性量測元件提升室內定位與導航之研究"，成功大學航空太空工程學系碩士論文，2015。