本論文使用擴張型卡爾曼濾波器(EKF)發展機器人的視覺式同時自我定位、建圖、與移動物體追蹤(SLAMMOT)系統。論文分為兩個部份：第一部份使用單眼視覺為唯一感測器，並以影像修正取代攝影機校正，簡化狀態估測時量測模型線性化的推導程序。第二部份以靜態影像特徵在極線上的限制條件之概念，發展在影像平面上偵測移動物體的演算法。並針對移動物體規劃資料關聯程序、以及移動物體特徵管理的新增與刪除策略。所發展的演算法最後整合成為單眼視覺式EKF SLAMMOT系統，也在室內環境中成功測試路徑閉合的功能、長距離SLAM任務的能力、移動物體偵測與追蹤的功能、以及比較與地面基準的誤差。

In this thesis, the visual simultaneous localization, mapping and moving object tracking (SLAMMOT) is developed using the extended Kalman filter (EKF). The research is divided into two parts: first, one monocular vision is utilized as the only sensor for the SLAMMOT system. The camera calibration is replaced by an image correction model to simplify the linearization derivation of the measurement equation in state estimation. Second, the algorithm of moving object detection (MOD) is developed based on the constraint condition of static image features on the epipolar line. We also develop the procedures of data association and map management for the SLAM task with moving objects. Finally, the EKF SLAMMOT with the proposed algorithm is implemented on a monocular vision system. The integrated system has successfully tested the basic capabilities of SLAM, including loop-closure, ground truth, long-distance navigation, and moving object detection and tracking for the system in the indoor environment.

目錄
中文摘要 Ⅰ
英文摘要 Ⅱ
目錄 Ⅲ
圖目錄 Ⅴ
表目錄 Ⅶ
第1章 序論 1
1.1 研究動機與研究目的 1
1.2 文獻探討 2
1.3 研究範圍 2
1.4 規劃書架構 2
第2章 單眼視覺式EKF SLAMMOT 3
2.1 EKF SLAMMOT 3
2.2 攝影機、靜止物體、與移動物體的運動模型 3
2.3 單眼視覺量測模型	6
2.4 攝影機校正與影像修正	8
2.5 單眼視覺影像特徵初始化	11
2.6 本章結論	16
第3章 移動物體偵測	17
3.1 位置限制條件	17
3.2 位置限制條件測試分析	20
3.3 攝影機靜止時偵測動態物體	22
3.4 資料關聯程序	23
3.5 地圖管理策略	23
3.5.1 地圖特徵新增策略	23
3.5.2 地圖特徵刪除策略	24
3.6 EKF SLAMMOT系統流程	26
3.7 移動物體偵測(MOD)功能實測範例	28
3.8 本章結論	30
第4章 測試結果與分析	31
4.1 範例一、地面基準	34
4.2 範例二、室內環境閉迴路地圖建立	36
4.3 範例三、圖書館長距離地圖建立	42
4.4 範例四、單眼視覺EKF SLAMMOT在室內環境	47
4.5 範例五、單眼視覺EKF SLAMMOT在圖書館書架走道	53
4.6 範例六、單眼視覺EKF SLAMMOT在圖書館書架走道	58
4.7 本章結論	62
第5章 研究成果與未來研究方向	63
5.1研究成果	63
5.2未來研究方向	63
參考文獻	64
附錄A  Jacobian矩陣	66
A.1 EKF MonoSLAMMOT：動態特徵點狀態A與W矩陣細部推導	66
A.2 EKF MonoSLAMMOT：量測矩陣H細部推導	66
A.3 EKF MonoSLAMMOT：特徵初始化J矩陣細部推導	70
A.4 EKF MonoSLAMMOT：靜態特徵點狀態轉換J矩陣細部推導	72
附錄B 攝影機校正與影像修正	73
B.1 攝影機校正	73
B.2 影像修正	76
B.2.1 影像修正參數求法	77

圖目錄
圖2.1 透視投影法示意圖	8
圖2.2 攝影機與特徵點三維示意圖	8
圖2.3 世界座標與初始攝影機座標示意圖	8
圖2.4 影像校正與影像修正結果圖	10
圖2.5 影像扭曲圖	10
圖2.6 球體座標角度示意圖	11
圖2.7 矩陣分解圖	12
圖2.8 視差角示意圖	13
圖2.9 新增地圖特徵狀態與共變異數	16
圖3.1 本質矩陣與極線的概念圖	18
圖3.2 (a)3D分布圖(b)與極線的關係示意圖	19
圖3.3 偏移量示意圖	19
圖3.4 攝影機沿座標軸平移與旋轉時，極線的變化	20
圖3.5 Ix=0與Iy=120,I'x由0變化到320時，滿足條件的I'y範圍值	21
圖3.6上下曲線之間的值表示I'y滿足條件的範圍值	21
圖3.7極線應用在EKF SLAMMOT系統的示意圖	22
圖3.8 攝影機靜止時偵測動態物體示意圖	22
圖3.9 刪除誤判為靜態地圖特徵的動態特徵示意圖	25
圖3.10 資料關聯程序與地圖管理策略流程圖	26
圖3.11 EKF SLAMMOT系統流程圖	27
圖3.12 偵測移動輪型機器人的六張截圖表目錄	30
圖4.1 地圖資料庫預存的4個地標	32
圖4.2 系統啟動:(a)收尋4個預存地標;(b)資料關聯成功	32
圖4.3 影像顯示圖	33
圖4.4 Matlab地圖建立顯示圖	33
圖4.5 地面基準的實驗場地圖	35
圖4.6 地面基準結果圖	35
圖4.7 室內環境閉迴路地圖建立結果圖	37
圖4.8 室內環境閉迴路地圖建立十二張截圖	40
圖4.9 地圖地標數與取樣頻率	41
圖4.10 攝影機三維位置標準差	41
圖4.11 圖書館長距離地圖結果圖	43
圖4.12 圖書館長距離地圖建立八張截圖	45
圖4.13 地圖地標數與取樣頻率	46
圖4.14 攝影機三維位置標準差	46
圖4.15 單眼視覺EKF SLAMMOT上視圖	48
圖4.16 單眼視覺EKF SLAMMOT立體圖	48
圖4.17 EKF SLAMMOT在室內環境的八張截圖	51
圖4.18 地圖地標數與取樣頻率	52
圖4.19 攝影機三維位置標準差	52
圖4.20 EKF SLAMMOT在圖書館書架走道的七張截圖	56
圖4.21 地圖地標數與取樣頻率	57
圖4.22 攝影機三維位置標準差	57
圖4.23 EKF SLAMMOT在圖書館書架走道的八張截圖	61
圖4.24 地圖地標數與取樣頻率	62
圖4.25 攝影機三維位置標準差	62
圖B.1 拍攝的20張圖檔	73
圖B.2 收尋角點的四個步驟	73
圖B.3 收尋的角點位置與實際圖片角點位置不符合的狀況	74
圖B.4 棋盤方格與攝影機在攝影機座標的相對位置	75


表目錄
表3.1 刪除動態地圖特徵	25
表3.2 刪除動態地圖特徵	26
表4.1 筆記型電腦規格表	31
表4.2 前視型網路攝影機規格表	31
表4.3 攝影機內部參數校正	31
表4.4 影像修正參數	31
表B.1 攝影機內部參數	75
表B.2 攝影機外部參數	75

[Bibby and Reid 2007] C. Bibby and I. Reid, “Simultaneous Localisation and Mapping in Dynamic Environments (SLAMIDE) with Reversible Data Associa”, In Proceedings of the Robotics: Science and Systems III, 2007.

[Bouguet 2010] J.Y. Bouguet, Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/ bouguetj/calib_doc/. (accessed 2010)

[Civera et al. 2008] J. Civera, A.J. Davison and J.M.M. Montiel, “Inverse Depth Parametrization for Monocular SLAM”, IEEE Transactions on Robotics, vol.24, no.5, pp.932-945, 2008.

[Davison et al. 2007] A.J. Davison, I.D. Reid, N.D. Molton and O. Stasse, “MonoSLAM Real Time Single Camera SLAM”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.

[Hartley and Zisserman 2004] R. Hartley and A. Zisserman, “Multiple View Geometry in Computer Vision,” Cambridge University Press, Mar 2004.

[Hartley 1997] R.I. Hartley, “In Defense of the Eight-Point Algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.19, no.6, pp.580-593, 1997.

[Heikkila and Silven 1997] J. Heikkila and O. Silven, “A Four-step Camera Calibration Procedure with Implicit Image Correction”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.1106-1112, 1997.

[Heikkila 2000] J. Heikkila, “Geometric Camera Calibration using Circular Control Points”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.10, pp.1066-1077, 2000.

[Hutchinson et al. 1996] S. Hutchinson, G.D. Hager and P.I. Corke, “A Tutorial on Visual Servo Control”, IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.

[Longuet-Higgins 1981] H.C. Longuet-Higgins, “A computer algorithm for reconstructing a scene from two projections”, Nature, vol.293, pp.133-135, 1981.

[Luong and Faugeras 1996] Q.T. Luong and O.D. Faugeras, “The Fundamental Matrix: Theory, Algorithms, and Stability Analysis”, International Journal of Computer Vision, 17(1), pp.43-75, 1996.

[Lin and Wang 2010] K.H. Lin and C.C. Wang, “Stereo-based simultaneous localization, mapping and moving object tracking”, In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Taipei, Taiwan, October 2010.

[Migliore et al. 2009] D. Migliore, R. Rigamonti, D. Marzorati, M. Matteucci and D. G. Sorrenti, “Use a single camera for simultaneous localization and mapping with mobile object tracking in dynamic environments”, In ICRA Workshop on Safe navigation in open and dynamic environments: Application to autonomous vehicles, 2009.

[Sciavicco and Siciliano 1996] L. Sciavicco and B. Siciliano, “Modeling and Control of Robot Manipulators”, McGraw-Hill, 1996.

[Smith et al. 1990]R. Smith, M. Self and P. Cheeseman, “Estimating Uncertain Spatial Relationships in Robotics”, In Autonomous Robot Vehicles, I.J. Cox and G.T. Wilfong, Eds., Springer-Verlog, pp.167-193, 1990.

[Sola et al. 2008]J. Sola, A. Monin, M. Devy and T. Vidal-Calleja, “Fusing Monocular Information in Multicamera SLAM,” IEEE Transactions on Robotics, vol.24, no.5, pp.958-968, 2008.

[Wangsiripitak and Murray 2009]S. Wangsiripitak and D. W. Murray, “Avoiding Moving Outliers in Visual SLAM by Tracking Moving Objects”, IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, May 2009, pp. 375-380.

[Wang et al. 2007]C.C. Wang, C. Thorpe, S. Thrun, M. Hebert and H. Durrant-Whyte, “Simultaneous Localization, Mapping and Moving Object Tracking”, The International Journal of Robotics Research, vol. 26, no.09, pp. 889-916, 2007.

[Zhang 1998]Z. Zhang, “A Flexible New Technique for Camera Calibration”, Microsoft Research Technical Report 98-71, 1998.

[Zhao et al. 2008]H. Zhao, M. Chiba, R. Shibasaki, X. Shao, J. Cui and H. Zha, “SLAM in a Dynamic Large Outdoor Environment using a Laser Scanner”, In Proceedings of the IEEE International Conference on Robotics and Automation, Pasadena, California, 2008.

[馮盈捷 2011]馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM之稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。