本論文使用視覺感測器輔助機器人進行巡航任務，研究的議題包括攝影機校準方法的應用、單攝影機同時定位與建圖、與多攝影機系統輔助巡航等。應用攝影機校準方法進行攝影機內部參數與外部參數的校準，以及多攝影機之間位移向量與旋轉矩陣的求算；單攝影機搭配反深度參數化方法進行影像特徵初始化，以達到無延遲的狀態初始化程序；使用環境中多組的視覺感測器，改善巡航中機器人狀態估測的準確度。

A robot navigation system using multiple vision sensors is developed in this thesis.  Research topics include the application of camera calibration method, the development of visual monocular simultaneous localization and mapping (MonoSLAM), as well as the robot navigation using multiple cameras.  The camera calibration method is applied to calibrate the intrinsic and extrinsic parameters of each camera.  It is also employed to determine the translation vector and rotation matrix between every two cameras.  The inverse depth parameterization method initializes the landmark state of MonoSLAM and provides an un-delay state initialization procedure. Multiple cameras in the environment are used in this research to improve the accuracy of robot state estimation during navigation.

目錄
中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	VI
第一章 序論	1
1.1 研究動機與目的	1
1.2 文獻探討	1
    1.2.1 特徵點擷取	1
    1.2.2 影像校準方法的應用	1
    1.2.3 單攝影機同時定位與建圖	1
    1.2.4 雙攝影機系統輔助巡航	2
1.3 系統描述	2
1.4 論文架構	2

第二章 攝影機校準	3
2.1 攝影機校準	3
2.2座標系轉換	4
2.3 校準板與影像平面的單應性求算	7
2.4 攝影機內、外部參數求算	8
2.5 鏡頭扭曲參數求算	11
2.6 最佳值估計	13
2.7 Heikkila and Silven影像修正模型	14
2.8雙眼攝影機校準	15
2.9範例	17

第三章 單眼視覺式EKF SLAM	21
3.1 單眼視覺式EKF SLAM	21
3.2 EKF SLAM	21
3.3攝影機、靜止物體的運動模型	22
3.4單眼視覺量測模型	23
3.5 攝影機校正與影像修正	26
3.6單眼視覺影像特徵初始化	27
3.7 實驗範例	32

第四章 多攝影機輔助巡航	34
4.1多攝影機輔助巡航	34
4.2監視攝影機	34
4.3視覺式巡航機器人	35
4.4輔助巡航	36
4.5實驗範例	37

第五章 研究成果	46
5.1 完成的工作項目	46
5.2 研究成果	46
5.3 未來研究方向	46

參考文獻	47
附錄A	48


圖目錄
圖2.1 座標系的相互關係	4
圖2.2 透視投影法示意圖	5
圖2.3 影像平面座標關係圖	6
圖2.4 歪斜座標示意圖	6
圖2.5 徑向扭曲	12
圖2.6 徑向扭曲模型	12
圖2.7 側向扭曲	13
圖2.8 側向扭曲模型	13
圖2.9 雙眼攝影機校準流程(圖截自於 OpenCV 第12章) 	16
圖2.10 旋轉R與位移t示意圖	16
圖2.11 實驗場景	17
圖2.12 Matlab上視圖	18
圖2.13 OpenCV上視圖	20

圖3.1 攝影機與特徵點三維示意圖	26
圖3.2 世界座標與初始攝影機座標示意圖	26
圖3.3 影像修正結果圖	27
圖3.4 角度 W 與 W 示意圖	28
圖3.5 J、P、JT 矩陣分解圖	29
圖3.6 視差角 示意圖	30
圖3.7 實驗場景	32
圖3.8 環境模擬建圖	33

圖4.1 透視投影法與相似三角形示意圖	34
圖4.2 世界座標與攝影機座標與棋盤格相對位置關係圖	35
圖4.3 地圖資料庫預存的4個地標	36
圖4.4 監視攝影機、棋盤格與機器人座標關係圖	36
圖4.5 橫向移動實驗場景	39
圖4.6 橫向移動一般巡航與輔助巡航之比較圖	41
圖4.7 室內閉迴路巡航任務實驗場景	42
圖4.8 室內閉迴路一般巡航與輔助巡航之比較圖	44
圖4.9 特徵點與棋盤格相對位置	45

圖A.1 標定板棋盤格	48
圖A.2 標定板不同角度拍攝	48
圖A.3 棋盤格角點偵測	49

表目錄
表 2.1a 攝影機使用Matlab攝影機校準之參數	17
表 2.1b 左影像修正模型參數	18
表 2.1c 右影像修正模型參數	18
表 2.1d 旋轉矩陣	18
表 2.1e 位移向量	18
表 2.1f 地面基準實測數據	18
表 2.2a 攝影機使用OpenCV攝影機校準之參數	19
表 2.2b 左影像修正模型參數	19
表 2.2c 右影像修正模型參數	19
表 2.2d 旋轉矩陣	19
表 2.2e 位移向量	19
表 2.2f 地面基準實測數據	20
表 2.3 實測數據比較表	20

表 3.1 前視型網路攝影機規格表	32
表 3.2 攝影機內部參數校正	33
表 3.3 影像修正模型之 ~ 參數	33

表 4.1 筆記型電腦規格表	37
表 4.2(a) 前視型網路攝影機規格表	37
表 4.2(b) 前視型網路攝影機內部參數	38
表 4.2(c) 前視型網路攝影機影像修正模型之 ~ 參數	38
表 4.2(a) AXIS 213 PTZ規格表	38
表 4.2(b) AXIS 213 PTZ內部參數	38
表 4.2(c) AXIS 213 PTZ影像修正模型之 ~ 參數	38
表 4.4 特徵點座標比較與誤差值	45
表 4.5 機器人座標比較與誤差值	45
表 A.1 旋轉矩陣R3X3	50
表 A.2 位移向量 T3X1	50

參考文獻

[1].	林冠瑜，使用低階攝影機實現機器人視覺式SLAM，淡江大學技系與機電工程學系碩士論文，2012。
[2].	H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, “SURF: Speeded-Up Robust Features”, Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[3].	Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
[4].	J. Civera, A.J. Davison and J.M.M. Montiel, “Inverse Depth Parametrization for Monocular SLAM,” IEEE Transactions on Robotics, vol.24, no.5, pp.932-945, 2008.
[5].	邱明璋，基於極限限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學技系與機電工程學系碩士論文，2011。
[6].	洪亦陽，機器人於智慧型空間之地圖重建與定位，台北科技大學電機工程系碩士論文，2008。
[7].	S. Simon，運用移動式與固定式攝影機於大範圍環境之機器人定位及建圖系統，台北科技大學電機工程系碩士論文，2012。
[8].	J.-Y. Bouguet, Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/ bouguetj/calib_doc/. (accessed 08/01/2010)
[9].	J. Heikkila, and O. Silven, A Four-step Camera Calibration Procedure with Implicit Image Correction, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.1106-1112, 1997.
[10].	J. Heikkila, Geometric camera calibration using circular control points, Proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.10, pp.580-593, 2000.
[11].	S. Hutchinson, G.D. Hager, and P.I. Corke, “A Tutorial on Visual Servo Control,” IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[12].	R. Smith, M. Self, and P. Cheeseman, “Estimating Uncertain Spatial Relationships in Robotics,” In Autonomous Robot Vehicles, I.J. Cox and G.T. Wilfong, Eds., Springer-Verlog, pp.167-193, 1990.
[13].	A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, “MonoSLAM Real Time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[14].	L. Sciavicco, and B. Siciliano, Modeling and Control of Robot Manipulators, McGraw-Hill, 1996.
[15].	J. More. The Levenberg-marquardt algorithm, implementation and theory. In G. A. Watson, editor, Numerical Analysis, Lecture Notes in Mathematics 630. Springer-Verlag, 1977.
[16].馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM之稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。