本論文探討視覺式感測器輔助機器人巡航的議題，主要任務是輔助機器人進行自我定位與建立地圖，並且應用在全球定位系統(GPS)無法順利運作的環境之中。當機器人在環境中巡航時，視覺式感測器可以提供機器人狀態估測與建立環境地圖所需的量測訊息。本論文將使用雙眼攝影機建立雙眼視覺，透過非標準立體幾何(non-SSG)架構即時計算影像特徵點影像的深度，初始化地標點的三維座標。狀態估測器方面，將使用擴張型卡爾曼濾波器(EKF)，遞迴地預測與估測機器人與環境靜態物件的狀態。當地圖過大時會使擴張型卡爾曼濾波器運算量大幅上升而使運算速度無法達到即時性運算。將針對地圖過大時造成運算上無法達到即時性的問題，使用區域地圖方式，使EKF估測器的狀態向量維持在有限維度內，以降低電腦計算負擔。本研究將在PC-based控制器內建立所需的發展環境，以Visual C++程式語言整合視覺感測器、影像處理、與狀態估測器。整合的系統將可達到即時性應用於執行機器人於大環境下的同時定位與建圖之任務。

This thesis presents a vision-assisted robot navigation system. The major objective of the system is to assist the robot implementing the tasks of localization and mapping in the environment where the global positioning system (GPS) is denied. The visual sensor provided measurement data for estimating the robot state and building the environment map. The position of the landmarks was initialized using the non-standard stereo geometry method (non-SSG). The states of robot and static objects were recursively predicted and estimated using the extended Kalman filter. When the range of the environment map was too large, the computation time increased dramatically. Real-time implementation of robot visual navigation became an impossible task. To improve the problem, the concept of local map was proposed in this study. The sizes of the state and covariance vectors were limited in order to reduce the computation time. The software program of the robot navigation system was developed in a PC-based controller using Microsoft Visual Studio C++. The navigation system integrated the sensor inputs, image processing, and state estimation. The resultant system was used to perform the tasks of simultaneous localization and mapping (SLAM) for large environments.

目錄
摘要	Ⅰ
目錄	Ⅱ
第1章 序論	1
1.1 研究動機與目的	1
1.2 文獻探討	1
1.3 研究範圍	2
第2章 視覺式定位與建立地圖	3
2.1 狀態估測	3
2.1.1 擴張型卡爾曼過濾器	4
2.1.2 運動狀態模型	4
2.1.3 環境地標	5
2.1.4 視覺量測模型	5
2.1.5 特徵初始化	8
2.2 地圖建立與管理	9
2.2.1 建立影像特徵資訊	10
2.2.2 資料關聯	10
2.2.3 刪除地標	10
2.2.4 新增地標	11
2.2.5 動態調整Hessian	11
2.2.6 更新與建圖	12
第3章 區域地圖建立	13
3.1 區域地圖建立概念	13
3.2 區域地圖建立方式	13
3.3 建置區域型狀態矩陣	15
3.3.1 新增狀態	15
3.3.2 更新狀態	16
第4章 系統設備	19
4.1 控制器	19
4.2 感測器	20
4.2.1 雙眼視覺架構	21
4.2.2 攝影機內部參數	21
4.2.3 攝影機外部參數	25
第5章 測試結果與分析	26
5.1 地面基準實驗	26
5.2 全域同時定位與建圖	35
5.2.1 原地旋轉實驗	35
5.2.2 封閉路徑實驗	40
5.2.3 大型室內環境封閉路徑實驗(一) 	45
5.2.3 大型室內環境封閉路徑實驗(二) 	52
5.3 區域同時定位與建圖測試	59
5.3.1 使用原始狀態向量地標但重新給予初始化共變異數值實驗59
5.3.2 更新狀態向量中對應三維位置與初始化共變異數值實驗65
5.3.3 保留固定比例舊特徵實驗	71
第6章 結論與未來展望	74
第7章 參考文獻	75
附錄A Jacobian矩陣	76


圖目錄

圖2.1 透視投影法	7
圖2.2 左攝影機與地標相對位置	8
圖2.3 世界座標與初始左攝影機座標相對位置	8
圖2.4 自我定位與建圖流程圖	9
圖3.1 階層式大範圍環境地圖(左)與多層視覺式地圖(右)	13
圖3.2 區域特徵儲存流程圖	14
圖3.3 程式效能分析(一)	15
圖3.4 程式效能分析(二)	15
圖3.5 新版新增策略流程圖	16
圖3.6 新增策略示意圖	17
圖3.7 新版更新流程圖	17
圖3.8 新增策略示意圖	18
圖4.1 筆記型電腦	19
圖4.2 視訊攝影機	20
圖4.3 雙眼視覺架構	21
圖4.4 左攝影機徑向扭曲圖(左上)切向扭曲圖(右上)完整扭曲圖(下)	22
圖4.5 右攝影機徑向扭曲圖(左上)切向扭曲圖(右上)完整扭曲圖(下)	23
圖4.6 左眼理想影像平面(左上)扭曲影像平面(右上)修正影像平面(左下)誤差離直方圖(右下)	24
圖4.7 右眼理想影像平面(左上)扭曲影像平面(右上)修正影像平面(左下)誤差離直方圖(右下)	24
圖5.1 實驗場景(左)地面方形路徑、(右)特徵點所在平面	27
圖5.2 左眼第100幀影像(左)影像平面、(右)X-Y平面	27
圖5.3 左眼第360幀影像(左)影像平面、(右)X-Y平面	28
圖5.4 左眼第720幀影像(左)影像平面、(右)X-Y平面	28
圖5.5 左眼第937幀影像(左)影像平面、(右)X-Y平面	28
圖5.6 左眼第1123幀影像(左)影像平面、(右)X-Y平面	29
圖5.7 左眼第1362幀影像(左)影像平面、(右)X-Y平面	29
圖5.8 左眼第1536幀影像(左)影像平面、(右)X-Y平面	29
圖5.9 左眼第1734幀影像(左)影像平面、(右)X-Y平面	30
圖5.10 左眼第1932幀影像(左)影像平面、(右)X-Y平面	30
圖5.11 左眼第2166幀影像(左)影像平面、(右)X-Y平面	30
圖5.12 左眼第2334幀影像(左)影像平面、(右)X-Y平面	31
圖5.13 左眼第2476幀影像(左)影像平面、(右)X-Y平面	31
圖5.14 左眼第2635幀影像(左)影像平面、(右)X-Y平面	31
圖5.15 左眼第2863幀影像(左)影像平面、(右)X-Y平面	32
圖5.16 左眼第3000幀影像(左)影像平面、(右)X-Y平面	32
圖5.17 左眼第3147幀影像(左)影像平面、(右)X-Y平面	32
圖5.18 左眼第3300幀影像(左)影像平面、(右)X-Y平面	33
圖5.19 左眼第3331幀影像(左)影像平面、(右)X-Y平面	33
圖5.20 左眼第3331幀影像三維立體圖	33
圖5.21 攝影機三維位置標準差	34
圖5.22 取樣頻率與地圖大小關係	34
圖5.23 原地旋轉實驗場景	36
圖5.24 左眼第100幀影像(左)影像平面、(右)X-Y平面	36
圖5.25 左眼第293幀影像(左)影像平面、(右)X-Y平面	36
圖5.26 左眼第466幀影像(左)影像平面、(右)X-Y平面	37
圖5.27 左眼第612幀影像(左)影像平面、(右)X-Y平面	37
圖5.28 左眼第747幀影像(左)影像平面、(右)X-Y平面	37
圖5.29 左眼第861幀影像(左)影像平面、(右)X-Y平面	38
圖5.30 左眼第953幀影像(左)影像平面、(右)X-Y平面	38
圖5.31 左眼第1041幀影像(左)影像平面、(右)X-Y平面	38
圖5.32 左眼第1107幀影像(左)影像平面、(右)X-Y平面	39
圖5.33 左眼第1107幀影像三圍立體圖	39
圖5.34 攝影機三維位置標準差	39
圖5.35 取樣頻率與地圖大小關係	40
圖5.36 封閉路徑實驗場景	41
圖5.37 左眼第50幀影像(左)影像平面、(右)X-Y平面	41
圖5.38 左眼第519幀影像(左)影像平面、(右)X-Y平面	42
圖5.39 左眼第522幀影像(左)影像平面、(右)X-Y平面	42
圖5.40 左眼第562幀影像(左)影像平面、(右)X-Y平面	42
圖5.41 左眼第900幀影像(左)影像平面、(右)X-Y平面	43
圖5.42 左眼第1140幀影像(左)影像平面、(右)X-Y平面	43
圖5.43 左眼第2204幀影像(左)影像平面、(右)X-Y平面	43
圖5.44 第2204幀影像三維立體圖	44
圖5.45 攝影機三維位置標準差	44
圖5.46 取樣頻率與地圖大小關係	44
圖5.47 左眼第100幀影像(左)影像平面、(右)X-Y平面	46
圖5.48 左眼第450幀影像(左)影像平面、(右)X-Y平面	46
圖5.49 左眼第915幀影像(左)影像平面、(右)X-Y平面	46
圖5.50 左眼第1200幀影像(左)影像平面、(右)X-Y平面	47
圖5.51 左眼第1260幀影像(左)影像平面、(右)X-Y平面	47
圖5.52 左眼第1261幀影像(左)影像平面、(右)X-Y平面	47
圖5.53 左眼第1262幀影像(左)影像平面、(右)X-Y平面	48
圖5.54 左眼第1300幀影像(左)影像平面、(右)X-Y平面	48
圖5.55 左眼第1310幀影像(左)影像平面、(右)X-Y平面	48
圖5.56 左眼第1500幀影像(左)影像平面、(右)X-Y平面	49
圖5.57 左眼第1650幀影像(左)影像平面、(右)X-Y平面	49
圖5.58 左眼第1740幀影像(左)影像平面、(右)X-Y平面	49
圖5.59 左眼第1742幀影像(左)影像平面、(右)X-Y平面	50
圖5.60 左眼第1743幀影像(左)影像平面、(右)X-Y平面	50
圖5.61 左眼第1781幀影像(左)影像平面、(右)X-Y平面	50
圖5.62 左眼第2061幀影像(左)影像平面、(右)X-Y平面	51
圖5.63 左眼第2061幀影像三維立體圖	51
圖5.64 攝影機三維位置標準差	51
圖5.65 取樣頻率與地圖大小關係	52
圖5.66 左眼第100幀影像(左)影像平面、(右)X-Y平面	53
圖5.67 左眼第300幀影像(左)影像平面、(右)X-Y平面	53
圖5.68 左眼第600幀影像(左)影像平面、(右)X-Y平面	54
圖5.69 左眼第900幀影像(左)影像平面、(右)X-Y平面	54
圖5.70 左眼第1200幀影像(左)影像平面、(右)X-Y平面	54
圖5.71 左眼第1500幀影像(左)影像平面、(右)X-Y平面	55
圖5.72 左眼第1711幀影像(左)影像平面、(右)X-Y平面	55
圖5.73 左眼第1712幀影像(左)影像平面、(右)X-Y平面	55
圖5.74 左眼第1719幀影像(左)影像平面、(右)X-Y平面	56
圖5.75 左眼第1800幀影像(左)影像平面、(右)X-Y平面	56
圖5.76 左眼第2100幀影像(左)影像平面、(右)X-Y平面	56
圖5.77 左眼第2400幀影像(左)影像平面、(右)X-Y平面	57
圖5.78 左眼第2700幀影像(左)影像平面、(右)X-Y平面	57
圖5.79 左眼第3000幀影像(左)影像平面、(右)X-Y平面	57
圖5.80 左眼第3237幀影像(左)影像平面、(右)X-Y平面	58
圖5.81 左眼第3237幀影像三維立體圖	58
圖5.82 影機三維位置標準差	58
圖5.83 樣頻率與地圖大小關係	59
圖5.84 第1261幀影像	60
圖5.85 第1262幀影像	60
圖5.86 第1300幀影像	61
圖5.87 第1310幀影像	61
圖5.88 第1450幀影像	61
圖5.89 第1500幀影像	62
圖5.90 第1650幀影像	62
圖5.91 第1740幀影像	62
圖5.92 第1742幀影像	63
圖5.93 第1743幀影像	63
圖5.94 第1781幀影像	63
圖5.95 第2061幀影像	64
圖5.96 全域與區域比較圖(一)	64
圖5.97 全域與區域比較圖(二)	65
圖5.98 第1261幀影像	66
圖5.99 第1262幀影像	66
圖5.100 第1300幀影像	66
圖5.101 第1310幀影像	67
圖5.102 第1450幀影像	67
圖5.103 第1500幀影像	67
圖5.104 第1650幀影像	68
圖5.105 第1740幀影像	68
圖5.106 第1742幀影像	68
圖5.107 第1743幀影像	69
圖5.108 第1781幀影像	69
圖5.109 第2061幀影像	69
圖5.110 全域與區域比較圖(一)	70
圖5.111 全域與區域比較圖(二)	70
圖5.112 保留一定比例穩定特徵實驗結果圖	71
圖5.113 保留0%之全域與區域比較圖	72
圖5.114 保留10%之全域與區域比較圖	72
圖5.115 保留20%之全域與區域比較圖	72
圖5.116 保留50%之全域與區域比較圖	73

表目錄

表4.1 筆記型電腦規格表	19
表4.2 視訊攝影機規格表	20
表4.3 左攝影機內部參數	21
表4.4 右攝影機內部參數	22
表4.5 左攝影機影像修正參數	23
表4.6 右攝影機影像修正參數	23
表5.1 地面實況和估測值	34

參考文獻

[1]	C. Estrada, J. Neira, and J. D. Tardos, "Hierarchical SLAM: Real-Time Accurate Mapping of Large Environments," IEEE Transactions on Robotics, vol. 21, pp. 588-596, 2005.
[2]	馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM知稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。
[3]	林冠瑜，"使用低階攝影機實現機器人視覺式SLAM"，淡江大學機械與機電工程學系碩士論文，2012。
[4]	周欣叡，"區域地圖建立與路徑閉合問題之探討"，淡江大學機械與機電工程學系碩士論文，2013。
[5]	H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, “SURF: Speeded-Up Robust Features”, Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[6]	L. A. Clemente, A. J. Davison, I. Reid, J. Neira, and J. D. Tardós, "Mapping large loops with a single hand-held camera," in Robotics: Science and Systems, 2007.
[7]	P. Pinies and J. D. Tardos, "Large-Scale SLAM Building Conditionally Independent Local Maps: Application to Monocular Vision," IEEE Transactions on Robotics, vol. 24, pp. 1094-1106, 2008.
[8]	A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, “MonoSLAM Real Time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[9]	S. Hutchinson, G.D. Hager, & P.I. Corke, "A Tutorial on Visual Servo Control," IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[10]	G. Shakhnarovich, T. Darrell and P. Indyk, Nearest-neighbor methods in learning and vision, The MIT Press, 2005.
[11]	J.Y. Bougust, Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/ bouguetj/calib_doc/ (accessed on May 11, 2016).