本論文探討視覺式感測器輔助飛行機器人巡航的議題，主要的任務是輔助飛行機器人進行定位與建立環境地圖，並且應用在全球定位系統無法順利運作的環境之中。當飛行機器人在環境中巡航時，視覺式感測器可以提供機器人狀態估測與建立環境地圖所需的量測訊息。考量飛行機器人的承載能力，本論文使用單顆攝影機，並且將影像以無線方式傳送到PC-based控制器進行處理。狀態估測器方面，使用擴張型卡爾曼過濾器，遞迴地預測與估測飛行機器人與環境靜態物件的狀態。單視覺影像特徵方面，使用反深度參數化方法描述影像深度，實現非延遲影像特徵初始化的程序。本論文有兩個主要研究成果，第一，針對單視覺影像深度估測的問題，使用超音波感測器提供一維的量測訊息，做為特徵座標初始化的依據。第二，規劃模糊資料關聯的程序，改善特徵地圖管理的效能。本研究在PC-based控制器內建立所需的發展環境，以Visual C++程式語言整合視覺感測器、影像處理、與狀態估測器。整合的系統應用於執行飛行機器人的同時定位與建圖之任務。

This study investigates the issues of visual sensor assisted aerial robot navigation.  The major objectives are to provide the aerial robot the capabilities of localization and mapping in global positioning system (GPS) denied environments.  When the aerial robot navigates in a GPS-denied environment, the visual sensor could provide the measurement for robot state estimation and environmental mapping.  Considering the carrying capacity of the aerial robot, single camera is used in this study and the image is transmitted to PC-based controller for image processing using a radio frequency module.  The extended Kalman filter is used as the state estimator to recursively predict and update the states of the aerial robot and the environment landmarks.  For the monocular vision sensor, the image depth is represented by using the inverse depth parameterization method and the image features initialization is achieved by a non-delayed procedure.  The results of this study are twofold.  First, an ultrasonic sensor is used to provide one-dimensional distance measurement and solve the image depth estimation problem of monocular vision.  Second, a novel data association procedure is designed based on fuzzy system in order to improve the performance of map management.  The software program of the robot navigation system is developed in a PC-based controller using Microsoft Visual Studio C++.  The navigation system integrates the sensor inputs, image processing, and state estimation.  The resultant system is used to perform the tasks of simultaneous localization and mapping for aerial robots.

摘要	Ⅰ
	目錄	Ⅱ
	圖目錄	V
	表目錄	IX
	第1章 序論	1
1.1 研究動機與研究問題	2
1.2 文獻回顧及探討	1
1.3 研究範圍	3
1.3.1 飛行機器人巡航系統	3
1.3.2 單視覺影像深度估測	3
1.3.3 環境地圖建立與管理	3
1.3. 4 飛行機器人單視覺定位與建圖	4
第2章 系統說明	5
2.1 飛行機器人系統	5
2.2 視覺式感測系統	6
2.3 飛行器的操控	9
第3章 單眼視覺式EKF SLAM	12
3.1  EKF SLAM	12
3.2 攝影機、靜止物體的運動模型	13
3.3 視覺量測模型	14
第4章 單眼視覺量測	17
4.1 單眼視覺影像特徵初始化	17
4.2 地圖管理策略	21
4.3 超音波距離感測模組	21
4.3.1 超音波模組接線	22
4.3.2 Arduino Nano程式	23
4.3.3 PC接收端程式	24
4.3.4量測測試範例	26
4.3.5超音波距離量測啟動程序	27
4.4 單攝影機SLAM範例-平移	27
第5章 視覺式建圖與管理	32
5.1資料關聯程序	32
5.2 漸層式資料關聯程序	33
5.3 模糊資料關聯程序	33
5.3.1 輸出入變數模糊化	34
5.3.2 模糊推論引擎	36
5.3.3 解模糊化	37
5.4 多組特徵描述向量	37
5.5 刪除地圖地標	37
5.6 新增地圖地標	38
5.6.1 動態Hessian值調整機制	38
5.7 更新地圖資料	39
第6章 視覺式同時定位與建圖測試	40
6.1 攝影機校準與影像修正	40
6.2 單攝影機SLAM範例–已知特徵初始化單攝影機SLAM	41
6.3 單攝影機SLAM範例–超音波初始化單攝影機SLAM	44
6.4 地面基準	47
6.5 單攝影機SLAM範例-繞圈 定值資料關聯	51
6.6 單攝影機SLAM範例-繞圈 漸層式資料關聯	54
6.7 單攝影機SLAM範例-繞圈 模糊資料關聯	57
6.8 資料關聯的效能比較	60
第7章 飛行機器人同時定位與建圖測試	62
7.1飛行機器人測試	62
7.2 飛行機器人測試 直線I	66
7.3 飛行機器人測試 直線II	69
第8章 研究成果與討論	74
8.1 研究成果	74
8.2 未來研究方向	74
參考文獻	75
附錄A  Jacobian矩陣	77
A.1 EKF MonoSLAMMOT：量測矩陣 細部推導	77
A.2 機器人EKF SLAM：特徵初始化J矩陣的細部推導	79
 
圖目錄

圖2.1 四旋翼飛行機器人	5
圖2.2 筆記型電腦	5
圖2.3 雲台機構與攝影機	7
圖2.4 旋翼機前視型單眼攝影機	7
圖2.5 TX51W發訊器	8
圖2.6 RC805影像接收模組	8
圖2.7 VideoMate C200 Pro影像擷取卡	8
圖2.8 四旋翼飛行器座標	9
圖2.9 Futaba 10CG射頻遙控發射器	10
圖2.10 日本手控制器基本控制項	10
圖2.11 Futaba R6208SB射頻遙控接收器	10
圖2.12 飛行模擬畫面	11
圖3.1 透視投影法示意圖	16
圖3.2 攝影機與特徵點三維示意圖	16
圖4.1 左圖為角度 與 示意圖；右圖為角度 與 示意圖	18
圖4.2 視差角 示意圖	20
圖4.3  對應求算距離	21
圖4.4 HC-SR04超音波感測器	22
圖4.5 Arduino Nano	22
圖4.6 3Dr Radio Telemetry	22
圖4.7 Arduino接線圖	23
圖4.8 Arduino Nano擷取超音波距離的範例程式	24
圖4.9 PC端Serial Port範例程式	25
圖4.10 靜置超音波感測器量測數據	26
圖4.11 移動超音波感測器量測數據	27
圖4.12 量測距離相對時間圖	27
圖 4.13第0幀圖像	28
圖4.14 第140幀圖像	28
圖4.15 第141幀圖像	29
圖4.16 第144幀圖像	29
圖4.17 第294幀圖像	29
圖4.18 第680幀圖像	30
圖4.19 第1100幀圖像	30
圖4.20 第1500幀圖像	30
圖4.21 地圖大小與取樣頻率	31
圖 4.22攝影機狀態估測標準差	31
圖5.1地圖地標	33
圖5.2 動態搜尋視窗	33
圖5.3 攝影機速度為0.328128m/s，加速度為0.566816m/s2，搜索視窗19x19像素	34
圖5.4 攝影機速度為0.414764m/s，加速度為2.14075m/s2，搜索視窗19x19像素	35
圖5.5 攝影機速度為0.414764m/s，加速度為2.14075m/s2，搜索視窗39x39像素	35
圖5.6 攝影機速度為0.830335m/s，加速度為4.728616m/s2，搜索視窗49x49像素	35
圖5.7速度歸屬函數圖	35
圖5.8加速度歸屬函數圖	36
圖5.9輸出視窗大小歸屬函數圖	36
圖6.1影像校準與影像修正結果	40
圖6.2第0幀圖像	41
圖6.3第860幀圖像	41
圖6.4第1349幀圖像	42
圖6.5第1923幀圖像	42
圖6.6第2356幀圖像	42
圖6.7第3520幀圖像	43
圖6.8地圖大小與取樣頻率	43
圖6.9攝影機狀態估測標準差	43
圖6.10第0幀圖像	44
圖6.11第860幀圖像	44
圖6.12第1349幀圖像	45
圖6.13第1923幀圖像	45
圖6.14第2356幀圖像	45
圖6.15第3520幀圖像	46
圖6.16地圖大小與取樣頻率	46
圖6.17攝影機狀態估測標準差	46
圖6.18地面實況軌跡	47
圖6.19第0幀圖像	48
圖6.20第1000幀圖像	48
圖6.21第1700幀圖像	48
圖6.22第2440幀圖像	49
圖6.23第3090幀圖像	49
圖6.24第5250幀圖像	49
圖6.25第6780幀圖像	50
圖6.26第7950幀圖像	50
圖6.27第0幀圖像	51
圖6.28第0750幀圖像	51
圖6.29第1500幀圖像	52
圖6.30第2400幀圖像	52
圖6.31第2600幀圖像	52
圖6.32第2704幀圖像	53
圖6.33地圖大小與取樣頻率	53
圖6.34攝影機狀態估測標準差	53
圖6.35第0幀圖像	54
圖6.36第0750幀圖像	54
圖6.37第1500幀圖像	55
圖6.38第2400幀圖像	55
圖6.39第2600幀圖像	55
圖6.40第2870幀圖像	56
圖6.41第3540幀圖像	56
圖6.42地圖大小與取樣頻率	56
圖6.43攝影機狀態估測標準差	57
圖6.44第0幀圖像	57
圖6.45第0750幀圖像	58
圖6.46第1500幀圖像	58
圖6.47第2400幀圖像	58
圖6.48第2600幀圖像	59
圖6.49第2870幀圖像	59
圖6.50第3540幀圖像	59
圖6.51地圖大小與取樣頻率	60
圖6.52攝影機狀態估測標準差	60
圖6.53特徵點搜索範圍	61
圖7.1實驗場景	62
圖7.2第0幀圖像	63
圖7.3第396幀圖像	63
圖7.4第498幀圖像	63
圖7.5第611幀圖像	64
圖7.6第925幀圖像	64
圖7.7第1100幀圖像	64
圖7.8第1293幀圖像	65
圖7.9第1650幀圖像	65
圖7.10地圖大小與取樣頻率	65
圖7.11攝影機狀態估測標準差	66
圖7.12第0幀圖像	66
圖7.13第814幀圖像	67
圖7.14第1499幀圖像	67
圖7.15第1964幀圖像	67
圖7.16地圖大小與取樣頻率	68
圖7.17攝影機狀態估測標準差	68
圖7.18實驗場景	69
圖7.19第0幀圖像	69
圖7.20第450幀圖像	70
圖7.21第900幀圖像	70
圖7.22第1094幀圖像	70
圖7.23第1397幀圖像	71
圖7.24第2056幀圖像	71
圖7.25第2535幀圖像	71
圖7.26第3001幀圖像	72
圖7.27第3120幀圖像	72
圖7.28地圖大小與取樣頻率	72
圖7.29攝影機狀態估測標準差	73

 
表目錄

表2.1 四旋翼飛行機器人	6
表2.2 筆記型電腦規格表	6
表2.3 雲台機構與攝影機	7
表2.4 攝影機規格表	7
表2.5 TX51W發訊器規格表	8
表2.6 四旋翼機之姿態及位移的控制項	10
表4.1 HC-SR04超音波感測器	22
表4.2 Arduino Nano	22
表4.3 3Dr Radio Telemetry	22
表5.1 模糊規則庫	36
表6.1攝影機內部參數	40
表6.2攝影機修正模型參數	40
表6.3地面實況與估測值	47
表6.4特徵總數量比較	61

[1] 	R. Smith, M. Self, and P. Cheeseman, "Estimating Uncertain Spatial Relationships in Robotics,"in Autonomous Robot Vehicles, I.J. Cox and G.T. Wilfong, Eds., Springer-Verlog, pp.167-193, 1990.
[2] 	A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, "MonoSLAM Real Time Single Camera SLAM," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[3] 	J. Civera, A.J. Davison and J.M.M. Montiel, "Inverse Depth Parametrization for Monocular SLAM," IEEE Transactions on Robotics, vol.24, no.5, pp.932-945, 2008.
[4] 	J. Sola," Institut National Polytechnique de Toulouse," Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach, Ph.D. dissertation, 2007.
[5] 	G. Nutzi, S. Weiss, D. Scaramuzza, and R. Siegwart, "Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM," Journal of Intelligent & Robotic Systems, vol. 61, pp. 287-299, 2011.
[6] 	J. Civera, A. J. Davison, and J. Montiel, "Dimensionless monocular SLAM," in Pattern Recognition and Image Analysis, ed: Springer, pp. 412-419, 2007.
[7] 	T. Lindeberg, "Feature detection with automatic scale selection," International Journal of Computer Vision, vol.30, no.2, pp79-116, 1998.
[8] 	K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir, & L. Van Gool, "A comparison of affine region detectors," International Journal of Computer Vision, Vol. 65(1-2), pp.43-72, 2005.
[9] 	H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, "SURF: speeded up robust features," Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[10] 	P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features, " In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.511-518, 2001.
[11] 	G. Welch and G. Bishop, "An introduction to the Kalman filter," TR95-041, Department of Computer Science, University of North Carolina, 2006.
[12] 	S. Julier and J.K. Uhlmann, "Unscented Filtering and Nonlinear Estimation," Proceedings of the IEEE, Vol.92, no.3, pp.401-422, 2004.
[13] 	Z. Wang, S. Huang, G. Dissanayake, "World Scientific," Simultaneous localization and mapping -- exactly sparse information filters, 2011.
[14] 	I.L. MacDonald, and W. Zucchini, " Hidden Marko and other Models for Discrete- valued Time Series," London: Chapman and Hall, 1997.
[15] 	Doucet, A., J.F.G. de Freitas, and N.J. Gordon (eds.), "Sequential Monte Carlo Methods in Practice," New York: Springer Verlog, 2001.
[16] 	S. Hutchinson, G.D. Hager, & P.I. Corke, "A Tutorial on Visual Servo Control, " IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[17] 	L. Sciavicco, and B. Siciliano,"McGraw-Hill," Modeling and Control of Robot Manipulators, 1996.
[18] 	Bhd., Johor, " HC-SR04 User’s Manual, "Cytron Technologies Sdn. Malaysia, 2013.
[19] 	Arduino Nano 3.0 User’s Manual, Creative Commons.
[20] 	3DR Radio quick start guide, 3D Robotics, Inc, 2013.
[21] 	馮盈捷，使用尺度與方向不同特徵建立機器人視覺式SLAM知稀疏與續存性地圖，淡江大學機械與機電工程學系碩士班碩士論文，2011
[22] 	林冠瑜，使用低階攝影機實現機器人視覺式SLAM，淡江大學機械與機電工程學系碩士論文，2012
[23] 	Y.T. Wang, and G.Y. Lin, Improvement of Speeded-Up Robust Features for Robot Visual Simultaneous Localization and Mapping, Robotica, Vol.32, no.4, pp.533-549, 2014.
[24] 	G. Shakhnarovich, T. Darrell, and P. Indyk, "Nearest-neighbor methods in learning and vision," MIT Press, 2005.
[25] 	L.A. Zadeh, "Fuzzy sets", Information and Control 8 (3): 338–353, 1965.
[26] 	W.-J. Wang and L. Luoh, "Simple computation for the defuzzifications of center of sum and center of gravity," J. Intell. Fuzzy Syst., vol. 9, pp. 53-59, 2000.
[27] 	洪敦彥，基於擴張型卡爾曼過濾器的機器人視覺式同時定位建圖與移動物體追蹤，淡江大學機械與機電工程學系碩士班碩士論文，2010.
[28] 	邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士班碩士論文，2011.