淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-2508201411371800
中文論文名稱 飛行機器人單視覺式定位與建圖之影像深度初始化與模糊資料關聯
英文論文名稱 Image Depth Initialization and Fuzzy Data Association for Aerial Robot Monocular Visual Localization and Mapping
校院名稱 淡江大學
系所名稱(中) 機械與機電工程學系碩士班
系所名稱(英) Department of Mechanical and Electro-Mechanical Engineering
學年度 102
學期 2
出版年 103
研究生中文姓名 陳庭瑋
研究生英文姓名 Ting-Wei Chen
電子信箱 akhibara_moe@hotmail.com
學號 601370371
學位類別 碩士
語文別 中文
口試日期 2014-07-11
論文頁數 81頁
口試委員 指導教授-王銀添
委員-孫崇訓
委員-許陳艦
中文關鍵字 視覺式同時定位與建圖  影像深度初始化  資料關聯  地圖管理 
英文關鍵字 Visual simultaneous localization and mapping (vSLAM)  image depth initialization  data association  map management. 
學科別分類 學科別應用科學機械工程
中文摘要 本論文探討視覺式感測器輔助飛行機器人巡航的議題,主要的任務是輔助飛行機器人進行定位與建立環境地圖,並且應用在全球定位系統無法順利運作的環境之中。當飛行機器人在環境中巡航時,視覺式感測器可以提供機器人狀態估測與建立環境地圖所需的量測訊息。考量飛行機器人的承載能力,本論文使用單顆攝影機,並且將影像以無線方式傳送到PC-based控制器進行處理。狀態估測器方面,使用擴張型卡爾曼過濾器,遞迴地預測與估測飛行機器人與環境靜態物件的狀態。單視覺影像特徵方面,使用反深度參數化方法描述影像深度,實現非延遲影像特徵初始化的程序。本論文有兩個主要研究成果,第一,針對單視覺影像深度估測的問題,使用超音波感測器提供一維的量測訊息,做為特徵座標初始化的依據。第二,規劃模糊資料關聯的程序,改善特徵地圖管理的效能。本研究在PC-based控制器內建立所需的發展環境,以Visual C++程式語言整合視覺感測器、影像處理、與狀態估測器。整合的系統應用於執行飛行機器人的同時定位與建圖之任務。
英文摘要 This study investigates the issues of visual sensor assisted aerial robot navigation. The major objectives are to provide the aerial robot the capabilities of localization and mapping in global positioning system (GPS) denied environments. When the aerial robot navigates in a GPS-denied environment, the visual sensor could provide the measurement for robot state estimation and environmental mapping. Considering the carrying capacity of the aerial robot, single camera is used in this study and the image is transmitted to PC-based controller for image processing using a radio frequency module. The extended Kalman filter is used as the state estimator to recursively predict and update the states of the aerial robot and the environment landmarks. For the monocular vision sensor, the image depth is represented by using the inverse depth parameterization method and the image features initialization is achieved by a non-delayed procedure. The results of this study are twofold. First, an ultrasonic sensor is used to provide one-dimensional distance measurement and solve the image depth estimation problem of monocular vision. Second, a novel data association procedure is designed based on fuzzy system in order to improve the performance of map management. The software program of the robot navigation system is developed in a PC-based controller using Microsoft Visual Studio C++. The navigation system integrates the sensor inputs, image processing, and state estimation. The resultant system is used to perform the tasks of simultaneous localization and mapping for aerial robots.
論文目次 摘要 Ⅰ
目錄 Ⅱ
圖目錄 V
表目錄 IX
第1章 序論 1
1.1 研究動機與研究問題 2
1.2 文獻回顧及探討 1
1.3 研究範圍 3
1.3.1 飛行機器人巡航系統 3
1.3.2 單視覺影像深度估測 3
1.3.3 環境地圖建立與管理 3
1.3. 4 飛行機器人單視覺定位與建圖 4
第2章 系統說明 5
2.1 飛行機器人系統 5
2.2 視覺式感測系統 6
2.3 飛行器的操控 9
第3章 單眼視覺式EKF SLAM 12
3.1 EKF SLAM 12
3.2 攝影機、靜止物體的運動模型 13
3.3 視覺量測模型 14
第4章 單眼視覺量測 17
4.1 單眼視覺影像特徵初始化 17
4.2 地圖管理策略 21
4.3 超音波距離感測模組 21
4.3.1 超音波模組接線 22
4.3.2 Arduino Nano程式 23
4.3.3 PC接收端程式 24
4.3.4量測測試範例 26
4.3.5超音波距離量測啟動程序 27
4.4 單攝影機SLAM範例-平移 27
第5章 視覺式建圖與管理 32
5.1資料關聯程序 32
5.2 漸層式資料關聯程序 33
5.3 模糊資料關聯程序 33
5.3.1 輸出入變數模糊化 34
5.3.2 模糊推論引擎 36
5.3.3 解模糊化 37
5.4 多組特徵描述向量 37
5.5 刪除地圖地標 37
5.6 新增地圖地標 38
5.6.1 動態Hessian值調整機制 38
5.7 更新地圖資料 39
第6章 視覺式同時定位與建圖測試 40
6.1 攝影機校準與影像修正 40
6.2 單攝影機SLAM範例–已知特徵初始化單攝影機SLAM 41
6.3 單攝影機SLAM範例–超音波初始化單攝影機SLAM 44
6.4 地面基準 47
6.5 單攝影機SLAM範例-繞圈 定值資料關聯 51
6.6 單攝影機SLAM範例-繞圈 漸層式資料關聯 54
6.7 單攝影機SLAM範例-繞圈 模糊資料關聯 57
6.8 資料關聯的效能比較 60
第7章 飛行機器人同時定位與建圖測試 62
7.1飛行機器人測試 62
7.2 飛行機器人測試 直線I 66
7.3 飛行機器人測試 直線II 69
第8章 研究成果與討論 74
8.1 研究成果 74
8.2 未來研究方向 74
參考文獻 75
附錄A Jacobian矩陣 77
A.1 EKF MonoSLAMMOT:量測矩陣 細部推導 77
A.2 機器人EKF SLAM:特徵初始化J矩陣的細部推導 79

圖目錄

圖2.1 四旋翼飛行機器人 5
圖2.2 筆記型電腦 5
圖2.3 雲台機構與攝影機 7
圖2.4 旋翼機前視型單眼攝影機 7
圖2.5 TX51W發訊器 8
圖2.6 RC805影像接收模組 8
圖2.7 VideoMate C200 Pro影像擷取卡 8
圖2.8 四旋翼飛行器座標 9
圖2.9 Futaba 10CG射頻遙控發射器 10
圖2.10 日本手控制器基本控制項 10
圖2.11 Futaba R6208SB射頻遙控接收器 10
圖2.12 飛行模擬畫面 11
圖3.1 透視投影法示意圖 16
圖3.2 攝影機與特徵點三維示意圖 16
圖4.1 左圖為角度 與 示意圖;右圖為角度 與 示意圖 18
圖4.2 視差角 示意圖 20
圖4.3 對應求算距離 21
圖4.4 HC-SR04超音波感測器 22
圖4.5 Arduino Nano 22
圖4.6 3Dr Radio Telemetry 22
圖4.7 Arduino接線圖 23
圖4.8 Arduino Nano擷取超音波距離的範例程式 24
圖4.9 PC端Serial Port範例程式 25
圖4.10 靜置超音波感測器量測數據 26
圖4.11 移動超音波感測器量測數據 27
圖4.12 量測距離相對時間圖 27
圖 4.13第0幀圖像 28
圖4.14 第140幀圖像 28
圖4.15 第141幀圖像 29
圖4.16 第144幀圖像 29
圖4.17 第294幀圖像 29
圖4.18 第680幀圖像 30
圖4.19 第1100幀圖像 30
圖4.20 第1500幀圖像 30
圖4.21 地圖大小與取樣頻率 31
圖 4.22攝影機狀態估測標準差 31
圖5.1地圖地標 33
圖5.2 動態搜尋視窗 33
圖5.3 攝影機速度為0.328128m/s,加速度為0.566816m/s2,搜索視窗19x19像素 34
圖5.4 攝影機速度為0.414764m/s,加速度為2.14075m/s2,搜索視窗19x19像素 35
圖5.5 攝影機速度為0.414764m/s,加速度為2.14075m/s2,搜索視窗39x39像素 35
圖5.6 攝影機速度為0.830335m/s,加速度為4.728616m/s2,搜索視窗49x49像素 35
圖5.7速度歸屬函數圖 35
圖5.8加速度歸屬函數圖 36
圖5.9輸出視窗大小歸屬函數圖 36
圖6.1影像校準與影像修正結果 40
圖6.2第0幀圖像 41
圖6.3第860幀圖像 41
圖6.4第1349幀圖像 42
圖6.5第1923幀圖像 42
圖6.6第2356幀圖像 42
圖6.7第3520幀圖像 43
圖6.8地圖大小與取樣頻率 43
圖6.9攝影機狀態估測標準差 43
圖6.10第0幀圖像 44
圖6.11第860幀圖像 44
圖6.12第1349幀圖像 45
圖6.13第1923幀圖像 45
圖6.14第2356幀圖像 45
圖6.15第3520幀圖像 46
圖6.16地圖大小與取樣頻率 46
圖6.17攝影機狀態估測標準差 46
圖6.18地面實況軌跡 47
圖6.19第0幀圖像 48
圖6.20第1000幀圖像 48
圖6.21第1700幀圖像 48
圖6.22第2440幀圖像 49
圖6.23第3090幀圖像 49
圖6.24第5250幀圖像 49
圖6.25第6780幀圖像 50
圖6.26第7950幀圖像 50
圖6.27第0幀圖像 51
圖6.28第0750幀圖像 51
圖6.29第1500幀圖像 52
圖6.30第2400幀圖像 52
圖6.31第2600幀圖像 52
圖6.32第2704幀圖像 53
圖6.33地圖大小與取樣頻率 53
圖6.34攝影機狀態估測標準差 53
圖6.35第0幀圖像 54
圖6.36第0750幀圖像 54
圖6.37第1500幀圖像 55
圖6.38第2400幀圖像 55
圖6.39第2600幀圖像 55
圖6.40第2870幀圖像 56
圖6.41第3540幀圖像 56
圖6.42地圖大小與取樣頻率 56
圖6.43攝影機狀態估測標準差 57
圖6.44第0幀圖像 57
圖6.45第0750幀圖像 58
圖6.46第1500幀圖像 58
圖6.47第2400幀圖像 58
圖6.48第2600幀圖像 59
圖6.49第2870幀圖像 59
圖6.50第3540幀圖像 59
圖6.51地圖大小與取樣頻率 60
圖6.52攝影機狀態估測標準差 60
圖6.53特徵點搜索範圍 61
圖7.1實驗場景 62
圖7.2第0幀圖像 63
圖7.3第396幀圖像 63
圖7.4第498幀圖像 63
圖7.5第611幀圖像 64
圖7.6第925幀圖像 64
圖7.7第1100幀圖像 64
圖7.8第1293幀圖像 65
圖7.9第1650幀圖像 65
圖7.10地圖大小與取樣頻率 65
圖7.11攝影機狀態估測標準差 66
圖7.12第0幀圖像 66
圖7.13第814幀圖像 67
圖7.14第1499幀圖像 67
圖7.15第1964幀圖像 67
圖7.16地圖大小與取樣頻率 68
圖7.17攝影機狀態估測標準差 68
圖7.18實驗場景 69
圖7.19第0幀圖像 69
圖7.20第450幀圖像 70
圖7.21第900幀圖像 70
圖7.22第1094幀圖像 70
圖7.23第1397幀圖像 71
圖7.24第2056幀圖像 71
圖7.25第2535幀圖像 71
圖7.26第3001幀圖像 72
圖7.27第3120幀圖像 72
圖7.28地圖大小與取樣頻率 72
圖7.29攝影機狀態估測標準差 73


表目錄

表2.1 四旋翼飛行機器人 6
表2.2 筆記型電腦規格表 6
表2.3 雲台機構與攝影機 7
表2.4 攝影機規格表 7
表2.5 TX51W發訊器規格表 8
表2.6 四旋翼機之姿態及位移的控制項 10
表4.1 HC-SR04超音波感測器 22
表4.2 Arduino Nano 22
表4.3 3Dr Radio Telemetry 22
表5.1 模糊規則庫 36
表6.1攝影機內部參數 40
表6.2攝影機修正模型參數 40
表6.3地面實況與估測值 47
表6.4特徵總數量比較 61
參考文獻 [1] R. Smith, M. Self, and P. Cheeseman, "Estimating Uncertain Spatial Relationships in Robotics,"in Autonomous Robot Vehicles, I.J. Cox and G.T. Wilfong, Eds., Springer-Verlog, pp.167-193, 1990.
[2] A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, "MonoSLAM Real Time Single Camera SLAM," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[3] J. Civera, A.J. Davison and J.M.M. Montiel, "Inverse Depth Parametrization for Monocular SLAM," IEEE Transactions on Robotics, vol.24, no.5, pp.932-945, 2008.
[4] J. Sola," Institut National Polytechnique de Toulouse," Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach, Ph.D. dissertation, 2007.
[5] G. Nutzi, S. Weiss, D. Scaramuzza, and R. Siegwart, "Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM," Journal of Intelligent & Robotic Systems, vol. 61, pp. 287-299, 2011.
[6] J. Civera, A. J. Davison, and J. Montiel, "Dimensionless monocular SLAM," in Pattern Recognition and Image Analysis, ed: Springer, pp. 412-419, 2007.
[7] T. Lindeberg, "Feature detection with automatic scale selection," International Journal of Computer Vision, vol.30, no.2, pp79-116, 1998.
[8] K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir, & L. Van Gool, "A comparison of affine region detectors," International Journal of Computer Vision, Vol. 65(1-2), pp.43-72, 2005.
[9] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, "SURF: speeded up robust features," Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[10] P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features, " In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.511-518, 2001.
[11] G. Welch and G. Bishop, "An introduction to the Kalman filter," TR95-041, Department of Computer Science, University of North Carolina, 2006.
[12] S. Julier and J.K. Uhlmann, "Unscented Filtering and Nonlinear Estimation," Proceedings of the IEEE, Vol.92, no.3, pp.401-422, 2004.
[13] Z. Wang, S. Huang, G. Dissanayake, "World Scientific," Simultaneous localization and mapping -- exactly sparse information filters, 2011.
[14] I.L. MacDonald, and W. Zucchini, " Hidden Marko and other Models for Discrete- valued Time Series," London: Chapman and Hall, 1997.
[15] Doucet, A., J.F.G. de Freitas, and N.J. Gordon (eds.), "Sequential Monte Carlo Methods in Practice," New York: Springer Verlog, 2001.
[16] S. Hutchinson, G.D. Hager, & P.I. Corke, "A Tutorial on Visual Servo Control, " IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[17] L. Sciavicco, and B. Siciliano,"McGraw-Hill," Modeling and Control of Robot Manipulators, 1996.
[18] Bhd., Johor, " HC-SR04 User’s Manual, "Cytron Technologies Sdn. Malaysia, 2013.
[19] Arduino Nano 3.0 User’s Manual, Creative Commons.
[20] 3DR Radio quick start guide, 3D Robotics, Inc, 2013.
[21] 馮盈捷,使用尺度與方向不同特徵建立機器人視覺式SLAM知稀疏與續存性地圖,淡江大學機械與機電工程學系碩士班碩士論文,2011
[22] 林冠瑜,使用低階攝影機實現機器人視覺式SLAM,淡江大學機械與機電工程學系碩士論文,2012
[23] Y.T. Wang, and G.Y. Lin, Improvement of Speeded-Up Robust Features for Robot Visual Simultaneous Localization and Mapping, Robotica, Vol.32, no.4, pp.533-549, 2014.
[24] G. Shakhnarovich, T. Darrell, and P. Indyk, "Nearest-neighbor methods in learning and vision," MIT Press, 2005.
[25] L.A. Zadeh, "Fuzzy sets", Information and Control 8 (3): 338–353, 1965.
[26] W.-J. Wang and L. Luoh, "Simple computation for the defuzzifications of center of sum and center of gravity," J. Intell. Fuzzy Syst., vol. 9, pp. 53-59, 2000.
[27] 洪敦彥,基於擴張型卡爾曼過濾器的機器人視覺式同時定位建圖與移動物體追蹤,淡江大學機械與機電工程學系碩士班碩士論文,2010.
[28] 邱明璋,基於極線限制條件之單眼視覺式移動物體偵測與追蹤,淡江大學機械與機電工程學系碩士班碩士論文,2011.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2015-08-25公開。
  • 同意授權瀏覽/列印電子全文服務,於2015-08-25起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信