淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


  查詢圖書館館藏目錄
系統識別號 U0002-0308201619273400
中文論文名稱 視覺感測與慣性量測融合於同時定位與建圖
英文論文名稱 Fusion of Inertial Measurement and Visual Sensor for Simultaneous Localization and Mapping
校院名稱 淡江大學
系所名稱(中) 機械與機電工程學系碩士班
系所名稱(英) Department of Mechanical and Electro-Mechanical Engineering
學年度 104
學期 2
出版年 105
研究生中文姓名 吳皇毅
研究生英文姓名 Huang-Yi Wu
學號 604370055
學位類別 碩士
語文別 中文
口試日期 2016-07-06
論文頁數 59頁
口試委員 指導教授-孫崇訓
委員-楊智旭
委員-邱智煇
中文關鍵字 單眼攝影機  慣性量測元件  視覺式同時定位與建圖  單眼視覺估測初始化 
英文關鍵字 Monocular vision  Inertial measurement unit  Simultaneous Localization and mapping(SLAM)  Monocular SLAM initialization. 
學科別分類 學科別應用科學機械工程
中文摘要 本論文探討慣性量測元件輔助單眼視覺同時定位與建圖的議題。本論文使用加速強健特徵(Speed-Up Robust Feature, SURF)演算法偵測並描述特徵點,再以反深度參數化方法描述地標點位置,並利用擴張型卡爾曼濾波器(extended Kalman filter, EKF)估測攝影機及地標點狀態。使用慣性量測元件的位移可以推測出尺度基準,並能以此初始化單眼視覺估測,並透過實驗證實慣性量測元件能使單眼視覺同時定位與建圖成功初始化。
英文摘要 This study investigates the issues of inertial measurement unit (IMU) assisted monocular simultaneous localization and mapping (SLAM). The speeded-up robust features (SURF) algorithm is used for interest point detection and description. The positions of environment landmarks are represented by inverse depth parameterization method. The positions of camera and landmarks can be estimated by using the extended Kalman filter (EKF). The map scale for monocular SLAM initialization can be estimated by the displacement of IMU. The experiment results demonstrate that the IMU successfully initialize monocular SLAM.
論文目次 目錄

摘要 Ⅰ
目錄 III
第1章 緒論 1
1.1研究動機與目的 1
1.2文獻探討 2
1.3研究範圍 2
第2章 SLAM系統流程與架構 3
2.1系統流程 3
2.2實驗設備 4
2.2.1慣性量測模組 4
第3章 單眼視覺SLAM 7
3.1影像量測資訊 7
3.1.1 SURF介紹及主要架構 7
3.1.2 SURF偵測 8
3.1.3 SURF描述 10
3.1.4 SURF比對 11
3.2單眼視覺量測 11
3.2.1攝影機成像 12
3.2.2反深度特徵狀態 14
3.2.3地標點初始化 15
3.2.4線性指標 16
3.3 EKF SLAM 19
3.3.1 EKF主要方程式 19
3.3.2 EKF SLAM狀態向量 20
3.3.3攝影機狀態預測 22
3.3.4先驗共變異數矩陣 23
3.3.5地標點預測 24
3.3.6地標點量測 25
3.3.7卡爾曼增益值 25
3.3.8先驗共變異數矩陣 26
3.4尺度基準 26
第4章 尺度基準及地標管理策略 27
4.1尺度基準取得 27
4.2慣性量測元件取得位移 28
4.2.1慣性量測元件校準比對 29
4.2.2慣性量測元件測試 29
4.2.3位移實驗 30
4.3位移實驗 30
4.3起始深度實驗 34
4.5地標管理策略 35
4.6資料關聯程序 35
4.6.1搜尋視窗 36
4.6.2多組描述向量 36
4.7刪除地圖地標點 37
4.8新增地圖地標點 37
第5章 實驗結果 39
5.1攝影機校準與影像修正 39
5.2慣性量測啟動模式實驗說明 40
5.2.1範例一、地面基準 43
5.2.2範例二、室內環境繞行 46
5.3本章節論 52
第6章 研究成果與討論 53
6.1研究成果 53
6.2未來研究方向 53
參考文獻 54
附錄A Jacobian矩陣 55

圖目錄

圖2.1單眼EKF SALM流程 3
圖2.2尺度基準獲得流程 4
圖2.3羅技C310網路攝影機 5
圖2.4 MPU-6050 5
圖2.5 Arduino UNO 6
圖3.1特徵點範例 7
圖3.2 SURF大致流程 7
圖3.3積分影像 8
圖3.4盒子濾波器 9
圖3.5音階層數與盒子濾波器尺寸關係圖 9
圖3.6非最大值抑制示意圖 10
圖3.7 Haar小波濾波器 11
圖3.8主方向角 11
圖3.9描述向量 11
圖3.10透視投影法式意圖 12
圖3.11攝影機與地標點三維座標關係 13
圖3.12攝影機坐標系與世界坐標系關係 13
圖3.13地標點初始化示意圖及世界坐標系的視線向量 14
圖3.14攝影機坐標系視線向量 15
圖3.15實際深度到影像平面關係 17
圖3.16 EKF流程圖 20
圖4.1標準立體視覺幾何結構 28
圖4.2慣性量測元件校準流程圖 29
圖4.3加速度濾波流程圖 30
圖4.4移動速度與位置影響實驗結果 31
圖4.5(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 32
圖4.6(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 32
圖4.7(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 33
圖4.8(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 34
圖4.9(a)移動前影像,(b)移動後影像 35
圖4.10(a)移動前影像,(b)移動後影像 35
圖5.1影像校準與影像修正結果 40
圖5.2實驗感測器架構 41
圖5.3人機介面 41
圖5.4處理後影像顯示圖 42
圖5.5 Matlab地圖建立顯示圖 42
圖5.6地面基準實驗環境 43
圖5.7純單眼地面基準實驗結果 44
圖5.8慣性量測版地面基準結果 45
圖5.9位移與誤差關係圖 45
圖5.10室內環境繞行實驗場景 47
圖5.11 (a)1th影像:慣性量測系統啟動 47
圖5.11 (b)150th影像:攝影機移動結束,準備計算地標點深度 48
圖5.11 (c)160th影像:獲得尺度基準,並開始EKF SLAM 48
圖5.11 (d)270th影像:將攝影機移動回原點 49
圖5.11 (e)1930th影像:第一次右轉完成 49
圖5.11 (f)3060th影像:第二次右轉完成 50
圖5.11 (g)3790th影像:準備完成第三次右轉 50
圖5.11 (h)3840th影像:由新獲得的地標點,更新地圖 51
圖5.11 (i)4330th影像:攝影機即將觀察到之前地標點 51
圖5.11 (j)4340th影像:攝影機關聯到之前地標點,並修正地圖 52
圖5.11 (k)4440th影像:攝影機移動回原點 52



表目錄

表4.1 MPU-6050靜止平放基準數據 28
表4.2 MPU-6050校準前後比較 29
表5.1攝影機內部參數 39
表5.2攝影機修正模型參數 39
表5.3純單眼地面基準實驗數據 44
表5.4慣性量測版地面基準實驗數據 45
參考文獻 [1] R. Smith, M. Self, and P. Cheeseman, “Estimating Uncertain Spatial Relationships in Robotics,” Autonomous Robot Vehicles, Springer-Verlog, pp.167-193, 1990.
[2] J. Civera, A.J. Davison and J.M.M. Montiel, “Inverse Depth Parametrization for Monocular SLAM,” IEEE Trans. Robot., vol.24, no.5, pp.932-945, 2008.
[3] J. Sola, “Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach,” Ph.D. dissertation, Laboratoire d'analyse et d'architectures des systems (LAAS), Toulouse, 2007.
[4] 陳庭瑋,"飛行機器人單視覺式定位與建圖之影像深度初始化與模糊資料關聯",淡江大學機械與機電工程學系碩士班碩士論文,2014
[5] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool,“Speeded-up robust features (SURF),”Computer Vision and Image Understanding (CVIU), vol.110, pp.346-359, 2008.
[6] P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.511-518, 2001.
[7] G. Welch and G. Bishop, “An introduction to the Kalman filter,” Department of Computer Sci., University of North Carolina, 2000.
[8] G. Nützi, S. Weiss, D. Scaramuzza, and R. Siegwart, “Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM,” Journal of Intelligent & Robotic Systems, vol. 61, pp. 287-299, 2011.
[9] 馮盈捷,"使用尺度與方向不同特徵建立機器人視覺式SLAM知稀疏與續存性地圖",淡江大學機械與機電工程學系碩士班碩士論文,2011
[10] 洪敦彥,"基於擴張型卡爾曼過濾器的機器人視覺式同時定位建圖與移動物體追蹤",淡江大學機械與機電工程學系碩士班碩士論文,2010.
[11] 邱明璋,"基於極線限制條件之單眼視覺式移動物體偵測與追蹤",淡江大學機械與機電工程學系碩士班碩士論文,2011.
[12] J.Y.Bouguet, Camera Calibration Toolbox for Matlab,
http://www.vision.caltech,edu/bouguetj/calib_doc/ [Accessed 2016 May 13].
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2016-08-09公開。
  • 同意授權瀏覽/列印電子全文服務,於2021-08-09起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2486 或 來信