系統識別號 | U0002-0308201619273400 |
---|---|
DOI | 10.6846/TKU.2016.00108 |
論文名稱(中文) | 視覺感測與慣性量測融合於同時定位與建圖 |
論文名稱(英文) | Fusion of Inertial Measurement and Visual Sensor for Simultaneous Localization and Mapping |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 機械與機電工程學系碩士班 |
系所名稱(英文) | Department of Mechanical and Electro-Mechanical Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 104 |
學期 | 2 |
出版年 | 105 |
研究生(中文) | 吳皇毅 |
研究生(英文) | Huang-Yi Wu |
學號 | 604370055 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2016-07-06 |
論文頁數 | 59頁 |
口試委員 |
指導教授
-
孫崇訓(chsun@mail.tku.edu.tw)
委員 - 楊智旭(096034@mail.tku.edu.tw) 委員 - 邱智煇(chchiu@ntou.edu.tw) |
關鍵字(中) |
單眼攝影機 慣性量測元件 視覺式同時定位與建圖 單眼視覺估測初始化 |
關鍵字(英) |
Monocular vision Inertial measurement unit Simultaneous Localization and mapping(SLAM) Monocular SLAM initialization. |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本論文探討慣性量測元件輔助單眼視覺同時定位與建圖的議題。本論文使用加速強健特徵(Speed-Up Robust Feature, SURF)演算法偵測並描述特徵點,再以反深度參數化方法描述地標點位置,並利用擴張型卡爾曼濾波器(extended Kalman filter, EKF)估測攝影機及地標點狀態。使用慣性量測元件的位移可以推測出尺度基準,並能以此初始化單眼視覺估測,並透過實驗證實慣性量測元件能使單眼視覺同時定位與建圖成功初始化。 |
英文摘要 |
This study investigates the issues of inertial measurement unit (IMU) assisted monocular simultaneous localization and mapping (SLAM). The speeded-up robust features (SURF) algorithm is used for interest point detection and description. The positions of environment landmarks are represented by inverse depth parameterization method. The positions of camera and landmarks can be estimated by using the extended Kalman filter (EKF). The map scale for monocular SLAM initialization can be estimated by the displacement of IMU. The experiment results demonstrate that the IMU successfully initialize monocular SLAM. |
第三語言摘要 | |
論文目次 |
目錄 摘要 Ⅰ 目錄 III 第1章 緒論 1 1.1研究動機與目的 1 1.2文獻探討 2 1.3研究範圍 2 第2章 SLAM系統流程與架構 3 2.1系統流程 3 2.2實驗設備 4 2.2.1慣性量測模組 4 第3章 單眼視覺SLAM 7 3.1影像量測資訊 7 3.1.1 SURF介紹及主要架構 7 3.1.2 SURF偵測 8 3.1.3 SURF描述 10 3.1.4 SURF比對 11 3.2單眼視覺量測 11 3.2.1攝影機成像 12 3.2.2反深度特徵狀態 14 3.2.3地標點初始化 15 3.2.4線性指標 16 3.3 EKF SLAM 19 3.3.1 EKF主要方程式 19 3.3.2 EKF SLAM狀態向量 20 3.3.3攝影機狀態預測 22 3.3.4先驗共變異數矩陣 23 3.3.5地標點預測 24 3.3.6地標點量測 25 3.3.7卡爾曼增益值 25 3.3.8先驗共變異數矩陣 26 3.4尺度基準 26 第4章 尺度基準及地標管理策略 27 4.1尺度基準取得 27 4.2慣性量測元件取得位移 28 4.2.1慣性量測元件校準比對 29 4.2.2慣性量測元件測試 29 4.2.3位移實驗 30 4.3位移實驗 30 4.3起始深度實驗 34 4.5地標管理策略 35 4.6資料關聯程序 35 4.6.1搜尋視窗 36 4.6.2多組描述向量 36 4.7刪除地圖地標點 37 4.8新增地圖地標點 37 第5章 實驗結果 39 5.1攝影機校準與影像修正 39 5.2慣性量測啟動模式實驗說明 40 5.2.1範例一、地面基準 43 5.2.2範例二、室內環境繞行 46 5.3本章節論 52 第6章 研究成果與討論 53 6.1研究成果 53 6.2未來研究方向 53 參考文獻 54 附錄A Jacobian矩陣 55 圖目錄 圖2.1單眼EKF SALM流程 3 圖2.2尺度基準獲得流程 4 圖2.3羅技C310網路攝影機 5 圖2.4 MPU-6050 5 圖2.5 Arduino UNO 6 圖3.1特徵點範例 7 圖3.2 SURF大致流程 7 圖3.3積分影像 8 圖3.4盒子濾波器 9 圖3.5音階層數與盒子濾波器尺寸關係圖 9 圖3.6非最大值抑制示意圖 10 圖3.7 Haar小波濾波器 11 圖3.8主方向角 11 圖3.9描述向量 11 圖3.10透視投影法式意圖 12 圖3.11攝影機與地標點三維座標關係 13 圖3.12攝影機坐標系與世界坐標系關係 13 圖3.13地標點初始化示意圖及世界坐標系的視線向量 14 圖3.14攝影機坐標系視線向量 15 圖3.15實際深度到影像平面關係 17 圖3.16 EKF流程圖 20 圖4.1標準立體視覺幾何結構 28 圖4.2慣性量測元件校準流程圖 29 圖4.3加速度濾波流程圖 30 圖4.4移動速度與位置影響實驗結果 31 圖4.5(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 32 圖4.6(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 32 圖4.7(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 33 圖4.8(a)濾波前加速度,(b)濾波後加速度,(a)速度,(b)位移 34 圖4.9(a)移動前影像,(b)移動後影像 35 圖4.10(a)移動前影像,(b)移動後影像 35 圖5.1影像校準與影像修正結果 40 圖5.2實驗感測器架構 41 圖5.3人機介面 41 圖5.4處理後影像顯示圖 42 圖5.5 Matlab地圖建立顯示圖 42 圖5.6地面基準實驗環境 43 圖5.7純單眼地面基準實驗結果 44 圖5.8慣性量測版地面基準結果 45 圖5.9位移與誤差關係圖 45 圖5.10室內環境繞行實驗場景 47 圖5.11 (a)1th影像:慣性量測系統啟動 47 圖5.11 (b)150th影像:攝影機移動結束,準備計算地標點深度 48 圖5.11 (c)160th影像:獲得尺度基準,並開始EKF SLAM 48 圖5.11 (d)270th影像:將攝影機移動回原點 49 圖5.11 (e)1930th影像:第一次右轉完成 49 圖5.11 (f)3060th影像:第二次右轉完成 50 圖5.11 (g)3790th影像:準備完成第三次右轉 50 圖5.11 (h)3840th影像:由新獲得的地標點,更新地圖 51 圖5.11 (i)4330th影像:攝影機即將觀察到之前地標點 51 圖5.11 (j)4340th影像:攝影機關聯到之前地標點,並修正地圖 52 圖5.11 (k)4440th影像:攝影機移動回原點 52 表目錄 表4.1 MPU-6050靜止平放基準數據 28 表4.2 MPU-6050校準前後比較 29 表5.1攝影機內部參數 39 表5.2攝影機修正模型參數 39 表5.3純單眼地面基準實驗數據 44 表5.4慣性量測版地面基準實驗數據 45 |
參考文獻 |
[1] R. Smith, M. Self, and P. Cheeseman, “Estimating Uncertain Spatial Relationships in Robotics,” Autonomous Robot Vehicles, Springer-Verlog, pp.167-193, 1990. [2] J. Civera, A.J. Davison and J.M.M. Montiel, “Inverse Depth Parametrization for Monocular SLAM,” IEEE Trans. Robot., vol.24, no.5, pp.932-945, 2008. [3] J. Sola, “Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach,” Ph.D. dissertation, Laboratoire d'analyse et d'architectures des systems (LAAS), Toulouse, 2007. [4] 陳庭瑋,"飛行機器人單視覺式定位與建圖之影像深度初始化與模糊資料關聯",淡江大學機械與機電工程學系碩士班碩士論文,2014 [5] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool,“Speeded-up robust features (SURF),”Computer Vision and Image Understanding (CVIU), vol.110, pp.346-359, 2008. [6] P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.511-518, 2001. [7] G. Welch and G. Bishop, “An introduction to the Kalman filter,” Department of Computer Sci., University of North Carolina, 2000. [8] G. Nützi, S. Weiss, D. Scaramuzza, and R. Siegwart, “Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM,” Journal of Intelligent & Robotic Systems, vol. 61, pp. 287-299, 2011. [9] 馮盈捷,"使用尺度與方向不同特徵建立機器人視覺式SLAM知稀疏與續存性地圖",淡江大學機械與機電工程學系碩士班碩士論文,2011 [10] 洪敦彥,"基於擴張型卡爾曼過濾器的機器人視覺式同時定位建圖與移動物體追蹤",淡江大學機械與機電工程學系碩士班碩士論文,2010. [11] 邱明璋,"基於極線限制條件之單眼視覺式移動物體偵測與追蹤",淡江大學機械與機電工程學系碩士班碩士論文,2011. [12] J.Y.Bouguet, Camera Calibration Toolbox for Matlab, http://www.vision.caltech,edu/bouguetj/calib_doc/ [Accessed 2016 May 13]. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信