本論文探討慣性量測元件輔助單眼視覺同時定位與建圖的議題。本論文使用加速強健特徵(Speed-Up Robust Feature, SURF)演算法偵測並描述特徵點，再以反深度參數化方法描述地標點位置，並利用擴張型卡爾曼濾波器(extended Kalman filter, EKF)估測攝影機及地標點狀態。使用慣性量測元件的位移可以推測出尺度基準，並能以此初始化單眼視覺估測，並透過實驗證實慣性量測元件能使單眼視覺同時定位與建圖成功初始化。

This study investigates the issues of inertial measurement unit (IMU) assisted monocular simultaneous localization and mapping (SLAM). The speeded-up robust features (SURF) algorithm is used for interest point detection and description. The positions of environment landmarks are represented by inverse depth parameterization method. The positions of camera and landmarks can be estimated by using the extended Kalman filter (EKF). The map scale for monocular SLAM initialization can be estimated by the displacement of IMU. The experiment results demonstrate that the IMU successfully initialize monocular SLAM.

目錄

	摘要	Ⅰ
目錄	III
第1章 緒論	1
1.1研究動機與目的	1
1.2文獻探討		2
1.3研究範圍	2
第2章 SLAM系統流程與架構	3
2.1系統流程		3
2.2實驗設備	4
	2.2.1慣性量測模組	4
第3章 單眼視覺SLAM	7
3.1影像量測資訊	7
	3.1.1 SURF介紹及主要架構	7
	3.1.2 SURF偵測	8
	3.1.3 SURF描述	10
	3.1.4 SURF比對	11
3.2單眼視覺量測	11
	3.2.1攝影機成像	12
	3.2.2反深度特徵狀態	14
	3.2.3地標點初始化	15
	3.2.4線性指標	16
3.3 EKF SLAM	19
	3.3.1 EKF主要方程式	19
	3.3.2 EKF SLAM狀態向量	20
	3.3.3攝影機狀態預測	22
	3.3.4先驗共變異數矩陣	23
	3.3.5地標點預測	24
	3.3.6地標點量測	25
	3.3.7卡爾曼增益值	25
	3.3.8先驗共變異數矩陣	26
3.4尺度基準	26
第4章 尺度基準及地標管理策略	27
4.1尺度基準取得	27
4.2慣性量測元件取得位移	28
	4.2.1慣性量測元件校準比對	29
	4.2.2慣性量測元件測試	29
	4.2.3位移實驗	30
4.3位移實驗	30
4.3起始深度實驗	34
4.5地標管理策略	35
4.6資料關聯程序	35
	4.6.1搜尋視窗	36
	4.6.2多組描述向量	36
4.7刪除地圖地標點	37
4.8新增地圖地標點	37
第5章 實驗結果	39
5.1攝影機校準與影像修正	39
5.2慣性量測啟動模式實驗說明	40
	5.2.1範例一、地面基準	43
	5.2.2範例二、室內環境繞行	46
5.3本章節論	52
第6章 研究成果與討論	53
6.1研究成果	53
6.2未來研究方向	53
參考文獻	54
附錄A  Jacobian矩陣	55

圖目錄

圖2.1單眼EKF SALM流程	3
圖2.2尺度基準獲得流程	4
圖2.3羅技C310網路攝影機	5
圖2.4 MPU-6050	5
圖2.5 Arduino UNO	6
圖3.1特徵點範例	7
圖3.2 SURF大致流程	7
圖3.3積分影像	8
圖3.4盒子濾波器	9
圖3.5音階層數與盒子濾波器尺寸關係圖	9
圖3.6非最大值抑制示意圖	10
圖3.7 Haar小波濾波器	11
圖3.8主方向角	11
圖3.9描述向量	11
圖3.10透視投影法式意圖	12
圖3.11攝影機與地標點三維座標關係	13
圖3.12攝影機坐標系與世界坐標系關係	13
圖3.13地標點初始化示意圖及世界坐標系的視線向量 	14
圖3.14攝影機坐標系視線向量 	15
圖3.15實際深度到影像平面關係	17
圖3.16 EKF流程圖	20
圖4.1標準立體視覺幾何結構	28
圖4.2慣性量測元件校準流程圖	29
圖4.3加速度濾波流程圖	30
圖4.4移動速度與位置影響實驗結果	31
圖4.5(a)濾波前加速度，(b)濾波後加速度，(a)速度，(b)位移	32
圖4.6(a)濾波前加速度，(b)濾波後加速度，(a)速度，(b)位移	32
圖4.7(a)濾波前加速度，(b)濾波後加速度，(a)速度，(b)位移	33
圖4.8(a)濾波前加速度，(b)濾波後加速度，(a)速度，(b)位移	34
圖4.9(a)移動前影像，(b)移動後影像	35
圖4.10(a)移動前影像，(b)移動後影像	35
圖5.1影像校準與影像修正結果	40
圖5.2實驗感測器架構	41
圖5.3人機介面	41
圖5.4處理後影像顯示圖	42
圖5.5 Matlab地圖建立顯示圖	42
圖5.6地面基準實驗環境	43
圖5.7純單眼地面基準實驗結果	44
圖5.8慣性量測版地面基準結果	45
圖5.9位移與誤差關係圖	45
圖5.10室內環境繞行實驗場景	47
圖5.11 (a)1th影像：慣性量測系統啟動	47
圖5.11 (b)150th影像：攝影機移動結束，準備計算地標點深度	48
圖5.11 (c)160th影像：獲得尺度基準，並開始EKF SLAM	48
圖5.11 (d)270th影像：將攝影機移動回原點	49
圖5.11 (e)1930th影像：第一次右轉完成	49
圖5.11 (f)3060th影像：第二次右轉完成	50
圖5.11 (g)3790th影像：準備完成第三次右轉	50
圖5.11 (h)3840th影像：由新獲得的地標點，更新地圖	51
圖5.11 (i)4330th影像：攝影機即將觀察到之前地標點	51
圖5.11 (j)4340th影像：攝影機關聯到之前地標點，並修正地圖	52
圖5.11 (k)4440th影像：攝影機移動回原點	52


 
表目錄

表4.1 MPU-6050靜止平放基準數據	28
表4.2 MPU-6050校準前後比較	29
表5.1攝影機內部參數	39
表5.2攝影機修正模型參數	39
表5.3純單眼地面基準實驗數據	44
表5.4慣性量測版地面基準實驗數據	45

[1] 	R. Smith, M. Self, and P. Cheeseman, “Estimating Uncertain Spatial Relationships in Robotics,” Autonomous Robot Vehicles, Springer-Verlog, pp.167-193, 1990.
[2] 	J. Civera, A.J. Davison and J.M.M. Montiel, “Inverse Depth Parametrization for Monocular SLAM,” IEEE Trans. Robot., vol.24, no.5, pp.932-945, 2008.
[3] 	J. Sola, “Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach,” Ph.D. dissertation, Laboratoire d'analyse et d'architectures des systems (LAAS), Toulouse, 2007.
[4] 	陳庭瑋，"飛行機器人單視覺式定位與建圖之影像深度初始化與模糊資料關聯"，淡江大學機械與機電工程學系碩士班碩士論文，2014
[5] 	H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool,“Speeded-up robust features (SURF),”Computer Vision and Image Understanding (CVIU), vol.110, pp.346-359, 2008.
[6] 	P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.511-518, 2001.
[7] 	G. Welch and G. Bishop, “An introduction to the Kalman filter,” Department of Computer Sci., University of North Carolina, 2000.
[8] 	G. Nützi, S. Weiss, D. Scaramuzza, and R. Siegwart, “Fusion of IMU and Vision for Absolute Scale Estimation in Monocular SLAM,” Journal of Intelligent & Robotic Systems, vol. 61, pp. 287-299, 2011.
[9] 	馮盈捷，"使用尺度與方向不同特徵建立機器人視覺式SLAM知稀疏與續存性地圖"，淡江大學機械與機電工程學系碩士班碩士論文，2011
[10] 	洪敦彥，"基於擴張型卡爾曼過濾器的機器人視覺式同時定位建圖與移動物體追蹤"，淡江大學機械與機電工程學系碩士班碩士論文，2010.
[11] 	邱明璋，"基於極線限制條件之單眼視覺式移動物體偵測與追蹤"，淡江大學機械與機電工程學系碩士班碩士論文，2011.
[12] 	J.Y.Bouguet, Camera Calibration Toolbox for Matlab,
http://www.vision.caltech,edu/bouguetj/calib_doc/ [Accessed 2016 May 13].