本研究使用微軟Kinect感測器實現機器人同時定位與建圖、以及移動物體追蹤等任務。Kinect可以感測RGB彩色影像與影像深度(D)，提供影像特徵三維座標初始化所需的訊息。研究議題包括：發展Kinect感測器校準的程序；應用Kinect感測器在未知環境中，執行同時定位與建圖任務；規劃線上物件模型建立的程序，使用物件模型輔助移動物體的偵測、辨識、與追蹤。

This thesis presents an algorithm of moving object detection and tracking for robot concurrently localization, mapping and moving object tracking in dynamic environment. Kinect can capture RGB color image and image depth (D) to provide the information of three-dimensional coordinates for initializing image features. Research topics in this study include: calibration of Kinect RGB and D sensors; application of Kinect sensors in an unknown environment to implement the tasks of simultaneous localization and mapping; development of on-line object model for moving objects detection, identification, and tracking.

目錄

	摘要	Ⅰ
目錄	Ⅱ
第1章 序論	1
	1.1研究動機與目的	1
1.2文獻探討	1   
1.3 研究範圍	2
1.4 系統說明	2
第2章EKF SLAM	3
2.1擴張型卡爾曼過濾器	3
2.2狀態運動模型	3
2.3靜態地標與移動物件	4
2.4單眼視覺量測模型	6
第3章 RGB-D感測器	9
3.1微軟Kinect感測器	9
3.2影像校準	9
3.3 RGB與IR影像歪斜校準	12
3.4地標初始化	13
第4章 測驗結果與分析	14
4.1 PC-based控制器	14
4.2 Ground truth	14
4.3 Robot SLAM	17
第5章 物件模型建立與辨識	20
5.1 物件模型建立	21
5.2 建模的特徵管理	24

5.3物件辨識	24
5.4物件發生位置搜尋與物件重現	27
第6章 物件模型輔助移動物體追蹤	31
6.1靜止攝影機偵測動態特徵	31
6.2移動攝影機偵測動態特徵	31
6.3移動特徵點的追蹤	33
6.4以物件模型追蹤移動物體	34
6.5以物件模型輔助移動物體的量測	35
第7章 移動物體追蹤實測結果與分析	37
7.1使用特徵點法與物件模型方法追蹤移動物體(攝影機固定)	37
7.2使用特徵點法與物件模型方法追蹤移動物體(攝影機移動)	42
第8章 研究成果與討論	47
8.1研究成果	47
8.2未來研究方向	47
第9章 參考文獻	48
第10章 附錄A	50

圖目錄

圖2.1透視投影法示意圖	8
圖2.2左攝影機與地標位置示意圖	8
圖2.3左攝影機與地標位置示意圖	8
圖3.1 Xbox 360 Kinect感測器	9
圖3.2 matlab計算結果之像素座標圖	11
圖3.3(a) RGB影像	12
圖3.3(b)深度影像	12
圖3.3(c) IR影像	12
圖3.4(a)原RGB影像	13
圖3.4(b)原IR影像	13
圖3.4(c)校準後RGB影像	13
圖4.1筆記型電腦	14
圖4.2地面實況軌跡	15
圖4.3第100張圖像	15
圖4.4第690張圖像	16
圖4.5第1200張圖像	16
圖4.6第1690張圖像	16
圖4.7第2140張圖像	16
圖4.8第3710張圖像	17
圖4.9第4825張圖像	17
圖4.10第10張圖像	18
圖4.11第800張圖像	18
圖4.12第1500張圖像	18
圖4.13第2594張圖像	18
圖4.14 地圖地標數量與取樣頻率	19
圖4.15 在XYZ軸估測標準差	19
圖5.1 物件模型訓練流程	23
圖5.2(a)原始影像	23

圖5.2 (b)訓練影像	23
圖5.2 (c) k-mean分群成4群	24
圖5.2 (d) 空間發生分佈	24
圖5.3 物件辨識流程	27
圖5.4 (a)偵測測試影像的特徵	27
圖5.4 (b)投票空間	27
圖5.4 (c)局部放大	27
圖5.4 (d)相對位置計算	27
圖5.5 (a) x0~x7於空間中	30
圖5.5 (b)mean-shift vector	30
圖5.5 (c)均值移動	30
圖5.6 物件中心搜尋流程	30
圖5.7 (a)物件重現	30
圖5.7 (b)框住物件	30
圖6.1 攝影機靜止時偵測動態物體示意圖	31
圖6.2 本質矩陣與極線的概念圖	33
圖6.3 移動物體上特徵點追蹤的範例	34
圖6.4 物件模型追蹤的範例	35
圖6.5 以物件模型輔助移動物體的量測	36
圖7.1 解說圖	37
圖7.2 0th影像：系統啟動	38
圖7.3 8th影像：建立地圖	38
圖7.4 132th影像：動態特徵偵測	39
圖7.5 136th影像：物件模型辨識與量測情形	39
圖7.6 158th影像：持續追蹤物件元件	40
圖7.7 186th影像：持續追蹤物件元件	40
圖7.8 202th影像：持續追蹤物件元件	41
圖7.9 226th影像：持續追蹤物件元件	41

圖7.10 0th影像：系統啟動	42

圖7.11 19th影像：建立地圖	43
圖7.12 272th影像：建立地圖	43
圖7.13 280th影像：線上物件模型建立與初始化物件元件狀態	44
圖7.14 329th影像：持續追蹤物件元件	44
圖7.15 399th影像：持續追蹤物件元件	45
圖7.16 444th影像：持續追蹤物件元件	45
圖7.17 484th影像：持續追蹤物件元件	46
表目錄

表3.1 Kinect規格表	9
表3.2攝影機內部參數	11
表3.3影像修正模型參數	11
表3.4求解的雙線性模型之係數	12
表4.1筆記型電腦規格表	14
表4.2 地面實況和估計值	15

參考文獻
Lindeberg, T., 1998, Feature detection with automatic scale selection, International Journal of Computer Vision, vol.30, no.2, pp79-116.
H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, “SURF: Speeded-Up Robust Features”, Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.Ballard, D. H., 1981, “Generalizing the hough transform to detect arbitrary shapes”, Pattern Recognition, vol.13, no.2, pp.11	1-122.
Leibe, B., A. Leonardis, & B. Schiele, 2008, “Robust Object Detection with Interleaved Categorization and Segmentation”, International Journal of Computer Vision, vol.77, no.1-3, pp. 259-289.
Leibe, B., K. Schindler, N. Cornelis, and L. van Gool, 2008, Coupled Detection and Tracking from Static Cameras and Moving Vehicles, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 10, pp. 1683-1698.
Ess, A., B. Leibe, K. Schindler, and L. van Gool, 2009, Robust Multiperson Tracking from a Mobile Platform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.31, no.10, pp.1831-1846.
Breitenstein, M.D., F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool, 2011, Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no.9, pp.1820-1833.
陳國瑋，使用線上稀疏呈現的物件模型進行機器人並行追蹤與建圖，淡江大學機械與機電工程學系碩士論文，2012。
Heikkila, J., and O. Silven, A Four-step Camera Calibration Procedure with Implicit Image Correction, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.1106-1112, 1997.
Heikkila, J., Geometric camera calibration using circular control points, Proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.10, pp.580-593, 2000.
黃逸展，運用移動攝影機於移動影像特徵之偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2013。
A.J. Davison, I.D. Reid, N.D. Molton and O. Stasse, “MonoSLAM: Real Time Single Camera SLAM”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007
Blom, H., & Y. Bar-Shalom, 1988, The interacting multiple-model algorithm for systems with Markovian switching coefficients, IEEE Transactions on Automatic Control, vol.33, pp.780-783.
S. Hutchinson, G.D. Hager and P.I. Corke, “A Tutorial on Visual Servo Control”, IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
D. Comaniciu and P. Meer (2002), “Mean Shift: A Robust Approach Toward Feature Space Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence vol.24(5), pp.
603-619.
J. MacQueen (1967), “Some Methods for Classification and Analysis of Multivariate Observations”, in Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability, pp. 281-297.
OpenCV,Intel,website: http://opencv.willowgarage.com/wiki/. (2012)
邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
Longuet-Higgins, H.C., 1981, A computer algorithm for reconstructing a scene from two projections, Nature, vol.293, pp.133-135.
Luong, Q.T., and O.D. Faugeras, 1996, The Fundamental Matrix: Theory, Algorithms, and Stability Analysis, International Journal of Computer Vision, 17(1), pp.43-75.