本論文針對視覺式動態環境中同時定位、建圖與移動物體追蹤的研究議題，探討使用移動攝影機偵測與追蹤移動物體之任務。主要研究議題包括發展線上建立物件模型以及偵測與追蹤移動物體等演算法。偵測明顯的影像特徵點做為線上建模之訓練資料，以便建立稀疏呈現的物件模型。比對環境中的影像特徵與物件模型的元件，以辨識物體與搜尋物體的位置。發展的演算法再結合移動物體偵測、狀態估測方法、與視覺式感測等技術，完成以移動攝影機偵測與追蹤移動物體。整合的系統將可以應用在行動機器人、輪椅、汽車、與飛行機器人之上，執行動態環境中並行追蹤移動物體與建圖的任務。

This thesis presents an algorithm of moving object detection and tracking for robot concurrently localization, mapping and moving object tracking in dynamic environment. The major research topics include on-line object model construction as well as moving object detection and tracking. Apparent image features are detected and utilized as the training data for on-line constructing and sparse representing the object model. After the object model is constructed, the model elements are further matched with the image features obtained from the environment in order to recognize the object and search the object position in image and cartesian spaces. Furthermore, the developed algorithm is integrated with the methods of moving object detection, state estimation, and visual sensing to develop a system which is capable of tracking moving objects using moving camera. The detecting and tracking method developed in this thesis is capable of being applied in many systems such as mobile robot, wheelchair, car, and aerial robot to implement the tasks of parallel tracking and mapping in dynamic environments.

目錄
中文摘要	Ⅰ
英文摘要	Ⅱ
目錄	Ⅲ
圖目錄	Ⅴ
表目錄	XI
第一章 序論	1
1.1 研究動機	1
1.2 研究目的	1
1.3 論文架構	2
第二章 物件模型建立與辨識	3
2.1 物件模型建立	4
2.2 物件辨識	8
2.3 物件發生位置搜尋與物件位置還原	12
2.4 複雜背景的測試範例	16
第三章 視覺式移動物體的偵測與追蹤	19
3.1 擴張型卡爾曼過濾器狀態估測	19
3.2 靜止攝影機監視移動物體	20
3.3 移動攝影機追蹤移動物體	22
3.4 特徵的量測與預測	23
3.5 特徵初始化	25
3.6 靜止攝影機偵測動態特徵	27
3.7 移動攝影機偵測動態特徵	27
第四章 物件模型為基礎之移動物體追蹤	30
4.1 移動特徵點的追蹤	30
4.2 以物件模型追蹤移動物體	31
4.3 稀疏呈現物件模型	33
4.4 以物件模型輔助移動物體的量測	33
第五章 空間中移動物體監視之測試	35
5.1 範例一：移動物體直線移動(特徵點方法)	38
5.2 範例二：移動物體直線移動(物件模型方法)	40
5.3 範例三：移動物體直線來回移動(特徵點方法)	44
5.4 範例四：移動物體直線來回移動(物件模型方法)	48
5.5 範例五：移動物體曲線移動(特徵點方法)	52
5.6 範例六：移動物體曲線移動(物件模型方法)	55
第六章 移動攝影機追蹤移動物體之測試	59
6.1 範例七：移動攝影機平行追蹤移動物體(特徵點方法)	59
6.2 範例八：移動攝影機平行追蹤移動物體(物件模型方法)	62
6.3 範例九：移動攝影機垂直追蹤移動物體(特徵點方法)	65
6.4 範例十：移動攝影機垂直追蹤移動物體(物件模型方法)	67
第七章 結論	71
7.1 完成的研究項目	71
7.2 未來研究方向	71
參考文獻	73
附錄 A Jacobian矩陣	75
A.1 EKF單眼視覺量測矩陣 細部推導	75

圖目錄
圖2.1 物件模型訓練流程	7
圖2.2 (a)原始影像	8
圖2.2 (b)訓練影像	8
圖2.2 (c) k-mean分群成4群	8
圖2.2 (d)發生空間分佈	8
圖2.2 物件模型訓練範例	8
圖2.3 物件辨識流程	11
圖2.4 (a)偵測測試影像的特徵	11
圖2.4 (b)投票空間	11
圖2.4 (c)局部放大	12
圖2.4 (d)相對位置計算	12
圖2.4 物件模型辨識	12
圖2.5 (a) x0~x7於空間中	15
圖2.5 (b)mean-shift vector	15
圖2.5 (c)均值移動	15
圖2.6 物件中心搜尋流程	15
圖2.7 (a)物件重現	16
圖2.7 (b)框住物件	16
圖2.8 置放在複雜背景中的平面靜態物件	17
圖2.9 重現物件位置並以物件尺寸框住測試影像中的物件	17
圖2.10 平面靜態物件	18
圖2.11 重現的物件位置	18
圖3.1 透視投影法	25
圖3.2 左攝影機與地標相對位置	25
圖3.3 雙眼攝影機量測系統	26
圖3.4 攝影機靜止時偵測動態物體示意圖	27
圖3.5 本質矩陣與極線的概念圖	29
圖4.1 移動物體上特徵點追蹤的範例	31
圖4.2 物件模型追蹤的範例	32
圖4.3 物件模型追蹤的稀疏呈現	33
圖4.4 以物件模型輔助移動物體的量測	34
圖5.1 雙眼立體視覺系統	35
圖5.2 解說圖	37
圖5.3 (a)0th影像：系統啟動	38
圖5.3 (b)42th影像：建立地圖	39
圖5.3 (c)55th影像：移動物體被誤認為靜態特徵	39
圖5.3 (d)75th影像：移動特徵狀態初始化	39
圖5.3 (e)77th影像：持續加入新的移動特徵狀態初始化	39
圖5.3 (f)120th影像：移動特徵比對情形	40
圖5.3 (g)129th影像：移動特徵狀態估測情形	40
圖5.3 (h)157th影像：移動特徵狀態持續估測	40
圖5.3 移動物體直線移動(特徵點方法)八張截圖	40
圖5.4 (a)0th影像：系統啟動	41
圖5.4 (b)42th影像：建立地圖	42
圖5.4 (c)55th影像：移動物體被誤認為靜態特徵	42
圖5.4 (d)77th影像：動態特徵偵測	42
圖5.4 (e)86th影像：線上物件模型建立與初始化物件元件狀態	42
圖5.4 (f)87th影像：物件模型辨識與量測情形	43
圖5.4 (g)100th影像：偵測到未初始化過的物件元件並初始化狀態	43
圖5.4 (h)101th影像：物件模型辨識失敗	43
圖5.4 (i)120th影像：持續追蹤物件元件	43
圖5.4 (j)129th影像：物件模型辨識錯誤	44
圖5.4 (k)157th影像：物件元件狀態持續估測	44
圖5.4 移動物體直線移動(物件模型方法)十一張截圖	44
圖5.5 (a)0th影像：系統啟動	45
圖5.5 (b)38th影像：建立地圖	45
圖5.5 (c)43th影像：偵測動態特徵	45
圖5.5 (d)53th影像：移動物體被誤認為靜態特徵	46
圖5.5 (e)54th影像：移動特徵狀態初始化	46
圖5.5 (f)56th影像：持續加入新的移動特徵狀態初始化	46
圖5.5 (g)63th影像：移動物體放慢速度被誤認為靜態特徵	46
圖5.5 (h)68th影像：移動物體停止	47
圖5.5 (i)78th影像：移動物體往反方向移動	47
圖5.5 (j)98th影像：移動特徵狀態估測情形	47
圖5.5 (k)114th影像：移動特徵狀態估測情形	47
圖5.5 (l)134th影像：移動特徵狀態估測情形	48
圖5.5 移動物體直線來回移動(特徵點方法)十二張截圖	48
圖5.6 (a)0th影像：系統啟動	49
圖5.6 (b)38th影像：建立地圖	49
圖5.6 (c)43th影像：偵測動態特徵	49
圖5.6 (d)53th影像：移動物體被誤認為靜態特徵	49
圖5.6 (e)54th影像：線上物件模型建立與初始化物件元件狀態	50
圖5.6 (f)60th影像：物件模型辨識與量測情形	50
圖5.6 (g)63th影像：移動物體放慢速度被誤認為靜態特徵	50
圖5.6 (h)68th影像：移動物體停止	50
圖5.6 (i)78th影像：移動物體反向移動	51
圖5.6 (j)98th影像：移動特徵狀態估測情形	51
圖5.6 (k)114th影像：移動特徵狀態估測情形	51
圖5.6 (l)134th影像：移動特徵狀態估測情形	51
圖5.6 移動物體直線來回移動(物件模型方法)十二張截圖	51
圖5.7 (a)0th影像：系統啟動	52
圖5.7 (b)45th影像：建立地圖	52
圖5.7 (c)50th影像：移動特徵狀態初始化	53
圖5.7 (d)52th影像：持續加入新的移動特徵狀態初始化	53
圖5.7 (e)66th影像：移動物體放慢速度	53
圖5.7 (f)74th影像：移動物體往反方向移動	53
圖5.7 (g)86th影像：移動物體停止移動	54
圖5.7 (h)102th影像：移動物體繼續移動	54
圖5.7 (i)112th影像：移動特徵狀態估測情形	54
圖5.7 (j)122th影像：移動特徵狀態估測情形	54
圖5.7 (k)148th影像：移動特徵狀態估測情形	55
圖5.7 移動物體曲線移動(特徵點方法)十一張截圖	55
圖5.8 (a)0th影像：系統啟動	56
圖5.8 (b)45th影像：建立地圖	56
圖5.8 (c)50th影像：動態特徵偵測	56
圖5.8 (d)72th影像：線上物件模型建立與初始化物件元件狀態	56
圖5.8 (e)74th影像：移動物體反向移動	57
圖5.8 (f)86th影像：移動物體停止	57
圖5.8 (g)102th影像：移動物體移動	57
圖5.8 (h)112th影像：移動特徵狀態估測情形	57
圖5.8 (i)122th影像：移動特徵狀態估測情形	58
圖5.8 (j)148th影像：移動特徵狀態估測情形	58
圖5.8 移動物體曲線移動(物件模型方法)十張截圖	58
圖6.1 (a)0th影像：系統啟動	59
圖6.1 (b)84th影像：動態特徵誤判情形	60
圖6.1 (c)100th影像：建立地圖	60
圖6.1 (d)200th影像：建立地圖	60
圖6.1 (e)217th影像：移動特徵點狀態初始化	60
圖6.1 (f)300th影像：移動物體的追蹤與建圖情形	61
圖6.1 (g)400th影像：移動物體的追蹤與建圖情形	61
圖6.1 (h)500th影像：移動物體的追蹤與建圖情形	61
圖6.1 (i)553th影像：移動物體的追蹤與建圖情形	61
圖6.1 移動攝影機平行追蹤移動物體(特徵點方法)九張截圖	61
圖6.2 (a)0th影像：系統啟動	62
圖6.2 (b)84th影像：動態特徵誤判情形	63
圖6.2 (c)100th影像：建立地圖	63
圖6.2 (d)200th影像：建立地圖	63
圖6.2 (e)210th影像：線上物件模型建立與初始化物件元件狀態	63
圖6.2 (f)300th影像：移動物體的追蹤與建圖情形	64
圖6.2 (g)400th影像：移動物體的追蹤與建圖情形	64
圖6.2 (h)500th影像：移動物體的追蹤與建圖情形	64
圖6.2 (i)553th影像：移動物體的追蹤與建圖情形	64
圖6.2 移動攝影機平行追蹤移動物體(物件模型方法)九張截圖	64
圖6.3 (a)0th影像：系統啟動	65
圖6.3 (b)1th影像：動態特徵誤判情形	65
圖6.3 (c)34th影像：移動特徵點狀態初始化	66
圖6.3 (d)75th影像：移動物體的追蹤與建圖情形	66
圖6.3 (e)150th影像：移動特徵沒被偵測出導致無法追蹤	66
圖6.3 (f)225th影像：移動物體的追蹤與建圖情形	66
圖6.3 (g)300th影像：移動物體的追蹤與建圖情形	67
圖6.3 (h)357th影像：移動物體的追蹤與建圖情形	67
圖6.3 移動攝影機垂直追蹤移動物體(特徵點方法)八張截圖	67
圖6.4 (a)0th影像：系統啟動	68
圖6.4 (b)1th影像：動態特徵誤判情形	68
圖6.4 (c)36th影像：線上物件模型建立與初始化物件元件狀態	68
圖6.4 (d)75th影像：移動物體的追蹤與建圖情形	69
圖6.4 (e)150th影像：移動物體的追蹤與建圖情形	69
圖6.4 (f)225th影像：移動物體的追蹤與建圖情形	69
圖6.4 (g)300th影像：移動物體的追蹤與建圖情形	69
圖6.4 (h)357th影像：移動物體的追蹤與建圖情形	70
圖6.4 移動攝影機垂直追蹤移動物體(物件模型方法)八張截圖	70

表目錄
表2.1 實驗結果	18
表5.1 前視型單眼攝影機規格表	36
表5.2 筆記型電腦規格表	36
表5.3 左攝影機內部參數	36
表5.4 右攝影機內部參數	36
表5.5 左影像修正模型參數	37
表5.6 右影像修正模型參數	37
表5.7 左右攝影機外部參數	37

[1]Sola, J., 2007, Towards visual localization, mapping and moving objects tracking by a mobile robot: a geometric and probabilistic approach, Ph.D. dissertation, Institut National Polytechnique de Toulouse.
[2]Wangsiripitak, S., and D.W Murray, 2009, Avoiding moving outliers in visual SLAM by tracking moving objects, Proceedings of IEEE International Conference on Robotics and Automation.
[3]Migliore, D., R. Rigamonti, D. Marzorati, M. Matteucci, D.G. Sorrenti, 2009, Use a Single Camera for Simultaneous Localization And Mapping with Mobile Object Tracking in dynamic environments, Proceedings of IEEE International Conference on Robotics and Automation.
[4]Hsiao, C.H., and C.C. Wang, 2011, Achieving Undelayed Initialization in Monocular SLAM with Generalized Objects Using Velocity Estimate-based Classification, Proceedings of IEEE International Conference on Robotics and Automation.
[5]Wang, Y.T., C.T. Chi, and S.K. Hung, 2011, Robot Visual SLAM in Dynamic Environments, Advanced Science Letters. (accepted)
[6]Ballard, D. H., 1981, “Generalizing the hough transform to detect arbitrary shapes”, Pattern Recognition, vol.13, no.2, pp.111-122.
[7]Leibe, B., A. Leonardis, & B. Schiele, 2008, “Robust Object Detection with Interleaved Categorization and Segmentation”, International Journal of Computer Vision, vol.77, no.1-3, pp. 259-289.
[8]Leibe, B., K. Schindler, N. Cornelis, and L. van Gool, 2008, Coupled Detection and Tracking from Static Cameras and Moving Vehicles, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 10, pp. 1683-1698.
[9]Ess, A., B. Leibe, K. Schindler, and L. van Gool, 2009, Robust Multiperson Tracking from a Mobile Platform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.31, no.10, pp.1831-1846.
[10]Breitenstein, M.D., F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool, 2011, Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no.9, pp.1820-1833.
[11]Agarwal, S., Atwan, A., & Roth, D., 2004, Learning to detect objects in images via a sparse, part-based representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, no.11, pp.1475-1490.
[12]Felzenszwalb, P., & Huttenlocher, D., 2005, Pictorial structures for object recognition, International Journal of Computer Vision, vol.61, no.1.
[13]Gillijns, S., and B. De Moor, 2007, Unbiased minimum-variance input and state estimation for linear discrete-time systems, Automatica, vol.43, pp.111–116.
[14]Blom, H., & Y. Bar-Shalom, 1988, The interacting multiple-model algorithm for systems with Markovian switching coefficients, IEEE Transactions on Automatic Control, vol.33, pp.780-783.
[15]D. Comaniciu and P. Meer (2002), “Mean Shift: A Robust Approach Toward Feature Space Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence vol.24(5), pp. 603-619.
[16]H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, “SURF: Speeded-Up Robust Features”, Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[17]J. MacQueen (1967), “Some Methods for Classification and Analysis of Multivariate Observations”, in Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability, pp. 281-297.
[18]OpenCV,Intel,website: http://opencv.willowgarage.com/wiki/. (2012)
[19]A.J. Davison, I.D. Reid, N.D. Molton and O. Stasse, “MonoSLAM: Real Time Single Camera SLAM”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[20]S. Hutchinson, G.D. Hager and P.I. Corke, “A Tutorial on Visual Servo Control”, IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[21]馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM知稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。
[22]洪璿凱，基於靜態環境的空間限制條件之雙眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
[23]邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
[24]Longuet-Higgins, H.C., 1981, A computer algorithm for reconstructing a scene from two projections, Nature, vol.293, pp.133-135.
[25]Luong, Q.T., and O.D. Faugeras, 1996, The Fundamental Matrix: Theory, Algorithms, and Stability Analysis, International Journal of Computer Vision, 17(1), pp.43-75.
[26]J.Y. Bouguet,Camera Calibration Toolbox for Matlab,website: http://www.vision.caltech.edu/bouguetj/calib_doc/. (2010)
[27]Adaptive mean shift based clustering, Robust Image Understanding Laboratory,website: http://coewww.rutgers.edu/riul/research/code/AMS/index.html