本論文發展移動攝影機偵測與追蹤移動物體演算法，應用於機器人同時定位、建圖、與移動物體追蹤。本研究專注在移動特徵偵測與追蹤程序的規劃，總計探討與測試三種不同方法：稱為非靜態物件、移動物件、與廣義物件等偵測與追蹤方法。非靜態物件方法是文獻所提出的方法，利用本質矩陣的運算去區別非靜態與靜態的物件。但是，此方法限制影像中的特徵個數，使得部分移動特徵無法順利被偵測。本論文提出移動物件與廣義物件兩種方法進行移動特徵的偵測。移動物件方法放寬非靜態物件方法的特徵個數之限制，並且加入多重過濾程序，以便偵測所有的移動特徵。廣義物件方法則是估測所有影像特徵的狀態變數，所得到的狀態訊息可以提供做為靜態與移動物件的選擇。

This thesis presents an algorithm of moving object detection and tracking using moving cameras.  The developed algorithm is applied to robot simultaneous localization, mapping, and moving object tracking.  The research focuses on the development of procedures for moving feature detection and tracking.  In this thesis, three methods are investigated and tested, namely the methods of detecting non-static objects, moving objects, and generalized objects.  Non-static object method is the procedure in the literature which distinguishes non-static image features from stationary features based on the essential matrix calculation.  However, some moving features could not be detected due to the restriction on feature number in one image.  The moving-object and generalized-object methods are proposed in this thesis.  The moving-object method releases the restriction on feature number in an image and detects all possible moving objects by using multiple filtering processes.  The generalized-object method estimates the state variables of all image features and provide the state information for the detection of moving and stationary features.

目錄
中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	VII
第1章 序論	1
1.1 研究動機與目的	1
1.2 文獻探討	1
1.3 研究範圍	2
1.4 系統說明	2
第2章 視覺式移動特徵的偵測與追蹤	3
2.1 擴張型卡爾曼過濾器	3
2.2 自由移動攝影機	3
2.3 靜態地標與移動物件	5
2.4 特徵的量測與預測	6
2.5 特徵初始化	8
第3章 移動特徵的偵測	10
3.1 非靜態物件方法	10
3.1.1 非靜態物件方法之第一類移動特徵	11
3.1.2 非靜態物件方法之第二、三類移動特徵	12
3.1.3 非靜態物件方法之物件資料庫比對	14
3.2 移動物件方法	15
3.2.1 移動物件方法之第一類移動特徵	16
3.2.2 移動物件方法之第二、三類移動特徵	16
3.2.3 移動物件方法之第四、五、六類移動特徵	17
3.3 廣義物件	19
3.3.1 廣義物件之第一類移動特徵	20
3.3.2 廣義物件之第二、三類移動特徵	20
第4章 實測範例	22
4.1 硬體設備	22
4.2 物體直線移動，攝影機相對於物體平行移動	24
4.3 物體曲線移動，攝影機隨物體轉動	30
4.4 實驗結果	36
第5章 研究成果	37
5.1 完成的研究項目	37
5.2 未來研究方向	37
參考文獻	38
附錄A  JACOBIAN矩陣推導	40
附錄B  動態特徵偵測	43
B1. 靜止攝影機偵測動態特徵	43
B2. 移動攝影機偵測動態特徵	43

 
圖目錄
圖2.1 透視投影法	8
圖2.2 左攝影機與地標相對位置	8
圖2.3 雙眼攝影機量測系統	9
圖3.1 非靜態物件方法之流程圖	11
圖3.2 非靜態物件方法之本質矩陣流程	12
圖3.3 非靜態物件方法之第一類移動特徵	12
圖3.4 非靜態物件方法之第二類移動特	13
圖3.5 非靜態物件方法之第三類移動特徵	13
圖3.6 物件特徵資料庫比對流程	14
圖3.7 非靜態物件方法之解說圖	15
圖3.8 移動物件方法之流程圖	15
圖3.9 移動物件方法之第一類流程圖	16
圖3.10移動物件方法之第二類流程圖	17
圖3.11移動物件方法之第三類流程圖	17
圖3.12 移動物件方法之第四、五類流程圖	18
圖3.13 移動物件方法之第六類流程圖	18
圖3.14 移動物件方法之解說圖	19
圖3.15 廣義物件方法之流程圖	19
圖3.16 廣義物件方法之第一類流程圖	20
圖3.17 廣義物件方法之第二、三類流程圖	21
圖3.18 廣義物件方法之解說圖	21
圖4.1 雙眼視覺感測器	22
圖4.2 物體直線移動使用非靜態物件方法偵測移動特徵	26
圖4.3 物體直線移動使用移動物件方法偵測移動特徵	27
圖4.4 物體直線移動使用廣義物件方法偵測移動特徵	29
圖4.5 物體直線移動，移動特徵點偵測與追蹤比較圖	29
圖4.6 物體直線移動，穩定移動特徵點偵測與追蹤比較圖	30
圖4.7 物體曲線移動使用非靜態物件方法偵測移動特徵	32
圖4.8 物體曲線移動使用移動物件方法偵測移動特徵	34
圖4.9 物體曲線移動使用廣義物件方法偵測移動特徵	35
圖4.10 物體曲線移動，移動特徵點偵測與追蹤比較圖	36
圖4.11 物體曲線移動，穩定移動特徵點偵測與追蹤比較圖	36
圖B.1 攝影機靜止時偵測動態物體示意圖	43
圖B.2 本質矩陣與極線的概念圖	45

 
表目錄
表3.1 非靜態物件方法分類表	11
表3.2 移動物件方法之分類表	16
表3.3 廣義物件方法之分類表	20
表4.1 前視型單眼攝影機規格表	22
表4.2 筆記型電腦規格表	23
表4.3 左攝影機內部參數	23
表4.4 右攝影機內部參數	23
表4.5 旋轉矩陣 R	23
表4.6 位移向量 B	23
表4.7 左影像修正模型參數	23
表4.8 右影像修正模型參數	24

[1]	T. Bailey, and H. Durrant-Whyte, 2006, Simultaneous Localization and Mapping (SLAM):
PartⅡ, IEEE Robotics and Automation, pp.108-117, September
[2]	H. Durrant-Whyte, and T.Bailey, 2006, Simultaneous Localization and Mapping (SLAM): PartⅠ, IEEE Robotics and Automation,pp.99-108, June.
[3]	邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
[4]	Ballard, D. H., 1981, “Generalizing the hough transform to detect arbitrary shapes”, Pattern Recognition, vol.13, no.2, pp.11	1-122.
[5]	Leibe, B., A. Leonardis, & B. Schiele, 2008, “Robust Object Detection with Interleaved Categorization and Segmentation”, International Journal of Computer Vision, vol.77, no.1-3, pp. 259-289.
[6]	Leibe, B., K. Schindler, N. Cornelis, and L. van Gool, 2008, Coupled Detection and Tracking from Static Cameras and Moving Vehicles, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 10, pp. 1683-1698.
[7]	Ess, A., B. Leibe, K. Schindler, and L. van Gool, 2009, Robust Multiperson Tracking from a Mobile Platform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.31, no.10, pp.1831-1846.
[8]	Breitenstein, M.D., F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool, 2011, Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no.9, pp.1820-1833.
[9]	陳國瑋，使用線上稀疏呈現的物件模型進行機器人並行追蹤與建圖，淡江大學機械與機電工程學系碩士論文，2012。
[10]	A.J. Davison, I.D. Reid, N.D. Molton and O. Stasse, “MonoSLAM: Real Time Single Camera SLAM”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[11]	Blom, H., & Y. Bar-Shalom, 1988, The interacting multiple-model algorithm for systems with Markovian switching coefficients, IEEE Transactions on Automatic Control, vol.33, pp.780-783.
[12]	S. Hutchinson, G.D. Hager and P.I. Corke, “A Tutorial on Visual Servo Control”, IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, 1996.
[13]	馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM知稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。
[14]	洪璿凱，基於靜態環境的空間限制條件之雙眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
[15]	C.C. Wang, C. Thorpe, S. Thrun, M. Hebert and H. Durrant-Whyte, “Simultaneous Localization, Mapping and Moving Object Tracking”, The International Journal of Robotics Research, vol. 26, no.09, pp. 889-916, 2007
[16]	王琮鴻，多攝影機輔助機器人巡航，淡江大學機械與機電工程學系碩士論文，2013。
[17]	Longuet-Higgins, H.C., 1981, A computer algorithm for reconstructing a scene from two projections, Nature, vol.293, pp.133-135.
[18]	Luong, Q.T., and O.D. Faugeras, 1996, The Fundamental Matrix: Theory, Algorithms, and Stability Analysis, International Journal of Computer Vision, 17(1), pp.43-75.