本研究將以影像區域特徵(image region features)追蹤與偵測方法規劃機器人的感測模型，提供人形機器人系統同時建立環境地圖與自我定位、以及物件方向與位置偵測之用。本研究的內容分為三個部分：包括影像區域特徵的偵測與追蹤，特徵初始化(feature initialization)程序的規劃，機器人同時定位與建圖、以及移動物件方位偵測的應用等。發展的視覺模組應用在具備前視型攝影機的小型人形機器人系統上。

In this thesis, the method of image feature detecting and tracking is utilized to develop the sensor module of a robot, and provided for robot simultaneous self-localization and mapping, as well as detection of the position and orientation of an object. The research is divided into three stages: including the detection and tracking of image region features; the algorithm of feature initialization; and the task of simultaneous localization and mapping, as well as the detection of the position and orientation for a moving object. The developed vision module is applied to a small-size humanoid robot system with a frontal camera.

目錄
中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	VIII
第1章 序論	1
1.1 研究計畫之背景與目的	1
1.2 研究範圍	1
1.3 國內外有關本計畫之研究情況、重要參考文獻之評述	2
1.3.1 影像區域特徵之偵測與追蹤相關文獻	2
1.3.2 影像深度計算相關文獻	3
第2章 區域影像特徵偵測與追蹤	4
2.1 區域特徵偵測與追蹤	4
2.2 特徵偵測與追蹤程序	6
2.3 靜態特徵偵測與追蹤範例	7
2.4 動態特徵偵測與追蹤範例	11
第3章 影像特徵初始化	13
3.1 特徵點初始化	13
3.2 影像深度計算	15
3.3 環境地圖建立	16
3.4 系統啟動程序	16
3.5 SLAM實測範例	21
3.6 移動中已知物體方位的偵測	23
第4章 人形機器人的機電整合系統	25
4.1 機器人系統	25
4.1.1 主控制器	26
4.1.2 電源	26
4.1.3 感測器	27
4.1.4 伺服機	27
4.1.5 無線網路卡	27
4.2 EKF SLAM實測	29
第5章 結論與建議	32
5.1 完成的研究項目	32
5.2 未來研究方向	32
參考文獻	33
附錄A  SURF影像區域特徵之偵測與追蹤	34
附錄B  視線向量求算	37
附錄C  EKF狀態估測方法[19]	40

 
圖目錄
圖2.1 9×9盒子過濾器	5
圖2.2 特徵點的方位分配	6
圖2.3 特徵點的特性描述向量	6
圖2.4 記憶體分享流程	7
圖2.5(a) 特徵比對範例，左上小圖為樣本影像，右圖為比對的影像	8
圖2.5(b) 在複雜環境的特徵比對範例	8
圖2.6(a) r =0.6，樣本強度前5個特徵	8
圖2.6(b) r =0.6，樣本強度前10個特徵	8
圖2.6(c) r =0.6，樣本強度前15個特徵	8
圖2.7(a) r =0.6，樣本強度前5個特徵	9
圖2.7(b) r =0.6，樣本強度前10個特徵	9
圖2.7(c) r =0.6，樣本強度前15個特徵	9
圖2.8(a) r =0.6，樣本強度前5個特徵	9
圖2.8(b) r =0.6，樣本強度前10個特徵	9
圖2.8(c) r =0.6，樣本強度前15個特徵	10
圖2.9(a) r =0.6，樣本強度前5個特徵	10
圖2.9(b) r =0.6，樣本強度前10個特徵	10
圖2.9(c) r =0.6，樣本強度前15個特徵	10
圖2.9(d) r =0.6，樣本強度前20個特徵	10
圖2.10(a) r =0.6，樣本強度前15個特徵	11
圖2.10(b) r =0.7，樣本強度前15個特徵	11
圖2.10(c) r =0.8，樣本強度前15個特徵	11
圖2.10(d) r =0.9，樣本強度前15個特徵	11
圖2.11(a) 比對影像中無樣本特徵	12
圖2.11(b) 比對影像中加入干擾	12
圖2.11(c) 比對影像中加入相似物件	12
圖2.11(d) 遮蔽比對影像中樣本特徵	12
圖3.1 資料儲存格式	14
圖3.2(a) 追蹤10個點特徵點10步距時特徵分佈圖(Y軸深度方向)	15
圖3.2(b) 追蹤3個步距的特徵分佈	15
圖3.2(c) 追蹤5個步距的特徵分佈	15
圖3.3 攝影機座標與特徵點	16
圖3.4 地圖資料庫預存的已知區域特徵	17
圖3.5 系統啟動實測環境	17
圖3.6 實際擷圖	18
圖3.7(a) x-y平面	18
圖3.7(b) x-z平面	18
圖3.8(a) x-y平面	19
圖3.8(b) x-z平面	19
圖3.9 實測時所擷取的影像	19
圖3.10(a) x-y平面	20
圖3.10(b) x-z平面	20
圖3.11 實際擷圖	20
圖3.12(a) x-y平面	21
圖3.12(b) x-z平面	21
圖3.13 實測環境	21
圖3.14 初始已知區域特徵	21
圖3.15 實際擷圖	22
圖3.16(a) x-y平面	22
圖3.16(b) x-z平面	22
圖3.16(c) 3D立體圖	23
圖3.17 移動物體偵測	24
圖4.1 小型人形機器人	25
圖4.2 小型人形機器人機電整合系統	26
圖4.3 地圖資料庫預存的已知區域特徵	29
圖4.4實測環境	29
圖4.5 機器人連續移動截圖	30
圖4.6 估測x-y平面	30
圖4.7 估測x-z平面	30
圖4.8 估測3D立體圖	31
圖A.1 積分影像定義及積分影像應用	34
圖A.2 SIFT與SURF尺度空間變化的差異[3]	35
圖A.3 Haar小波過濾器，黑色的部份給予權重-1，白色的部份則為+1	36
圖B.1 球體座標的經度角度標示	39
圖B.2 球體座標的緯度角度標示	39
圖B.3 移動攝影機座標	39
圖C.1 攝影機座標與二維影像座標系統	42
圖C.2 攝影機座標系與世界座標系	42

 
表目錄
表3.1 移動物體的位移與方向	24
表4.1 小型人形機器人規格	25
表4.2 研華股份有限公司工業電腦PCM-3372規格	28
表4.3 Microsoft LifeCam VX6000攝影機規格	29

[1].	Baumberg, A., 2000, Reliable feature matching across widely separated views, Proceedings Computer Vision and Pattern Recognition, pp.774-781.
[2].	Bay, H., T. Tuytelaars, and L.V. Gool, 2006, SURF: Speeded Up Robust Features, Proceedings of the 9th European Conference on Computer Vision, Springer LNCS volume 3951, part 1, pp. 404-417.
[3].	Bay, H., A. Ess, T. Tuytelaars, L. Van Gool, 2008, SURF: speeded up robust features, Computer Vision and Image Understanding, vol.110, pp.346-359.
[4].	Davison, A.J., I.D. Reid, N.D. Molton, and O. Stasse, 2007, “MonoSLAM Real Time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[5].	Durrant-Whyte, H., and T. Bailey, 2006, Simultaneous Localization and Mapping: Part 1, IEEE Robotics and Automation Magazine.
[6].	Durrant-Whyte, H., and T. Bailey, 2006, Simultaneous Localization and Mapping: Part 2, IEEE Robotics and Automation Magazine.
[7].	Hutchinson, S., G.D. Hager, and P.I. Corke, 1996 , “A Tutorial on Visual Servo Control,” IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670.
[8].	Karlsson, N., E. Di Bernardo, J. Ostrowski, L. Goncalves, P. Pirjanian, and M.E. Munich, 2005, The vSLAM Algorithm for Robust Localization and Mapping, IEEE International Conference on Robotics and Automation.
[9].	Lindeberg, T., 1998, Feature detection with automatic scale selection, International Journal of Computer Vision, vol.30, no.2, pp79-116.
[10].	Lowe, D.G., 1999, Object recognition from local scale-invariant features, Proceedings of International Conference on Computer Vision, pp.1150-1157.
[11].	Lowe, D.G., 2004, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2, pp. 91-110.
[12].	Mikolajczyk, K., and C. Schmid, 2001, Indexing based on scale invariant interest points, Proceedings of International Conference on Computer Vision, vol.1, pp.525-531.
[13].	Mikolajczyk, K., and C. Schmid, 2003, A performance evaluation of local descriptors, Proceedings Computer Vision and Pattern Recognition, pp.257-263.
[14].	Montiel, J.M.M., J. Civera, and A.J. Davison, 2006, Unified Inverse Depth Parametrization for Monocular SLAM, Proc. Robotics: Science and Systems.
[15].	Murillo, A.C., J.J. Guerrero, amd C. Sagues, 2007, SURF features for efficient robot localization with omnidirectional images, Proceedings IEEE International Conference on Robotics and Automation, pp.3901-3907.
[16].	Sciavicco, L., and B. Siciliano, 1996, “Modelling and Control of Robot Manipulators,”1st Edition, McGraw-Hill, New York, NY.
[17].	Tsai, R.Y., 1987, A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the sheff TV cameras and lenses, IEEE J. of Robotics and Automation, 3(4), pp.323-344.
[18].	Wu, C.Y., and L.C. Fu, 2007, An integrated robotic vSLAM system to realize exploration in large indoor environment, Proceedings CACS International Automatic Control Conference.
[19].	張哲銘，2009，小型人形機器人系統之視覺式同時定位與建圖，淡江大學機械與機電工程學系碩士論文。
[20].	黃禹文，2009，視覺式機器人自我定位與移動物體的狀態估測，淡江大學機械與機電工程學系碩士論文。