本研究將以影像點特徵追蹤與偵測方法規劃機器人的感測模組，以提供機器人系統進行自我定位，以及偵測移動物體的位置與方向。研究的內容包括四個部份，分別是偵測與追蹤影像特徵、全方位視覺二維像素座標轉三維空間座標、移動物體方向與位置偵測、以及系統整合與功能測試等。發展的視覺式感測模組將應用在具備全方位視覺的差速移動機器人系統上。

In this thesis, a sensor module based on the method of image feature detection and tracking is developed, and provided for the robot system to carry out the tasks of self-localization and detection of the position and orientation of a moving object. The research is divided into four stages, including the detection and tracking of image features, the coordinate transformation method of an omnidirectional vision, the detection of the position and orientation for a moving object, and the system integration and experiments. The developed visual sensor module will be applied to the differential-drive mobile robot with an omnidirectional vision.

目錄
中文摘要	Ⅰ
英文摘要	Ⅱ
目錄	Ⅲ
圖目錄	Ⅳ
表目錄	Ⅸ
第一章 序論	1
1.1 研究計畫之背景與目的	1
1.2 研究範圍	2
1.3 文獻探討	2
1.4 論文架構	3
第二章 機器人機構	4
2.1 中型機器人	5
2.2 小型機器人	6
第三章 影像輔助機機器人自我定位	9
3.1 影像特徵偵測方法	9
3.2 影像特徵追蹤方法	10
3.3 KLT影像特徵偵測與追蹤	12
3.4 全方位視覺模組	13
3.5 影像特徵三維座標計算方法	14
3.6 使用全方位攝影機進行特徵偵測追蹤範例成果分析	19
3.7 機器人自我定位	26
第四章 移動物體的方位偵測	34
4.1 已知物體的方位偵測程序	34
4.2 已知物體方位偵測範例	36
4.3 影像偵測與追蹤方法的誤差分析	39
4.4 移動物體方位偵測範例	42
4.5 移動機器人的方位偵測程序	44
4.6 移動機器人的方位偵測範例	49
第五章 研究成果與建議	52
5.1 研究成果	52
5.2 未來研究方向	52
參考文獻	53
附錄A  KLT影像特徵偵測與追蹤	54
 
圖目錄
圖1.1(a) 機器人群隊	02
圖1.1(b) 機器人群隊	02
圖2.1 中型機器人兩輪差速系統	04
圖2.2(a) 小型機器人(設計圖)	05
圖2.2(b) 小型機器人(實體圖)	05
圖2.3 全方位視覺系統	06
圖2.4 雙曲面鏡	06
圖2.5 QuickCam Pro 4000	06
圖2.6 封閉式充電鉛酸電池	07
圖2.7 直流減速馬達外觀圖	07
圖2.8 核心控制電路板	08
圖3.1(a) 前視型影像特徵偵測範例	10
圖3.1(b) 全方位型影像特徵偵測範例	10
圖3.2(a) 無特徵一致性檢測	11
圖3.2(b) 進行特徵一致性檢測	11
圖3.3(a) 室外追蹤特徵一致性檢測	13
圖3.3(b) 室內追蹤特徵一致性檢測	13
圖3.4(a) 室外特徵追蹤效率，填補遺失特徵	13
圖3.4(b) 室內特徵追蹤效率，填補遺失特徵	13
圖3.5 全方位視覺影像	14
圖3.6 全方位視覺的座標系統設定	16
圖3.7 雙曲面鏡	16
圖3.8 全方位視覺系統側視圖	17
圖3.9(a) r值與z值對應曲線	17
圖3.9(b) r值與x值對應曲線	17
圖3.10(a) 雙曲面z長度誤差量	17
圖3.10(b) 雙曲面x長度誤差量	17
圖3.11 極線平面	19
圖3.12 機器人移動示意圖	19
圖3.13 實驗場地示意圖	21
圖3.14(a) 攝影機初始位置	21
圖3.14(b) 攝影機移動後位置	21
圖3.15(a) 攝影機初始位置	22
圖3.15(b) 攝影機移動後位置	22
圖3.16 實驗場地示意圖	22
圖3.17(a) 攝影機初始位置	23
圖3.17(b) 攝影機移動後位置	23
圖3.18(a) 攝影機初始位置	23
圖3.18(b) 攝影機移動後位置	23
圖3.19 實驗場地規劃	24
圖3.20(a) 攝影機初始位置	24
圖3.20(b) 攝影機移動後位置	24
圖3.21(a) 特徵點與攝影機在空間中的狀態	25
圖3.21(b) 特徵點與攝影機在空間中x,y平面的狀態	25
圖3.21(c) 特徵點與攝影機在空間中y,z平面的狀態	25
圖3.22 利用PF進行自我定位範例示意圖	27
圖3.23(a) 機器人初始位置影像	27
圖3.23(b) 機器人移動位置1影像	27
圖3.23(c) 機器人移動位置2影像	27
圖3.23(d) 機器人移動位置3影像	27
圖3.23(e) 機器人移動位置4影像	28
圖3.23(f) 機器人移動位置5影像	28
圖3.23(g) 機器人移動位置6影像	28
圖3.23(h) 機器人移動位置7影像	28
圖3.23(i) 機器人移動位置8影像	28
圖3.23(j) 機器人移動位置9影像	28
圖3.23(k) 機器人移動位置10影像	28
圖3.24(a) 初始位置時場地狀態	29
圖3.24(b) 移動位置1時場地狀態	29
圖3.24(c) 移動位置2時場地狀態	29
圖3.24(d) 移動位置3時場地狀態	29
圖3.24(e) 移動位置4時場地狀態	29
圖3.24(f) 移動位置5時場地狀態	29
圖3.24(g) 移動位置6時場地狀態	29
圖3.24(h) 移動位置7時場地狀態	29
圖3.24(i) 移動位置8時場地狀態	30
圖3.24(j) 移動位置9時場地狀態	30
圖3.24(k) 移動位置10時場地狀態	30
圖3.25 利用PF進行自我定位範例示意圖	30
圖3.26(a) 機器人初始位置影像	31
圖3.26(b) 機器人移動位置1影像	31
圖3.26(c) 機器人移動位置2影像	31
圖3.26(d) 機器人移動位置3影像	31
圖3.26(e) 機器人移動位置4影像	31
圖3.26(f) 機器人移動位置5影像	31
圖3.26(g) 機器人移動位置6影像	31
圖3.26(h) 機器人移動位置7影像	31
圖3.26(i) 機器人移動位置8影像	32
圖3.26(j) 機器人移動位置9影像	32
圖3.27(a) 初始位置時場地狀態	32
圖3.27(b) 移動位置1時場地狀態	32
圖3.27(c) 移動位置2時場地狀態	32
圖3.27(d) 移動位置3時場地狀態	32
圖3.27(e) 移動位置4時場地狀態	32
圖3.27(f) 移動位置5時場地狀態	32
圖3.27(g) 移動位置6時場地狀態	33
圖3.27(h) 移動位置7時場地狀態	33
圖3.27(i) 移動位置8時場地狀態	33
圖3.27(j) 移動位置9時場地狀態	33
圖3.28 實際運動軌跡與PF自我定位軌跡狀態	33
圖4.1(a) {a2}座標系統設定	35
圖4.1(b) {a1}座標系統設定	35
圖4.2(a) 物體現在狀態	36
圖4.2(b) 物體初始狀態	36
圖4.3 實驗環境示意圖	37
圖4.4 物體初始位置時攝影機拍攝狀態	38
圖4.5 物體繞z軸轉-20度時攝影機拍攝狀態	38
圖4.6 初始位置下特徵點1的位置誤差	40
圖4.7 初始位置下特徵點2的位置誤差	40
圖4.8 初始位置下特徵點3的位置誤差	40
圖4.9 繞z軸-20度時特徵點1的位置誤差	41
圖4.10 繞z軸-20度時特徵點2的位置誤差	41
圖4.11 繞z軸-20度時特徵點3的位置誤差	41
圖4.12 機體座標原點A的位移量誤差	41
圖4.13 機體座標原點A在-20度位置誤差	41
圖4.14 機體座標旋轉RPY角度誤差	42
圖4.15 移動物體方位偵測	43
圖4.16 資料庫特徵點，共40個	43
圖4.17 移動物體方位偵測	44
圖4.18 固定座標系與攝影機座標系的設定	48
圖4.19 攝影機座標系與影像平面關係圖	48
圖4.20 攝影機與場地側視圖	48
圖4.21 影像平面與場地平面的關係圖	49
圖4.22 場地平面與車體的關係圖	49
圖4.23 移動機器人的方位偵測	51
圖A.1 金字塔圖層	56
 
表目錄
表2.1 中型馬達動力設計規劃	06
表2.2 小型直流減速馬達規格	08
表3.1 C函式執行各程序所需時間之比較	13
表3.2 r與z關係多項式	18
表3.3 r與x關係多項式	18
表3.4 特徵點在固定座標中的位置	21
表3.5 特徵點在固定座標中的位置	22
表3.6 特徵點在固定座標中的位置	23
表3.7 特徵點在固定座標中的位置	24
表4.1 初始狀態下機體座標統與原點A及B、C的位置	37
表4.2 初始位置時機體座標相對固定座標的旋轉矩陣	38
表4.3 物體在初始位置時特徵點位置	38
表4.4 物體在繞z軸轉-20度時特徵點位置	38
表4.5 物體繞z軸轉-20度時機體座標旋轉矩陣	39
表4.6 初始位置與繞z軸-20度時的RPY角度與機體座標原點A移動量	39
表4.7 物體繞z軸旋轉-20度，機體座標原點位置估測	39
表4.8 移動物體的位置與方向	43
表4.9 移動物體的位移量與方向	44
表4.10 機器人於空間中四個位置時的狀態	51

[1]	Bay, H., A. Ess, T. Tuytelaars, L. Van Gool, 2008, SURF: speeded up robust features, Computer Vision and Image Understanding, vol.110, pp.346-359.
[2]	Bouguet, J.Y., 1997, Pyramidal Implementation of the Lucas Kanade Feature Tracker, Website: http://robots.stanford.edu/cs223b04/algo_tracking.pdf. 
[3]	Birchfield, 1997, Derivation of Kanade-Lucas-Tomasi Tracking Equation, Website: http://www.ces.clemson.edu/~stb/index.html. 
[4]	Civera, J., A.J. Davison, J.A. Magallon, and J.M.M. Montiel, 2008, Drift-Free Real-Time Sequential Mosaicing, Accepted for publication in International Journal of Computer Vision.
[5]	Davison, A.J., I.D. Reid, N.D. Molton, and O. Stasse, 2007, MonoSLAM: Real-Time Single Camera SLAM, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067.
[6]	Dellaert, F., D. Fox, W. Burgard, and S. Thrun, 1999, Monte Carlo Localization for Mobile Robots, IEEE International Conference on Robotics and Automation (ICRA99).
[7]	Delaunay, B., 1934, Sur la sphere vide Bulletin of the academy of Sciences of the U.S.S.R, classe des Sciences Mathematiques et Naturelles, Series 7(6), 793-800.
[8]	Guibas, L., and J. Stolfi, 1985, Primitives for the Manipulation of General Subdivisions and the Computation of Voronoi Diagrams, ACT TOG, 4(2).
[9]	Harris, C., and M. Stephens, 1988, A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference: pages 147-151.
[10]	Lowe, D.G., 1999, Object recognition from local scale-invariant features, Proceedings of International Conference on Computer Vision, pp.1150-1157.
[11]	Lorenzo Sciavicco and Bruno Siciliano, Modeling and control of robot manipulators, p32-34.
[12]	Moravec, H., 1980, Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover, Tech Report CMU-RI-TR-3 Carnegie-Mellon University, Robotics Institute.
[13]	Pajdla, T., T. Svoboda, and V. Hlavac, 2001, Epipolar geometry of central panoramic cameras, in Panoramic Vision: Sensors, Theory, and Applications, R., Benosman and S.B., Kang, Eds. Berlin, Germany: Springer-Verlag, pp. 85–114.
[14]	Rosten, E., and T. Drummond, May 2006, Machine learning for very high-speed corner detection, in European Conference on Computer Vision.
[15]	Shi, J., and C. Tomasi, 1994, Good features to track, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600.
[16]	張峰銘, 2004, 中型機器人設計製作, 淡江大學機械工程學系碩士論文。
[17]	陳義智, 2008, 具備全方位視覺之全方位機器人的自我定位方法與發展平台, 淡江大學機械工程學系碩士論文。
[18]	朱溶琦, 2009, 影像特徵初始化及其在機器人同時定位與建圖的應用, 淡江大學機械工程學系碩士論文。
[19]	姚力瑋, 2009, 差速驅動機器人系統之視覺輔助行為式運動控制, 淡江大學機械工程學系碩士論文。
[20]	張哲銘, 2009, 小型人形機器人系統之視覺式同時定位與建圖，淡江大學機械工程學系碩士論文。
[21]	李伯欣、陳國瑋，2009，影像特徵偵測與追蹤，淡江大學機械工程學系畢業專題。