系統識別號 | U0002-2008200803460600 |
---|---|
DOI | 10.6846/TKU.2008.00651 |
論文名稱(中文) | 自主機器人對於環境中點特徵與區域特徵的偵測與追蹤 |
論文名稱(英文) | Detection and Tracking of Point and Region Features in Environments for Autonomous Robot Systems |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 機械與機電工程學系碩士班 |
系所名稱(英文) | Department of Mechanical and Electro-Mechanical Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 96 |
學期 | 2 |
出版年 | 97 |
研究生(中文) | 曹雅威 |
研究生(英文) | Ya-Wei Tsao |
學號 | 695370675 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2008-07-02 |
論文頁數 | 58頁 |
口試委員 |
指導教授
-
王銀添
委員 - 李祖聖 委員 - 張文中 委員 - 翁慶昌 委員 - 劉昭華 |
關鍵字(中) |
機器人視覺 點特徵 區域特徵 尺度不變特徵轉換 加速強健特徵 |
關鍵字(英) |
Robot vision Point features Region features Scale Invariant Feature Transform (SIFT) Speed Up Robust Features (SURF) |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本論文針對自主機器人認知環境的議題進行研究,使用CMOS機器人視覺系統搭配影像特徵偵測與追蹤演算法,輔助機器人認知週遭環境。第一個階段將偵測自然環境中的點特徵(point features),提供機器人進行定位與建圖之用。根據相同的特徵點進而分辨環境中的通道(path)與障礙物,提供機器人避障機制使用。第二階段將使用尺度不變特徵轉換(SIFT)與加速強健特徵(SURF)兩種方法偵測自然環境中的區域影像特徵(local or region image features),包括特徵的點座標與方向描述,達到直接辨識障礙物的功能,提供機器人定位與避障機制之用。 |
英文摘要 |
The aim of this thesis is to conduct the research of cognition of environments for an autonomous robot. A CMOS robot vision system is utilized to capture the image of the environments, and the image processing algorithms for feature detection and tracking are applied to form a mechanism for the robot to cognize the surrounding environment. The research is divided into two stages: in the first stage, the spot characteristics or point features in the natural environment will be detected and tracked. The three dimensional coordinates of the point features are calculated for the robot to carry out the tasks of localization and map building. Furthermore, the point features nearby are gathered into a cluster and treated as an obstacle in the environments, which is distinct from the feasible paths for robot motion. In the second stage, the methods of Scale Invariant Feature Transform (SIFT) and Speed Up Robust Features (SURF) are employed to recognize and track the region phantom characteristic or region image features, including coordinates and directional descriptor of the interest point. The purpose of the second research stage is to construct the capability of recognition and avoiding of obstacles simultaneously for the robot system. |
第三語言摘要 | |
論文目次 |
目錄 中文摘要………………………………………………………………Ⅰ 英文摘要………………………………………………………………Ⅱ 目錄……………………………………………………………………Ⅲ 第一章 序論……………………………………………………………1 1.1 研究動機與研究目的……………………………………………1 1.2 文獻探討……………………………………………………………2 1.3 研究範圍……………………………………………………………3 1.4 論文架構……………………………………………………………4 第二章 影像點特徵之偵測與追蹤……………………………………5 2.1 影像特徵點偵測與選取……………………………………………5 2.2 影像特徵點追蹤……………………………………………………6 2.3 金字塔式影像特徵追蹤……………………………………………9 2.3.1遞迴式光流計算方法…………………………………………12 2.3.2金字塔式影像特徵追蹤演算法流程…………………………15 2.4 KLT影像特徵偵測與追蹤方法之實現……………………………16 2.5 特徵點遺失的處理………………………………………………18 2.6 點特徵偵測與追蹤範例……………………………………19 第三章 影像區域特徵之偵測與追蹤…………………………………20 3.1 尺度不變特徵轉換(SIFT)………………………………………20 3.1.1 特徵點的偵測………………………………………………20 3.1.2 特徵點的精準定位…………………………………………22 3.1.3 特徵點的描述………………………………………………24 3.1.4 SIFT的實現…………………………………………………25 3.2 加速強健特徵(SURF)……………………………………………26 3.2.1 積分影像……………………………………………………26 3.2.2 以Hessian矩陣為基礎的興趣點……………………………27 3.2.3 尺度空間的表示……………………………………………27 3.2.4 興趣點的定位………………………………………………28 3.2.5 方位的分配…………………………………………………28 3.2.6 計算興趣點的特徵向量……………………………………30 3.2.7 SURF的實現…………………………………………………31 3.3 區域特徵比對……………………………………………………32 3.4 SIFT與SURF特徵偵測程序………………………………………32 第四章 系統設備.……………………………………………………34 4.1 雙眼視覺機器人系統……………………………………………34 4.2 雙眼視覺兩輪機器移動平台機構設計…………………………34 4.3 影像處理軟體……………………………………………………37 4.4 雙眼視覺機器人電路系統………………………………………37 4.4.1 兩輪機器人控制晶片及雙眼伺服馬達控制電路…………39 4.4.2 18F4331微處理晶片周邊電路……………………………40 4.4.3 降壓電路與邏輯閘…………………………………………41 4.4.4 串列通訊電路………………………………………………42 4.4.5 正交編碼器(QEI模組)………………………………………43 4.4.6 兩輪移動平台驅動電路……………………………………44 第五章 實驗結果與分析………………………………………………47 5.1 KLT室內點特徵偵測與追蹤………………………………………47 5.2 KLT室外點特徵偵測與追蹤………………………………………47 5.3 特徵一致性的分析………………………………………………50 5.4 特徵追蹤於機器人自我定位之應用……………………………51 5.5 SURF區域特徵偵測………………………………………………52 5.6 物件特徵辨識與追蹤……………………………………………54 第六章 研究成果與討論.……………………………………………56 6.1 研究成果…………………………………………………………56 6.2 未來研究方向……………………………………………………56 參考文獻………………………………………………………………57 圖目錄 圖1.1 處在模擬居家環境中的機器人(a)……………………………1 圖1.1 處在模擬居家環境中的機器人(b)……………………………1 圖2.1 金字塔圖層……………………………………………………11 圖2.2 金字塔影像圖層之間的關係…………………………………11 圖2.3 虛擬像素………………………………………………………12 圖2.4 各層像素位移值計算…………………………………………12 圖2.5 Birchfield KLT 1.3.4版C程式架構規劃……………………18 圖2.6 金字塔影像圖層建構…………………………………………18 圖2.7 特徵偵測與追蹤範例(a)………………………………………19 圖2.7 特徵偵測與追蹤範例(b)………………………………………19 圖3.1 計算高斯差異圖………………………………………………21 圖3.2 多個高斯差異圖………………………………………………21 圖3.3 多音階高斯差異圖[Lowe 2004]………………………………22 圖3.4 特徵點之極大與極小值的比對………………………………22 圖3.5 影像梯度………………………………………………………24 圖3.6 方位歸屬區域圖………………………………………………25 圖3.7 特徵點之特性描述……………………………………………25 圖3.8 Vedaldi的SIFT 0.9.11版程式………………………………25 圖3.9 積分影像定義…………………………………………………26 圖3.10 積分影像應用…………………………………………………26 圖3.11 9×9盒子濾波器………………………………………………27 圖3.12 SIFT與SURF尺度空間變化的差異[Bay et al. 2008]……28 圖3.13 Haar小波濾波器………………………………………………29 圖3.14 興趣點的方位分配……………………………………………29 圖3.15 興趣點的特性描述……………………………………………30 圖3.16 SIFT與SURF對於干擾的強健性比較[Bay et al. 2008]…30 圖3.17 Bay et al. 實現SURF的程式架構…………………………31 圖3.18 興趣點的座標與特徵向量……………………………………31 圖3.19 SIFT特徵比對結果……………………………………………32 圖3.20(a) SURF特徵偵測的興趣點…………………………………33 圖3.20(b) SURF特徵比對結果………………………………………33 圖4.1 雙眼視覺機器人機構…………………………………………35 圖4.2 雙眼視覺頭部機構……………………………………………35 圖4.3 頭部左右旋轉自由度…………………………………………36 圖4.4 視角上下旋轉自由度…………………………………………36 圖4.5 嘴巴張開閉合自由度…………………………………………37 圖4.6 微處理器工作流程……………………………………………38 圖4.7 命令格式………………………………………………………38 圖4.8 兩輪機器人控制晶片整體電路………………………………39 圖4.9 兩輪機器人控制晶片實體電路………………………………40 圖4.10 微處理晶片周邊電路…………………………………………41 圖4.11 微處理晶片程式處理流程……………………………………41 圖4.12 降壓電路………………………………………………………42 圖4.13 邏輯閘74SL14電路……………………………………………42 圖4.14 準位轉換示意圖………………………………………………43 圖4.15 SHARP PC817內部示意圖……………………………………43 圖4.16 串列通訊電路…………………………………………………43 圖4.17 QEI功能模組電路……………………………………………44 圖4.18 LMD18200內部邏輯電路………………………………………45 圖4.19 LMD18200腳位接腳……………………………………………45 圖4.20 LMD18200驅動電路圖…………………………………………46 圖4.21 LMD18200實體電路……………………………………………46 圖5.1(a) ………………………………………………………………48 圖5.1(b)………………………………………………………………48 圖5.1(c)……………………………………………………........48 圖5.1(d)…………………………………………………….........48 圖5.1(e)…………………………………………………….........48 圖5.1(f)…………………………………………………..........48 圖5.1(g)………………………………………………………………48 圖5.1(h)………………………………………………………………48 圖5.2(a)………………………………………………………………49 圖5.2(b)………………………………………………………………49 圖5.2(c)…………………………………………………….........49 圖5.2(d)…………………………………………………….........49 圖5.2(e)…………………………………………………….........49 圖5.2(f)…………………………………………………..........49 圖5.2(g)………………………………………………………………49 圖5.2(h)………………………………………………………………49 圖5.3 特徵一致性檢測[Birchfield 1997]…………………………50 圖5.4 室外特徵追蹤效率……………………………………………51 圖5.5 室內特徵追蹤效率……………………………………………51 圖5.6 室外特徵追蹤效率,填補遺失特徵…………………………52 圖5.7 室內特徵追蹤效率,填補遺失特徵…………………………52 圖5.8 不限定比對比例(all 74 points matched)…………………53 圖5.9 限定比對比例 < 0.9 (33 points matched)………………53 圖5.10 限定比對比例 < 0.8 (20 points matched)………………53 圖5.11(a) SURF對於中文字的偵測與追蹤(不限定比對比例)...54. 圖5.11(b) SURF對於中文字的偵測與追蹤,限定比對比例 < 0.9.54 圖5.12(a) SURF對於標章的偵測與追蹤(不限定比對比例)………54 圖5.12(b) SURF對於標章的偵測與追蹤,限定比對比例 < 0.9…55 圖5.13 SURF對於圖畫的偵測與追蹤(限定比對比例<0.9)…………55 表目錄 表5.1 C函式執行速度…………………………………………………51 |
參考文獻 |
[1] Bay, H., T. Tuytelaars, and L. Van Gool, 2006, SURF: Speeded Up Robust Features, Proceedings of the 9th European Conference on Computer Vision, Springer LNCS volume 3951, part 1, pp. 404-417. [2] Bay, H., A. Ess, T. Tuytelaars, L. Van Gool, 2008, SURF: speeded up robust features, Computer Vision and Image Understanding, vol.110, pp.346-359. [3] Birchfield, S., 1997, An Implementation of the Kanade-Lucas-Tomasi Feature Tracker, Website, http://www. ces.clemson.edu/~stb/klt/. [4] Bouguet, J.Y., 1997, Pyramidal Implementation of the Lucas Kanade Feature Tracker, Website: http://robots.stanford.edu/cs223b04/algo_tracking.pdf. [5] Baumberg, A., 2000, Reliable feature matching across widely separated views, Proceedings Computer Vision and Pattern Recognition, pp.774-781. [6] Chang, W.-C., 2007, Precise Positioning of Binocular Eye-to-Hand Robotic Manipulators, Journal of Intelligent and Robotic Systems, vol.49, pp.219-236. [7] Davison, A.J., I.D. Reid, N.D. Molton, and O. Stasse, 2007, MonoSLAM: Real-Time Single Camera SLAM, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067. [8] Harris, C., and M. Stephens, 1988, A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference: pages 147-151. [9] Lindeberg, T., 1998, Feature detection with automatic scale selection, International Journal of Computer Vision, vol.30, no.2, pp79-116. [10] Lowe, D.G., 1999, Object recognition from local scale-invariant features, Proceedings of International Conference on Computer Vision, pp.1150-1157. [11] Lowe, D.G., 2004, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2, pp. 91-110. [12] Mikolajczyk, K., and C. Schmid, 2001, Indexing based on scale invariant interest points, Proceedings of International Conference on Computer Vision, vol.1, pp.525-531. [13] Mikolajczyk, K., and C. Schmid, 2003, A performance evaluation of local descriptors, Proceedings Computer Vision and Pattern Recognition, pp.257-263. [14] Moravec, H., 1980, Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover, Tech Report CMU-RI-TR-3 Carnegie-Mellon University, Robotics Institute. [15] Murillo, A.C., J.J. Guerrero, amd C. Sagues, 2007, SURF features for efficient robot localization with omnidirectional images, Proceedings IEEE International Conference on Robotics and Automation, pp.3901-3907. [16] Siegwart, R. and I.R. Nourbakhsh., 2004, Introduction to Autonomous Mobile Robots, MIT Press. [17] Shi, J. and C. Tomasi., 1994, Good features to track, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600. [18] SURF website, Computer Vision Laboratory, ETH, http://www.vision.ee.ethz.ch/~surf/ [19] Vedaldi, A., 2008, http://vision.ucla.edu/~vedaldi/code/sift/sift.html [20] Wu, C.Y., and L.C. Fu, 2007, An integrated robotic vSLAM system to realize exploration in large indoor environment, Proceedings CACS International Automatic Control Conference. [21] Zhang, Z., 1994, Determining the Epipolar Geometry and its Uncertainty: A Review, Research Report, No.2927, INRIA Sophia-Antipolis. [22] 黃鈴凱,以手勢辨識進行人類與機器人之間的非言語互動,碩士論文,淡江大學機械與機電工程學系,民國九十六年六月。 [23] 王人蔚,具單眼視覺的人型機器人之自我定位與避障,碩士論文,淡江大學機械與機電工程學系,九十七年七月。 [24] 謝睿仁,整合GPS自我定位與視覺伺服控制的自主機器人,碩士論文,淡江大學機械與機電工程學系,九十七年七月。 [25] 陳義智,多機器人平台之研發,碩士論文,淡江大學機械與機電工程學系,九十七年七月。 [26] 李廷軒,應用於機器人導航與控制之室內三維地圖視覺重建,碩士論文,國立台北科技大學電機工程研究所,民國九十六年七月。 |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信