淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0612201214311000
中文論文名稱 加強型SIFT與傳統型Hough Transform於人形機器人視覺自動導引的目標抓取之比較
英文論文名稱 A Comparison of Vision-Based Autonomous Navigation for Target Grasping of Humanoid Robot by Enhanced SIFT and Traditional HT Algorithms
校院名稱 淡江大學
系所名稱(中) 電機工程學系碩士班
系所名稱(英) Department of Electrical Engineering
學年度 101
學期 1
出版年 102
研究生中文姓名 蘇上凱
研究生英文姓名 Shang-Kai Su
學號 699470380
學位類別 碩士
語文別 中文
口試日期 2012-12-05
論文頁數 80頁
口試委員 指導教授-黃志良
委員-施慶隆
委員-蔡奇謚
中文關鍵字 尺度不變特徵轉換  3D環境自主立體視覺  多層類神經網路建模  霍夫轉換  視覺導引  目標物抓取  人形機器人 
英文關鍵字 SIFT  Active stereo vision for 3-D localization  Modeling using multilayer neural network  Hough transform  Visual navigation  Target grasping  Humanoid robot 
學科別分類 學科別應用科學電機及電子
中文摘要 本論文運用兩個單板電腦PICO820和Roborad-100及兩個網路攝影機C905(其可辨識距離約4米),實現加強型SIFT與傳統型Hough Transform於人形機器人視覺自動導引的目標抓取之比較。其中目標被放置於視覺系統可辨識距離之外(例如,約10米)的未知的三維位置。
首先經由攝影機擷取影像並傳輸至單板電腦PICO820以進行相關影像處理(例如,將彩色影像轉換為灰階影像,以利SIFT之運算並辨識相關之地標),並計算地標中心點之影像座標,將其輸入至事先學習好的類神經網路以獲取其相對應之世界座標,藉此估算人形機器人所在之絕對世界座標,經過與預先規劃的路徑比較後,機器人就可以自主地修正其所在位置,以導正到預先設定的路徑上。經過事先安排的地標,獲取其相關絕對世界座標,並經由特定目標之搜尋,以完成目標抓取之任務。此外,當機器人到達目標附近約12公分後,將目標所估算的世界座標輸入至事先學習好的類神經網路以估算其左右手之馬達角度,以利機器人進行目標抓取的動作。
最常見也最為經典的長廊之視覺導引即是應用Hough Transform (HT)以進行其直線邊緣之偵測,並沿著所偵測的直線導引人形機器人行走。因此也在相同環境中進行加強型SIFT(即以SIFT辨識相關之地標及以類神經網路之三維定位)與傳統型Hough Transform於人形機器人視覺自動導引的目標抓取之比較。最後,各以兩個實驗比較相關優劣。
英文摘要 This thesis realizes the humanoid robotic system to execute the target grasping (TG) in the unknown 3-D world coordinate, which is far away from the recognizable distance of vision system or is invisible by the block of building. Suitable landmarks with known 3-D world coordinates are arranged to appropriate locations or learned along the path of experimental environment. Before detecting and recognizing the landmark (LM), the HR is navigated by the pre-planned trajectory to reach the vicinity of arranged LMs. After the recognition of the specific LM via scale-invariant feature transform (SIFT), the corresponding pre-trained multilayer neural network (MLNN) is employed to on-line obtain the relative distance between the HR and the specific LM. Based on the modification of localization through LMs and the target search, the HR can be correctly navigated to the neighbor of the target. Because the inverse kinematics (IK) of two arms is time consuming, another off-line modeling by MLNN is also applied to approximate the transform between the estimated ground truth of target and the joint coordinate of arm. Finally, the comparisons between the so-called enhanced SIFT and traditional Hough transform (HT) for the detection of straight line to navigate the HR the execution of target grasping confirm the effectiveness and efficiency of the proposed method.
論文目次 目錄
中文摘要…………..………………………….…………………………I
英文摘要………….……………………………………………………II
目錄………………….…………………………………………………III
圖目錄……………….………………………………………………...VI
表目錄……….………………………………………………………...IX
第一章 緒論 1
1.1 研究背景 1
1.2 研究目的及動機 2
1.3 論文架構 3
第二章 實驗系統介紹 4
2.1硬體 4
2.2機器人架構 9
2.3機器人運動控制介面與策略端介面 11
2.4研究任務 13
第三章 SIFT辨識與利用地標定位 16
3.1 影像擷取 17
3.2.1 尺度空間的極值偵測 18
3.2.2 特徵點定位 20
3.2.3 方向的分配 20
3.2.4 特徵點描述 21
3.3 地標辨識 22
第四章 類神經網路估算世界座標 24
4.1類神經網路特性 24
4.2類神經網路訓練 25
4.3影像座標與世界座標之轉換 26
4.4遠距離類神經網路建模 28
4.5近距離類神經網路建模 35
4.6類神經網路實測 37
第五章 Hough Transform的視覺導引 40
5.1 Hough Transform原理 40
5.2邊緣偵測與Hough Transform 41
5.3實驗環境與導引 43
5.4目標物搜尋 45
第六章 機器人目標物抓取 47
6.1類神經網路估算手部馬達角度 47
6.2手部各顆馬達其限制範圍 49
6.3手部馬達角度之估算結果 50
第七章 機器人導引之策略 52
7.1遠距離之機器人導引 52
7.2近距離之機器人導引 54
7.3 策略封包介紹 55
第八章 實驗結果與討論 56
8.1實驗介紹 56
8.2實驗結果 58
8.2.1 SIFT配合類神經網路估測視覺導引 58
8.2.2 SIFT配合類神經網路估測視覺導引(不同位置) 62
8.2.3 Hough Transform視覺導引 65
8.2.4 Hough Transform視覺導引配合頭部搜尋 69
8.3 討論 73
第九章 結論與未來展望 76
9.2 未來展望 77
參考文獻 78


圖目錄
圖 2.1、機器人系統架構圖 4
圖 2.2、Webcam C905圖 5
圖 2.3、嵌入系統Roboard-100 6
圖 2.4、嵌入式單板電腦PICO820 8
圖 2.5、機器人的照片 9
圖 2.6、機器人23個自由度示意圖 10
圖 2.7、AX-12、RX-28與RX-64馬達 11
圖 2.8、策略端介面 12
圖 2.9、機器人運動控制介面 13
圖 3.1、實驗環境示意圖 16
圖 3.2、Gaussian與DoG 結構 19
圖 3.3、檢測DoG 圖像中的最大值與最小值為key-point 20
圖 3.4、key-point 區域 21
圖 3.5、地標1(滅火器)、地標2(花卉)及地標3(海報) 22
圖 4.1、雙攝影機示意圖 26
圖 4.2、雙眼鏡頭之遠距離可視範圍示意圖 27
圖 4.3、雙眼鏡頭之近距離可視範圍示意圖 28
圖 4.4、類神經網路資料取樣建模圖 29
圖 4.5、多層感知器類神經網路架構 30
圖 4.6、多層感知器類神經網路訓練結果圖 31
圖 4.7、200, 220及240cm遠距離之輸出結果與原始目標之比較圖 32
圖 4.8、280, 300及320cm遠距離之輸出結果與原始目標之比較圖 32
圖 4.9、360, 380及400cm遠距離之輸出結果與原始目標之比較圖 33
圖 4.10、200, 220及240cm遠距離類神經網路之誤差分析圖 34
圖 4.11、280, 300及320cm遠距離類神經網路之誤差分析圖 34
圖 4.12、360, 380及400cm遠距離類神經網路之誤差分析圖 35
圖 4.13、近距離之輸出結果與原始目標之比較圖 36
圖 4.14、近距離類神經網路之誤差分析圖 36
圖 5.1、影像處理流程圖 40
圖 5.2、走廊的彩色影像與轉灰階後之影像 41
圖 5.3、Canny邊緣偵測後影像 42
圖 5.4、使用HT取直線後影像 42
圖 5.5、走廊有其他物件與無物件之使用HT取直線後影像 43
圖 5.6、HT實驗環境示意圖 44
圖 5.7、HT邊緣偵測後的邊線判別與導引 45
圖 5.8、搜尋方向示意圖 46
圖 6.1、估算手部馬達角度之類神經網路架構圖 47
圖 6.2、手部馬達角度建模示意圖 48
圖 6.3、類神經網路估算左右手馬達角度示意圖 49
圖 6.4、左手類神經網路估算馬達角度結果分析圖 51
圖 6.5、右手類神經網路估算馬達角度結果分析圖 51
圖 7.1、計算目標物與機器人方向及距離示意圖 53
圖 7.2、近距離導引示意圖 55
圖 8.1、SIFT配合類神經網路任務軌跡示意圖 59
圖 8.2、第二組SIFT配合類神經網路任務軌跡示意圖 62
圖 8.3、Hough Transform視覺導引任務軌跡示意圖 66
圖 8.4、Hough Transform配合頭部搜尋導引任務軌跡示意圖 70
圖 8.5、四組實驗的距離與時間關係圖 74


表目錄
表 2.1、Webcam相關規格需求表 5
表 2.2、嵌入系統Roboard-100規格表 7
表 2.3、PICO820規格表 9
表 3.1、尺度變化、旋轉及燈光變化的測試結果 23
表 4.1、地標1使用SIFT配合類神經網路估算結果 37
表 4.2、地標2使用SIFT配合類神經網路估算結果 38
表 4.3、地標3使用SIFT配合類神經網路估算結果 39
表 7.1、策略封包介紹 56
表 8.1、SIFT配合類神經網路任務實驗結果圖 61
表 8.2、第二組SIFT配合類神經網路任務實驗結果圖 64
表 8.3、Hough Transform視覺導引任務實驗結果圖 68
表 8.4、Hough Transform配合頭部搜尋導引任務實驗成果圖 72
參考文獻 [1] W. F. Xie, Z. Li, X. W. Tu and C. Perron, “Switching control of image-based visual servoing with laser pointer in robotic manufacturing systems,” IEEE Trans. Ind. Electron., vol. 56, no. 2, pp. 520-529, Feb. 2009.
[2] M. Ralph and M. A. Moussa, “An integrated system for user-adaptive robotic grasping”, IEEE Trans. Robotics, vol. 26, no. 4, pp. 698-709, Aug. 2010.
[3] Y. Wang, H. Lang, and C. W. de Silva, “A hybrid visual servo controller for robust grasping by wheeled mobile robots,” IEEE Trans. Mechatronics, vol. 15, no. 5, pp. 757-769, Oct. 2010.
[4] M. Sonka, V. Hiavac and R. Boyle, Image Processing, Analysis, and Machine Vision, 3rd Ed., Cengage Learning, 2008.
[5] E. Ribnick, S. Atev and N. P. Papanikolopoulos, “Estimating 3D positions and velocities of projectiles from monocular views,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 31, no. 5, pp. 938-944, May 2009.
[6] J. Kassebaum, N. Bulusu and W. C. Feng , “3-D target-based distributed smart camera network localization,” IEEE Trans. Image Processing, vol. 19, no. 10, pp. 2530-2539, 2010.
[7] A. Andreopoulos, S. Hasler, H. Wersing, H. Janssen, J. K. Tsotsos and E. K‥orner, “Active 3D object localization using a humanoid robot,” IEEE Trans. Robotics, vol. 27, no. 1, pp. 47-64, Feb. 2011.
[8] Y. Shen, D. Xu, M. Tan and J. Yu, “Mixed visual control method for robots with self-calibrated stereo rig,” IEEE Trans. Instrum. Meas., vol. 59, no. 2, pp. 470-479, Feb. 2010.
[9] C. Harris and M. J. Stephens, “A combined corner and edge detector,”in Proc. Avley Vis. Conf., 1988, pp. 147–152.
[10] D. G. Lowe, “Distinctive features from scale-invariant keypoints,” International Journal of Computer Vision, vol. 60, no. 2, pp. 91–110, 2004.
[11] S. Se, D. G. Lowe, and J. J. Little, “Vision-based global localization and mapping for mobile robots,” IEEE Trans. Robot., vol. 21, no. 3, pp. 364–375, Jun. 2005.
[12] K. C. Chen and W. H. Tsai, “Vision-based autonomous vehicle guidance for indoor security patrolling by a SIFT-based vehicle-localization technique,” IEEE Trans. Vehicle Technol., vol. 59, no. 7, pp. 3261-3275, Sep. 2010.
[13] L. Juan and O. Gwun, “A comparison of SIFT, PCA- SIFT and SURF,” International Journal of Image Processing, vol. 3, no. 4, pp. 143-151, 2009.
[14] F. C. Huang, S. Y. Huang, J. W. Ker and Y. C. Chen, “High-performance SIFT hardware accelerator for real- time image feature extraction,” IEEE Trans. Circuits Syst. Video Technol., vol. 22, no. 3, pp. 340-349, Mar. 2012.
[15] E. Tuci, G. Massera, and S. Nolfi, “Active categorical perception of object shapes in a simulated anthropomorphic robotic arm”, IEEE Trans. Evol. Comp., vol. 14, no. 6, pp. 885-899, Dec. 2010.
[16] D. Wang, H. Leung, A. P. Kurian, H. J. Kim and H. Yoon “A deconvolutive neural network for speech classification with applications to home service robot “, IEEE Trans. Instrumentation and Measurement, vol. 59, no. 12, pp. 3237-3243, Dec. 2010.
[17] S. M. Khansari-Zadeh and F. Saghafi, “Vision-based navigation in autonomous close proximity operations using neural networks”, IEEE Trans. Aero. & Electronic Syst., vol. 47, no.2, pp. 864-883, Apr. 2011.
[18] S. Bhasin, K. Dupree, P.M. Patre and W.E. Dixon, “Neural network control of a robot interacting with an uncertain viscoelastic environment,” IEEE Trans. Contr. Syst. Technol., vol. 19, no. 4, pp. 947-955, Jul. 2011.
[19] C. L. Hwang, N. W. Lu, T. C. Hsu and C. H. Huang, “Penalty kick of a humanoid robot by a neural- network-based active embedded vision system,” IEEE Int. Conf. of SCIE, pp. 2291-2299, Taipei, Taiwan, Aug. 18-21, 2010.
[20] A. Diosi, S. Šegvi′c, A. Remazeilles and F. Chaumette, “Experimental evaluation of autonomous driving based on visual memory and image-based visual servoing,” IEEE Trans. Intelligent Transportation Syst., vol. 12, no. 3, pp. 870-883, Sep. 2011.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2012-12-07公開。
  • 同意授權瀏覽/列印電子全文服務,於2012-12-07起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信