本論文運用兩個單板電腦PICO820和Roborad-100及兩個網路攝影機C905(其可辨識距離約4米)，實現加強型SIFT與傳統型Hough Transform於人形機器人視覺自動導引的目標抓取之比較。其中目標被放置於視覺系統可辨識距離之外(例如，約10米)的未知的三維位置。
    首先經由攝影機擷取影像並傳輸至單板電腦PICO820以進行相關影像處理(例如，將彩色影像轉換為灰階影像，以利SIFT之運算並辨識相關之地標)，並計算地標中心點之影像座標，將其輸入至事先學習好的類神經網路以獲取其相對應之世界座標，藉此估算人形機器人所在之絕對世界座標，經過與預先規劃的路徑比較後，機器人就可以自主地修正其所在位置，以導正到預先設定的路徑上。經過事先安排的地標，獲取其相關絕對世界座標，並經由特定目標之搜尋，以完成目標抓取之任務。此外，當機器人到達目標附近約12公分後，將目標所估算的世界座標輸入至事先學習好的類神經網路以估算其左右手之馬達角度，以利機器人進行目標抓取的動作。
    最常見也最為經典的長廊之視覺導引即是應用Hough Transform (HT)以進行其直線邊緣之偵測，並沿著所偵測的直線導引人形機器人行走。因此也在相同環境中進行加強型SIFT(即以SIFT辨識相關之地標及以類神經網路之三維定位)與傳統型Hough Transform於人形機器人視覺自動導引的目標抓取之比較。最後，各以兩個實驗比較相關優劣。

This thesis realizes the humanoid robotic system to execute the target grasping (TG) in the unknown 3-D world coordinate, which is far away from the recognizable distance of vision system or is invisible by the block of building. Suitable landmarks with known 3-D world coordinates are arranged to appropriate locations or learned along the path of experimental environment. Before detecting and recognizing the landmark (LM), the HR is navigated by the pre-planned trajectory to reach the vicinity of arranged LMs. After the recognition of the specific LM via scale-invariant feature transform (SIFT), the corresponding pre-trained multilayer neural network (MLNN) is employed to on-line obtain the relative distance between the HR and the specific LM. Based on the modification of localization through LMs and the target search, the HR can be correctly navigated to the neighbor of the target. Because the inverse kinematics (IK) of two arms is time consuming, another off-line modeling by MLNN is also applied to approximate the transform between the estimated ground truth of target and the joint coordinate of arm. Finally, the comparisons between the so-called enhanced SIFT and traditional Hough transform (HT) for the detection of straight line to navigate the HR the execution of target grasping confirm the effectiveness and efficiency of the proposed method.

目錄
中文摘要…………..………………………….…………………………I
英文摘要………….……………………………………………………II
目錄………………….…………………………………………………III
圖目錄……………….………………………………………………...VI
表目錄……….………………………………………………………...IX
第一章 緒論	1
1.1 研究背景	1
1.2 研究目的及動機	2
1.3 論文架構	3
第二章	實驗系統介紹	4
2.1硬體	4
2.2機器人架構	9
2.3機器人運動控制介面與策略端介面	11
2.4研究任務	13
第三章	SIFT辨識與利用地標定位	16
3.1	影像擷取	17
3.2.1	尺度空間的極值偵測	18
3.2.2	特徵點定位	20
3.2.3	方向的分配	20
3.2.4	特徵點描述	21
3.3	地標辨識	22
第四章	類神經網路估算世界座標	24
4.1類神經網路特性	24
4.2類神經網路訓練	25
4.3影像座標與世界座標之轉換	26
4.4遠距離類神經網路建模	28
4.5近距離類神經網路建模	35
4.6類神經網路實測	37
第五章 Hough Transform的視覺導引	40
5.1	Hough Transform原理	40
5.2邊緣偵測與Hough Transform	41
5.3實驗環境與導引	43
5.4目標物搜尋	45
第六章	機器人目標物抓取	47
6.1類神經網路估算手部馬達角度	47
6.2手部各顆馬達其限制範圍	49
6.3手部馬達角度之估算結果	50
第七章	機器人導引之策略	52
7.1遠距離之機器人導引	52
7.2近距離之機器人導引	54
7.3 策略封包介紹	55
第八章	實驗結果與討論	56
8.1實驗介紹	56
8.2實驗結果	58
8.2.1	SIFT配合類神經網路估測視覺導引	58
8.2.2	SIFT配合類神經網路估測視覺導引(不同位置)	62
8.2.3	Hough Transform視覺導引	65
8.2.4	Hough Transform視覺導引配合頭部搜尋	69
8.3 討論	73
第九章	結論與未來展望	76
9.2 未來展望	77
參考文獻	78

 
圖目錄
圖 2.1、機器人系統架構圖	4
圖 2.2、Webcam C905圖	5
圖 2.3、嵌入系統Roboard-100	6
圖 2.4、嵌入式單板電腦PICO820	8
圖 2.5、機器人的照片	9
圖 2.6、機器人23個自由度示意圖	10
圖 2.7、AX-12、RX-28與RX-64馬達	11
圖 2.8、策略端介面	12
圖 2.9、機器人運動控制介面	13
圖 3.1、實驗環境示意圖	16
圖 3.2、Gaussian與DoG 結構	19
圖 3.3、檢測DoG 圖像中的最大值與最小值為key-point	20
圖 3.4、key-point 區域	21
圖 3.5、地標1(滅火器)、地標2(花卉)及地標3(海報)	22
圖 4.1、雙攝影機示意圖	26
圖 4.2、雙眼鏡頭之遠距離可視範圍示意圖	27
圖 4.3、雙眼鏡頭之近距離可視範圍示意圖	28
圖 4.4、類神經網路資料取樣建模圖	29
圖 4.5、多層感知器類神經網路架構	30
圖 4.6、多層感知器類神經網路訓練結果圖	31
圖 4.7、200, 220及240cm遠距離之輸出結果與原始目標之比較圖	32
圖 4.8、280, 300及320cm遠距離之輸出結果與原始目標之比較圖	32
圖 4.9、360, 380及400cm遠距離之輸出結果與原始目標之比較圖	33
圖 4.10、200, 220及240cm遠距離類神經網路之誤差分析圖	34
圖 4.11、280, 300及320cm遠距離類神經網路之誤差分析圖	34
圖 4.12、360, 380及400cm遠距離類神經網路之誤差分析圖	35
圖 4.13、近距離之輸出結果與原始目標之比較圖	36
圖 4.14、近距離類神經網路之誤差分析圖	36
圖 5.1、影像處理流程圖	40
圖 5.2、走廊的彩色影像與轉灰階後之影像	41
圖 5.3、Canny邊緣偵測後影像	42
圖 5.4、使用HT取直線後影像	42
圖 5.5、走廊有其他物件與無物件之使用HT取直線後影像	43
圖 5.6、HT實驗環境示意圖	44
圖 5.7、HT邊緣偵測後的邊線判別與導引	45
圖 5.8、搜尋方向示意圖	46
圖 6.1、估算手部馬達角度之類神經網路架構圖	47
圖 6.2、手部馬達角度建模示意圖	48
圖 6.3、類神經網路估算左右手馬達角度示意圖	49
圖 6.4、左手類神經網路估算馬達角度結果分析圖	51
圖 6.5、右手類神經網路估算馬達角度結果分析圖	51
圖 7.1、計算目標物與機器人方向及距離示意圖	53
圖 7.2、近距離導引示意圖	55
圖 8.1、SIFT配合類神經網路任務軌跡示意圖	59
圖 8.2、第二組SIFT配合類神經網路任務軌跡示意圖	62
圖 8.3、Hough Transform視覺導引任務軌跡示意圖	66
圖 8.4、Hough Transform配合頭部搜尋導引任務軌跡示意圖	70
圖 8.5、四組實驗的距離與時間關係圖	74

 
表目錄
表 2.1、Webcam相關規格需求表	5
表 2.2、嵌入系統Roboard-100規格表	7
表 2.3、PICO820規格表	9
表 3.1、尺度變化、旋轉及燈光變化的測試結果	23
表 4.1、地標1使用SIFT配合類神經網路估算結果	37
表 4.2、地標2使用SIFT配合類神經網路估算結果	38
表 4.3、地標3使用SIFT配合類神經網路估算結果	39
表 7.1、策略封包介紹	56
表 8.1、SIFT配合類神經網路任務實驗結果圖	61
表 8.2、第二組SIFT配合類神經網路任務實驗結果圖	64
表 8.3、Hough Transform視覺導引任務實驗結果圖	68
表 8.4、Hough Transform配合頭部搜尋導引任務實驗成果圖	72

[1]	W. F. Xie,  Z. Li, X. W. Tu  and C. Perron, “Switching control of image-based visual servoing with laser pointer in robotic manufacturing systems,” IEEE Trans. Ind. Electron., vol. 56, no. 2, pp. 520-529, Feb. 2009.
[2]	M. Ralph and M. A. Moussa, “An integrated system for user-adaptive robotic grasping”, IEEE Trans. Robotics, vol. 26, no. 4, pp. 698-709, Aug. 2010.
[3]	Y. Wang, H. Lang, and C. W. de Silva, “A hybrid visual servo controller for robust grasping by wheeled mobile robots,” IEEE Trans. Mechatronics, vol. 15, no. 5, pp. 757-769, Oct. 2010.
[4] 	M. Sonka, V. Hiavac and R. Boyle, Image Processing, Analysis, and Machine Vision, 3rd Ed., Cengage Learning, 2008.
[5]	E. Ribnick, S. Atev and N. P. Papanikolopoulos, “Estimating 3D positions and velocities of projectiles from monocular views,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 31, no. 5, pp. 938-944, May 2009.
[6]	J. Kassebaum, N. Bulusu and W. C. Feng , “3-D target-based distributed smart camera network localization,” IEEE Trans. Image Processing, vol. 19, no. 10, pp. 2530-2539, 2010. 
[7]	A. Andreopoulos, S. Hasler, H. Wersing, H. Janssen, J. K. Tsotsos and E. K‥orner, “Active 3D object localization using a humanoid robot,” IEEE Trans. Robotics, vol. 27, no. 1, pp. 47-64, Feb. 2011.
[8]	Y. Shen, D. Xu, M. Tan and J. Yu, “Mixed visual control method for robots with self-calibrated stereo rig,” IEEE Trans. Instrum. Meas., vol. 59, no. 2, pp. 470-479, Feb. 2010. 
[9]	C. Harris and M. J. Stephens, “A combined corner and edge detector,”in Proc. Avley Vis. Conf., 1988, pp. 147–152.
[10]	D. G. Lowe, “Distinctive features from scale-invariant keypoints,” International Journal of Computer Vision, vol. 60, no. 2, pp. 91–110, 2004.
[11]	S. Se, D. G. Lowe, and J. J. Little, “Vision-based global localization and mapping for mobile robots,” IEEE Trans. Robot., vol. 21, no. 3, pp. 364–375, Jun. 2005.
[12]	K. C. Chen and W. H. Tsai, “Vision-based autonomous vehicle guidance for indoor security patrolling by a SIFT-based vehicle-localization technique,” IEEE Trans. Vehicle Technol., vol. 59, no. 7, pp. 3261-3275, Sep. 2010.
[13]	L. Juan and O. Gwun, “A comparison of SIFT, PCA- SIFT and SURF,” International Journal of Image Processing, vol. 3, no. 4, pp. 143-151, 2009. 
[14]	F. C. Huang, S. Y. Huang, J. W. Ker and Y. C. Chen, “High-performance SIFT hardware accelerator for real- time image feature extraction,” IEEE Trans. Circuits Syst. Video Technol., vol. 22, no. 3, pp. 340-349, Mar. 2012. 
[15]	E. Tuci, G. Massera, and S. Nolfi, “Active categorical perception of object shapes in a simulated anthropomorphic robotic arm”, IEEE Trans. Evol. Comp., vol. 14, no. 6, pp. 885-899, Dec. 2010. 
[16]	D. Wang, H. Leung, A. P. Kurian, H. J. Kim and H. Yoon “A deconvolutive neural network for speech classification with applications to home service robot “, IEEE Trans. Instrumentation and Measurement, vol. 59, no. 12, pp. 3237-3243, Dec. 2010.
[17]	S. M. Khansari-Zadeh and F. Saghafi, “Vision-based navigation in autonomous close proximity operations using neural networks”, IEEE Trans. Aero. & Electronic Syst., vol. 47, no.2, pp. 864-883, Apr. 2011.
[18]	S. Bhasin, K. Dupree, P.M. Patre and W.E. Dixon, “Neural network control of a robot interacting with an uncertain viscoelastic environment,” IEEE Trans. Contr. Syst. Technol., vol. 19, no. 4, pp. 947-955, Jul. 2011.
[19]	C. L. Hwang, N. W. Lu, T. C. Hsu and C. H. Huang, “Penalty kick of a humanoid robot by a neural- network-based active embedded vision system,” IEEE Int. Conf. of SCIE, pp. 2291-2299, Taipei, Taiwan, Aug. 18-21, 2010.
[20]	A. Diosi, S. Šegvi′c, A. Remazeilles and F. Chaumette, “Experimental evaluation of autonomous driving based on visual memory and image-based visual servoing,” IEEE Trans. Intelligent Transportation Syst., vol. 12, no. 3, pp. 870-883, Sep. 2011.