本文實現了以人形機器人以及立體視覺系統執行三維座標之目標物抓取。在實驗一開始，機器人會掃描前方區域並尋找目標，目標物隨機分佈於人形機器人前方一段距離處，當立體視覺系統藉由特定的顏色來判斷目標物後，經過影像處理得到目標物影像重心座標，然後透過中距離視窗的類神經網路估算其三維座標。估算出目標物座標之後，利用幾何運算來判斷目標物的方位、角度以及距離，計算完畢之後下達命來導引機器人至目標物前方，此時將執行近距離之定位並估算機器人之手部馬達角度以執行目標物抓取。
立體視覺系統在建模時利用目標物在左右兩個攝影機所投影之影像重心座標以及其重心之水平座標之差做為網路之輸入，而目標物真實世界三維坐標做為輸出，利用多層感知器類神經網絡（MLNN）並採用Levenberg Marquardt Back Propagation（LMBP）訓練法來建立出一套座標估算關係。
一般而言，機器人抓取物件的任務需推導正反運動學，但是需要較複雜的程序以及較多的時間。因此，我們應用類神經網路將先前任務近距離視窗所估算出目標物的三維座標做為輸入，而左右手的馬達角度做為輸出，如此將機器人前方可抓取區域建模出來，最後經由實驗證實此方法兼具效果及效率，可應用於產業機器人的相關任務。

This thesis realizes the humanoid robotic system to execute the target grasping (TG) in the 3D coordinate. In the beginning, the HR scans the field to find the target, which is randomly distributed in the 3D coordinate before the HR. 
If a command for the grasp of the target with specific color is assigned, the HR will be navigated by a stereo vision system (SVS). After the HR reaches the vicinity of a planned posture, the task of TG by the HR will be executed. One of the important contribution of this thesis is that the transform between the target in the left and right image plane coordinates of the SVS and the target in the XYZ world coordinate is approximated by multilayer neural network (MLNN) via Levenberg Marquardt Back Propagation (LMBP) training law. 
Because the inverse kinematics (IK) of the arm is time consuming for the real time task, a modeling using MLNN with different weighting matrix is employed to approximate the transform between the estimated ground truth and the four joints coordinate of the arm. Finally, a sequence of experiments for the navigation of an HR to execute the task of TG confirm the effectiveness and efficiency of the propose methodology.

中文摘要 I
英文摘要 II
目錄 III
圖目錄 VI
表目錄 IX

目錄
第一章 緒論 1
1.1 研究背景 1
1.2 研究目的及動機 2
1.3 論文架構 3
第二章 實驗系統介紹 4
2.1硬體介紹 4
2.2機器人架構介紹 9
2.3機器人運動控制介面與策略端介面之介紹 11
2.4研究任務介紹 13
第三章 影像辨識與處理 16
3.1影像擷取 17
3.2影像切割與二值化 18
3.3形態學影像處理 20
3.4貼標籤並計算目標中心和面積 23
第四章 類神經網路估算世界座標 26
4.1類神經網路特性 26
4.2類神經網路訓練 27
4.3影像座標與世界座標之轉換 28
4.4中距離類神經網路建模 30
4.5近距離類神經網路建模 33
第五章 機器人目標物抓取 36
5.1類神經網路估算手部馬達角度 36
5.2手部各顆馬達其限制範圍 38
5.3手部馬達角度之估算結果 39
第六章 機器人導引之策略 41
6.1中距離之機器人導引 41
6.2近距離之機器人導引 44
6.3 策略封包介紹 45
第七章 實驗結果與討論 48
7.1實驗介紹 48
7.2實驗結果 49
第八章 結論與未來展望 55
參考文獻 57

圖目錄
圖2.1 機器人系統架構圖 4
圖2.2 Webcam C905圖 5
圖2.3 嵌入系統Roboard-100 6
圖2.4 嵌入式單板電腦PICO820 8
圖2.5 機器人的照片 10
圖2.6 機器人23個自由度示意圖 10
圖2.7 AX-12、RX-28與RX-64馬達 11
圖2.8 策略端介面 12
圖2.9 機器人運動控制介面 13
圖2.10 實驗整體任務流程圖 15
圖3.1 影像辨識與處理流程圖 17
圖3.2 原始圖片 19
圖3.3 二值化後圖片 19
圖3.4 四近鄰示意圖 20
圖3.5 八近鄰示意圖 20
圖3.6 四近鄰增長示意圖 21
圖3.7 原始二值化後的圖片 22
圖3.8 經過閉合運算後的圖片 22
圖3.9 貼標籤處理流程圖 24
圖3.10 影像處理後示意圖 25
圖3.11 貼標籤後示意圖 25
圖4.1 雙攝影機示意圖 28
圖4.2 雙眼鏡頭之可視範圍示意圖 29
圖4.3 多層感知器類神經網路架構 30
圖4.4 多層感知器類神經網路訓練結果圖 31
圖4.5 中距離之輸出結果與原始目標之比較圖 32
圖4.6 中距離類神經網路之誤差分析圖 33
圖4.7 近距離之輸出結果與原始目標之比較圖 34
圖4.8 近距離類神經網路之誤差分析圖 35
圖5.1 估算手部馬達角度之類神經網路架構圖 36
圖5.2 手部馬達角度建模示意圖 37
圖5.3 類神經網路估算左右手馬達角度示意圖 38
圖5.4 左手類神經網路估算馬達角度結果分析圖 40
圖5.5 右手類神經網路估算馬達角度結果分析圖 40
圖6.1 計算目標物與機器人方向及距離示意圖 42
圖6.2 近距離導引示意圖 45
圖7.1 左邊目標抓取任務軌跡示意圖 49
圖7.2 右邊目標抓取任務軌跡示意圖 50
圖7.3 雙目標抓取任務軌跡示意圖 51
圖7.4 左邊目標抓取任務之實驗結果圖 52
圖7.5 右邊目標抓取任務之實驗結果圖 53
圖7.6 雙目標抓取任務之實驗結果圖 54

表目錄
表2.1 Webcam相關規格需求表 5
表2.2 嵌入系統Roboard-100規格表 6
表2.3 PICO820規格表 8
表5.1 手部各馬達之角度限制範圍 39
表6.1 實驗任務過程中系統之策略封包介紹 46

[1]Y. Guan, E. S. Neo, K. Yokoi and K. Tanie, “Stepping over obstacles with humanoid robots,” IEEE Trans. Robotics, vol. 22, no. 5, pp. 958-973, Oct. 2006.
[2] E. S. Neo, K. Yokoi, S. Kajita and K. Tanie, “Whole-body motion generation integrating operator’s intention and robot’s autonomy in controlling humanoid robots,” IEEE Trans. Robotics, vol. 23, no. 4, pp. 763-775, Aug. 2007.
[3]D. Xu, Y. F. Li, M. Tan and Y. Shen, “A new active visual for humanoid robots,” IEEE Trans. Syst. Man & Cyber., Part B, vol. 38, no. 2, pp. 320-330, Apr. 2008.
[4]G. Arechavaleta, J. P. Laumond, H. Hicheur and A. Berthoz, “An optimality principle governing human walking,” IEEE Trans. Robotics, vol. 24, no. 1, pp. 5-14, Feb. 2008.
[5]L. Montesano, M. Lopes, A. Bernardino and Jos’e Santos-Victor, “Learning object affordances: from sensory–motor coordination to imitation,” IEEE Trans. Robotics, vol. 24, no. 1, pp. 15-264, Feb. 2008.
[6]C. Fu and K. Chen, “Gait synthesis and sensory control of stair climbing for a humanoid robot,” IEEE Trans. Ind. Electronics, vol. 55, no. 5, pp. 2111-2120, May 2008.
[7]E. Yoshida, C. Esteves, I. Belousov, J. P. Laumond, T. Sakaguchi and K. Yokoi, “Planning 3-D collision-free dynamic robotic motion through iterative reshaping,” IEEE Trans. Robotics, vol. 24, no. 3, pp. 1186-1197, Oct. 2008.
[8]C. Chevallereau, J. W. Grizzle and C. L. Shih, “Asymptotically stable walking of a five-link underactuated 3-D bipedal robot”, IEEE Trans. Robotics, vol. 25, no. 1, pp. 37-50, Feb. 2009.
[9]M. Sonka, V. Hiavac and R. Boyle, Image Processing, Analysis, and Machine Vision, 3rd Ed., Cengage Learning, 2008.
[10]C. L. Hwang, N. W. Lu, T. C. Hsu and C. H. Huang, “Penalty kick of a humanoid robot by a neural- network-based active embedded vision system,” IEEE Int. Conf. of SCIE, pp. 2291-2299, Taipei, Taiwan, Aug. 18-21, 2010.
[11]Hagan, Demuth, and Beale原著，汪惠健審校，類神經網路設計，新加坡商湯姆生亞洲私人有限公司台灣分公司，2004。
[12]羅華強編著，類神經網路─Matlab的應用，高立圖書有限公司，2005
[13]黃俊豪， “人形機器人的人機介面設計與運動控制之研究”，淡江大學電機系機器人碩士班，民國九十九年六月。
[14]陸念聞， “應用類神經網路定位為基礎的主動視覺於人形機器人罰踢之研究”，淡江大學電機系機器人碩士班，民國九十九年六月。
[15]張智星，Audio Signal Processing and Recognition (音訊處理與辨識)，On-line Books.