本論文提出了一個基於深度學習之物件夾取系統，其可以根據深度攝影機所擷取之深度影像資訊來選擇待夾取物件之適當的夾取點，並且讓一個六自由度機械手臂之二指夾具可以平穩地夾取這個物件。主要有三個部分：(1) 機械手臂之運動學、(2) 物件夾取點檢測系統、以及(3) 實驗結果。在機械手臂之運動學部分，主要有正運動學推導以及逆運動學推導等兩項。在正運動學推導上，首先透過D-H 連桿表來表示各關節座標系，然後由D-H轉換矩陣之連乘來取得機械手臂之末端點的位置及方位。在逆運動學推導上，使用幾何法及方位逆運動學來計算六軸之旋轉角度。在物件夾取點檢測系統部分，使用夾取座標以及夾取角度的組合來決定物件夾取點。本論文採用卷積神經網路作為特徵萃取之深度學習架構，並以深度影像與物件夾取點分別為深度網路的輸入與輸出。在實驗結果部分，以已訓練物件、未訓練之相似物件、以及未訓練之複雜物件等三類物件之測試結果來檢驗所提出之夾取點檢測網路的強健性，由實驗結果可知，透過神經網路之反覆訓練，機械手臂也可以完成未訓練之物件的夾取任務。

In this thesis, an object grasping system based on deep learning is proposed. It can select an appropriate grasping point of the grasped object according to its depth image information captured by the depth camera, and allowa two-finger gripper of a six-degree-of-freedom robot manipulator to grasp this object smoothly. There are three main parts: (1) kinematics of robot manipulator, (2) object grasping point detection system, and (3) experimental results. In the part of kinematics of robot manipulator, there are mainly two derivations of forward kinematics and inverse kinematics.In the derivation of forward kinematics, firstly, the coordinate system of each joint is expressed through the D-H linktable, and then the position and orientation of the end point of the robot manipulator are obtained by the continuous multiplication of the D-H transformation matrix. In the derivation of inverse kinematics, the geometric method and orientation inverse kinematics are used to calculate the rotation angles of the six axes. In the part of the object grasping point detection system, the combination of the grasping coordinate and angle is used to determine the object grasping point. A deep learning framework with convolutional neural networks is usedfor feature extraction, which the depth image and the object grasping point are respectively the input and output ofthe deep network. In the part of experimental results, the test results of three types of objects: trained objects, untrained similar objects, and untrained complex objects are used to test the robustness of the proposed grasping point detection network. It can be seen from the experimental results that through repeated training of the neural network, the robot manipulator can also complete the task of grasping untrained objects.

中文摘要 Ⅰ
英文摘要 Ⅱ
目錄 III
圖目錄 VII
表目錄 XI
符號對照表 XIII
中英文對照表 XVI
第一章 緒論 1
1.1 研究背景 1
1.1.1 機器手臂之應用 1
1.1.2 深度學習的發展 2
1.2 研究動機與目的 3
1.3 論文架構 5
第二章 系統架構與軟硬體設備 6
2.1 系統架構 6
2.2 軟硬體設備 7
2.2.1 六軸機械手臂 8
2.2.2 二指夾具與深度攝影機 9
2.2.3 深度學習運算平台 10
2.2.4 機器人作業系統 11
第三章 機械手臂之運動學 13
3.1 D-H連桿參數表 13
3.1.1 zi-1與zi無共平面 13
3.1.2 zi-1與zi相互平行 14
3.1.3 zi-1與zi相交 15
3.2 機械手臂正運動學 17
3.3 機械手臂逆運動學 21
3.3.1 位置逆向運動學 22
3.3.2 方位逆向運動學 24
第四章 物件夾取點檢測系統 26
4.1 夾取點表示方法 26
4.2 自動資料增強系統 31
4.2.1 訓練資料 31
4.2.2 深度影像資料預處理 32
4.2.3 資料生成系統 36
4.3 類神經網路概述 38
4.3.1 類神經網路概念 38
4.3.2 單層神經網路 39
4.3.3 多層神經網路 40
4.3.4 激勵函數 40
4.4 卷積神經網路 44
4.4.1 卷積神經網路特性 45
4.4.2 卷積神經網路架構 46
4.5 夾取點檢測神經網路之設計 49
4.5.1 神經網路輸入及輸出 50
4.5.2 預測結果判斷方式	54
4.5.3 神經網路架構 56
4.5.4 損失函數 61
第五章 物件夾取任務操作規劃 67
5.1 夾取高度規劃 67
5.2 攝影機座標轉換 68
5.3 夾取區域判斷 72
5.4 夾取策略流程 74
第六章 實驗結果	75
6.1 實驗環境及流程 75
6.1.1 實驗環境 75
6.1.2 實驗流程 78
6.2 深度神經網路訓練結果 79
6.2.1 深度神經網路訓練資料 79
6.2.2 基準神經網路模型訓練結果 80
6.2.3 加深神經網路模型訓練結果 81
6.2.4 Dropout神經網路模型訓練結果 82
6.3 實機測試 83
6.3.1 已訓練物件的測試結果 83
6.3.2 未訓練之相似物件的測試結果 87
6.3.3 未訓練之複雜物件的測試結果 91
第七章 結論與未來展望 96
7.1 結論 96
7.2 未來展望 97
參考文獻 98

圖1.1、機械手臂執行高精度工作圖 2
圖2.1、系統架構圖 7
圖2.2、HIWIN RT605-710-GBR機械手臂 8
圖2.3、Robotiq 2F-85 Adaptive Grippers實體圖 9
圖2.4、Realsense D435i實體圖 10
圖3.1、zi-1與zi無共平面之示意圖	14
圖3.2、zi-1與zi相互平行之示意圖	14
圖3.3、zi-1與zi相交之狀況一之示意圖 15
圖3.4、zi-1與zi相交之狀況二之示意圖 15
圖3.5、機械手臂的座標系之配置圖	16
圖3.6、球型關節示意圖 21
圖3.7、運動學解耦合之示意圖 22
圖3.8、前三軸的關節連桿之幾何關係圖 23
圖4.1、參考論文[10]之夾取點表示法示意圖	27
圖4.2、參考論文[11]之夾取點表示法示意圖	28
圖4.3、參考論文[13]之夾取點表示法示意圖	29
圖4.4、本論文夾取點表示法示意圖	30
圖4.5、訓練資料標記 31
圖4.6、深度影像資訊破損示意圖 32
圖4.7、修補影像黑色陰影前後對比圖 33
圖4.8、影像侵蝕示意圖 34
圖4.9、影像侵蝕前後對比圖 34
圖4.10、影像膨脹示意圖 35
圖4.11、影像膨脹前後對比圖 35
圖4.12、深度影像前處理流程圖 35
圖4.13、資料生成系統流程圖 37
圖4.14、神經元架構示意圖 39
圖4.15、單層神經網路架構示意圖 39
圖4.16、多層神經網路示意圖 40
圖4.17、Sigmoid激勵函數示意圖 41
圖4.18、Tanh激勵函數示意圖 42
圖4.19、ReLU激勵函數示意圖 43
圖4.20、Leaky-ReLU激勵函數示意圖 44
圖4.21、卷積神經網路架構示意圖 46
圖4.22、卷積運算示意圖 47
圖4.23、卷積層步長差異比較圖 48
圖4.24、池化運算示意圖 48
圖4.25、平坦化及全連接層示意圖 49
圖4.26、攝影機座標系示意圖 51
圖4.27、角度數值變化示意圖 52
圖4.28、影像輸入示意圖 54
圖4.29、三種預測標準測試結果圖 55
圖4.30、夾取角度範圍示意圖 55
圖4.31、卷積層步長測試訓練物件圖 57
圖4.32、基準網路模型架構圖 59
圖4.33、加深網路模型架構圖 60
圖4.34、丟棄法示意圖 61
圖4.35、Dropout網路模型架構圖 61
圖4.36、損失函數測試訓練物件圖 63
圖5.1、物體表面深度取值範圍示意圖 67
圖5.2、夾取高度換算示意圖 68
圖5.3、攝影機與機械手臂相對位置示意圖 69
圖5.4、攝影機空間轉換座標系示意圖 70
圖5.5、不同情況之PSNR值示意圖 73
圖5.6、PSNR值測試物件圖	73
圖5.7、夾取策略流程圖 74
圖6.1、實驗環境圖 76
圖6.2、十四種訓練物件圖	78
圖6.3、基準神經網路訓練過程圖 80
圖6.4、加深神經網路訓練過程圖 81
圖6.5、Dropout神經網路模型訓練過程圖 82
圖6.6、未訓練物件之相似物件圖 88
圖6.7、未訓練之複雜物件圖 92

表2.1、HIWIN RT605-710-GBR規格表 8
表2.2、Robotiq 2F-85 Adaptive Grippers規格表 9
表2.3、Realsense D435i規格表 10
表2.4、個人電腦硬體規格表 11
表2.5、個人電腦軟體版本表 11
表3.1、D-H連桿參數說明 16
表3.2、機械手臂之D-H連桿參數表 17
表4.1、參考論文[10]之夾取點定義 26
表4.2、參考論文[11]之夾取點定義 27
表4.3、參考論文[13]之夾取點定義 28
表4.4、本論文之夾取點定義 30
表4.5、步長模型測試訓練資料表 58
表4.6、步長模型訓練結果比較表 58
表4.7、損失函數測試模型資料表 64
表4.8、損失函數訓練結果比較表 64
表4.9、夾取位置係數入loc訓練結果比較表 65
表5.1、物件PSNR值測試結果表 73
表6.1、夾取點檢測神經網路之訓練資料表 79
表6.2、基準神經網路模型訓練結果表 80
表6.3、加深神經網路模型訓練結果表 81
表6.4、Dropout神經網路模型訓練結果表 82
表6.5、已訓練物件檢測結果表 83
表6.6、已訓練物件夾取測試結果表 87
表6.7、未訓練之相似物件檢測結果表 89
表6.8、未訓練之相似物件的夾取測試結果表 91
表6.9、未訓練之複雜物件檢測結果表 92
表6.10、未訓練之複雜物件的夾取測試結果表 95

[1]J.F. Engelberger, Robotics in Service, MIT Press, 1989.
[2]A. Krizhevsky, I. Sutskever, and G.E. Hinton, “Imagenet Classification with Deep Convolutional Neural Networks,” in Proc. Advances Neural Inf. Process. Syst., pp.1106-1114, 2012.
[3]Simonyan, Karen, and Andrew Zisserman, “Very deep convolutional networks for large-scale image recognition,”arXiv preprint arXiv:1409.1556 (2014).
[4]K.He, X.Zhang, S.Ren, andJ.Sun, “Deep residual learning for image recognition,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.
[5]J. Mahler, M.Jeffrey, et al. “Dex-Net 3.0: Computing robust vacuum suction grasp targets in point clouds using a new analytic model and deep learning,” International Conference on Robotics and Automation (ICRA), pp. 1-8, 2018.
[6]D. Kalashnikov, A. Irpan, P. Pastor, J. Ibarz, A. Herzog, E. Jang, D. Quillen, E. Holly, M. Kalakrishnan, V. Vanhoucke, and S. Levine, “Qt-opt: Scalable deep reinforcement learning for vision-based robotic manipulation,” arXiv:1806.10293, 2018
[7]HIWIN Manipulator, URL: https://www.hiwin.tw/
[8]Robotiq Gripper, URL: https://robotiq.com/
[9]M. W. Spong, S. Hutchinson, and M. Vidyasagar, Robot Dynamics and Control, 2nd Ed., John Wiley & Sons, 2004
[10]J. Redmon and A. Angelova, “Real-time grasp detection using convolutional neural networks,”International Conference on Robotics and Automation (ICRA), pp. 1316-1322, 2015.
[11]Xu,Y, Wang, L, Yang, A, and Chen, L,“GraspCNN: Real-Time Grasp Detection Using a New Oriented Diameter Circle Representation,”IEEE Access 7, pp. 159322-159331, 2019.
[12]Redmon, Joseph, and Ali Farhadi, “Yolov3: An incremental improvement,” arXiv preprintarXiv:1804.02767, 2018.
[13]T. Mu, B. Yuan, H. Yu, and Y. Kang, “A robotic grasping algorithm based on simplified image and deep convolutional neural network,” IEEE 4th Information Technology and Mechatronics Engineering Conference, pp. 849-855, 2018.
[14]Mahler, Jeffrey, et al. "Dex-net 2.0: Deep learning to plan robust grasps with synthetic point clouds and analytic grasp metrics,”arXiv preprint arXiv:1703.09312, 2017.
[15]RealsenseD435i, URL: https://www.intelrealsense.com/
[16]OpenCV, URL: https://opencv.org/
[17]A.L. Maas, A.Y. Hannun, and A.Y. Ng, “Rectifier Nonlinearities Improve Neural Network Acoustic Models,”Proc. Icml,pp. 3, 2013
[18]Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard, and L.D. Jackel, “Deep Learning,” Journal of Neural Computation, vol. 1, pp. 541-551, 1989.
[19]Kota Hara, Raviteja Vemulapalli, and Rama Chellappa, “Designing Deep Convolutional Neural Networks for Continuous Object Orientation Estimation,”arXiv preprintarXiv:1702.01499, 2017.
[20]I. Lenz, H. Lee, andA. Saxena, “Deep learning for detecting robotic grasps,”arXiv preprintarXiv:1301.3592v6, 2014.
[21]S. Kumra1 and C. Kanan, “Robotic grasp detection using deep convolutional neural networks,”IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),pp.769-776, 2017.
[22]D. Morrison, P. Corke and J. Leitner, “Closing the loop for robotic grasping: a real-time, generative grasp synthesis approach,”arXiv preprint arXiv:1804.05172, 2018.
[23]H. Cheng and M. Q. -. Meng, “A Grasp Pose Detection Scheme with an End-to-End CNN Regression Approach,” IEEE International Conference on Robotics and Biomimetics (ROBIO), pp.544-549,2018.
[24]D. Morrison, P. Corke, and J. Leitner, “Multi-view picking: next-best-view reaching for improved grasping in clutter,” IEEE International Conference on Robotics and Automation (ICRA), pp. 8762-8768,2019.
[25]D.P. Kingma and J.L. Ba., “Adam: A Method for Stochastic Optimization,” International Conference for Learning Representations (ICLR), 2015.
[26]Hinton, Geoffrey E., et al, “Improving neural networks by preventing co-adaptation of feature detectors,” arXiv preprintarXiv:1207.0580, 2012.
[27]賴宥澄，視覺任務導向抓取於雙臂機器人的工具操作，淡江大學電機工程學系博士論文(指導教授：翁慶昌、蔡奇謚)，2020。
[28]葉立宇，基於語義分割關鍵點檢測之物件重新定位規劃，淡江大學電機工程學系碩士論文(指導教授：翁慶昌、劉智誠)，2020。
[29]郭家豪，快速及超大尺度影像放大與嶄新的評估法:基於基準函數的峰值信噪比，成功大學資訊工程學系碩士論文(指導教授：郭淑美)，2012。
[30]邱勝文，以例子為基礎的影像風格化，臺灣師範大學資訊工程研究所碩士論文(指導教授：張鈞法)，2013。