本論文提出一個基於影像偵測之物件夾取系統，本論文首先使用YOLO (You Only Look Once)演算法來偵測物件的類別以及位置，然後使用點雲方法來獲得物件的夾取點與法向量，讓機械手臂以這個物件的夾取點與法向量來有效地夾取物件。主要有二個部分：(1) 物件偵測、以及(2) 物件法向量估測。在物件偵測上，本論文先使用RGB-D攝影機來取得物件的深度影像圖，然後標記各種需要訓練之物件的照片來作為YOLO演算法的訓練資料，最後實際測試已訓練好之網路確實可以準確地偵測各種物件的類別以及位置。在物件法向量估測上，本論文先將YOLO演算法所偵測出之物件的邊界框作為限制點雲的範圍，然後在範圍內決定一個中心點與一個半徑，最後將在半徑內的點雲所得到之法向量的平均為中心點的法向量。而這個中心點與中心點的法向量作為這個物件夾取的夾取點與法向量。從實驗結果可知，所提方法確實可以有效地得到夾取這個物件的物件法向量。

In this thesis, an object grasping system based on image detection is proposed. The YOLO (You Only Look Once) algorithm is first used to detect the category and location of the object, and then the point cloud method is used to obtain the grasping point and the normal vector of the object so that the robot manipulator can use this grasping point and the normal vector of the object to effectively grasp the object. There are two main parts: (1) object detection and (2) object normal vector estimation. In the object detection, an RGB-D camera is first used to obtain the depth image of the object, and then the photos of various objects to be trained are marked to be the training data of the YOLO algorithm. Finally, it is actually tested that the trained network can indeed accurately detect the category and location of various objects. In the object normal vector estimation, the bounding box of the object detected by the YOLO algorithm is first used to as the limit of the point cloud, and a center point and a radius within the range are determined. Finally, the average of the normal vector obtained from the point cloud within the radius is the normal vector of the center point. And the center point and the normal vector of the center point are respectively used as the grasping point and the normal vector for the object grasping. It can be seen from the experimental results that the proposed method can indeed effectively obtain the normal vector of the object to grasp the object.

目錄
中文摘要	Ⅰ
英文摘要	Ⅱ
目錄	III
圖目錄	V
表目錄	VIII
學術名詞名稱之中英文對照表	IX
第一章 緒論	1
1.1 研究背景	1
1.1.1 機械手臂興起與應用	1
1.1.2 深度學習起源	2
1.2 研究動機與目的	3
1.3 論文架構	4
第二章 軟硬體設備與系統架構	5
2.1 軟硬體設備	5
2.2 系統架構	7
第三章 影像偵測系統	10
3.1 深度學習	10
3.1.1 卷積神經網路	10
3.2 YOLO演算法	13
3.3 物件法向量	17
第四章 實驗結果	19
4.1 實驗流程	19
4.2 實驗結果	19
4.2.1 YOLOv3演算法之物件偵測實驗	22
4.2.2 YOLOv4演算法之物件偵測實驗	45
4.2.3 各類別物件夾取點生成實驗	49
第五章 結論與未來展望	51
5.1 結論	51
5.2 未來展望	51
參考文獻	53
圖目錄
圖 1.1、手臂自動化焊接[1]	2
圖 2.1、六軸機械手臂RT605的實體圖	6
圖 2.2系統架構圖	9
圖 3.1、卷積運算	11
圖 3.2、線性整流單元示意圖	12
圖 3.3、最大池化示意圖	12
圖 3.4、平坦化示意圖	13
圖 3.5、YOLOv4網路架構圖	14
圖 3.6、Dropout與Dropblock比較示意圖	15
圖 3.7、SPP模組示意圖	15
圖 3.8、原PAN結構與YOLOv4中PAN結構比較	16
圖 3.9、預測框與真實框的交集狀況	17
圖 3.10、物件法向量生成之流程圖	18
圖 4.1、3款鐵鋁罐的實體照片：(a) 可樂、(b) 韋恩咖啡、以及(c) 伯朗咖啡	20
圖 4.2、3款寶特瓶的實體照片：(a) 四季春、(b) 麥茶、以及(c) 檸檬紅茶	20
圖 4.3、3款紙盒的實體照片：(a) 麥香紅茶、(b) 義美紅茶、以及(c) 豆漿	21
圖 4.4、攝影機取得物件的照片圖(訓練的照片)	23
圖 4.5、物件之圖 4.4的照片圖標籤後的照片圖	23
圖 4.6、訓練完成之YOLOv3演算法在偵測物件(可樂)之偵測成功的偵測結果	26
圖 4.7、訓練完成之YOLOv3演算法在偵測物件(伯朗咖啡)之偵測成功的偵測結果	27
圖 4.8、訓練完成之YOLOv3演算法在偵測物件(韋恩咖啡)之偵測成功的偵測結果	29
圖 4.9、訓練完成之YOLOv3演算法在偵測物件(檸檬紅茶)之偵測成功的偵測結果	30
圖 4.10、訓練完成之YOLOv3演算法在偵測物件(麥茶)之偵測成功的偵測結果	31
圖 4.11、訓練完成之YOLOv3演算法在偵測物件(四季春)之偵測成功的偵測結果	33
圖 4.12、訓練完成之YOLOv3演算法在偵測物件(麥香紅茶)之偵測成功的偵測結果	34
圖 4.13、訓練完成之YOLOv3演算法在偵測物件(豆漿)之偵測成功的偵測結果	35
圖 4.14、訓練完成之YOLOv3演算法在偵測物件(義美紅茶)之偵測成功的偵測結果	37
圖 4.15、訓練完成之YOLOv3演算法在偵測物件(3類飲料各一個無堆疊)之偵測成功的偵測結果	40
圖 4.16、訓練完成之YOLOv3演算法在偵測物件(3類飲料各一個有堆疊)之偵測成功的偵測結果	41
圖 4.17、訓練完成之YOLOv3演算法在偵測物件(3款紙盒無堆疊)之偵測成功的偵測結果	43
圖 4.18、訓練完成之YOLOv3演算法在偵測物件(3款寶特瓶有堆疊)之偵測成功的偵測結果	44
圖 4.19、訓練完成之YOLOv4演算法在偵測物件(3類飲料各一個有堆疊)之偵測成功的偵測結果	46
圖 4.20、訓練完成之YOLOv4演算法在偵測物件(3款寶特瓶有堆疊)之偵測成功的偵測結果	48
圖 4.21、物件法向量及遮罩圖	50
表目錄
表 2.1、六軸機械手臂 RT605的規格	6
表 2.2、主要的硬體設備與規格	7
表 4.1、訓練完成之YOLOv3演算法在照片中只有1款鐵鋁罐的實驗結果	38
表 4.2、訓練完成之YOLOv3演算法在照片中只有1款寶特瓶的實驗結果	38
表 4.3、訓練完成之YOLOv3演算法在照片中只有1款紙盒的實驗結果	38
表 4.4、訓練完成之YOLOv3演算法在偵測三種類別物件的實驗結果	38

[1]https://smasoft-tech.com/
[2]K. Fukushima, “Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,” Biol. Cybern., 36, 193–202, 1980.
[3]ROS: http://wiki.ros.org/(ROS)
[4]J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once:Unified, real-time object detection,” inProceedings of the IEEE conferenceon computer vision and pattern recognition, pp. 779–788, 2016.
[5]J. Redmon and A. Farhadi, “Yolo9000:better,faster,stronger,” inPro-ceedings of the IEEE conference on computer vision and pattern recognition,pp. 7263–7271, 2017
[6]J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv: 1804.02767v1, Apr. 8, 2018
[7]A. Bochkovskiy, C.Y. Wang, H.Y. Liao, “YOLOv4: Optimal speed and accuracy of object detection,” arXiv:2004.10934v1, Apr. 23, 2020.
[8]https://github.com/AlexeyAB/darknet
[9]https://blog.csdn.net/Architet_Yang/article/details/90049715 
[10]https://pointclouds.org/