淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


系統識別號 U0002-2408202003335400
中文論文名稱 基於影像偵測之物件夾取系統
英文論文名稱 Object Grasping System Based on Image Detection
校院名稱 淡江大學
系所名稱(中) 電機工程學系機器人工程碩士班
系所名稱(英) Master’s Program In Robotics Engineering, Department Of Electrical And Computer Engineering
學年度 108
學期 2
出版年 109
研究生中文姓名 陳韋成
研究生英文姓名 Wei-Chen Chen
學號 607470316
學位類別 碩士
語文別 中文
口試日期 2020-07-14
論文頁數 53頁
口試委員 指導教授-翁慶昌
委員-馮玄明
委員-李世安
委員-劉智誠
中文關鍵字 物件偵測  物件法向量  深度影像  YOLO  邊界框 
英文關鍵字 Object Detection  Object Normal Vector  Depth Image  YOLO  Bounding Box 
學科別分類
中文摘要 本論文提出一個基於影像偵測之物件夾取系統,本論文首先使用YOLO (You Only Look Once)演算法來偵測物件的類別以及位置,然後使用點雲方法來獲得物件的夾取點與法向量,讓機械手臂以這個物件的夾取點與法向量來有效地夾取物件。主要有二個部分:(1) 物件偵測、以及(2) 物件法向量估測。在物件偵測上,本論文先使用RGB-D攝影機來取得物件的深度影像圖,然後標記各種需要訓練之物件的照片來作為YOLO演算法的訓練資料,最後實際測試已訓練好之網路確實可以準確地偵測各種物件的類別以及位置。在物件法向量估測上,本論文先將YOLO演算法所偵測出之物件的邊界框作為限制點雲的範圍,然後在範圍內決定一個中心點與一個半徑,最後將在半徑內的點雲所得到之法向量的平均為中心點的法向量。而這個中心點與中心點的法向量作為這個物件夾取的夾取點與法向量。從實驗結果可知,所提方法確實可以有效地得到夾取這個物件的物件法向量。
英文摘要 In this thesis, an object grasping system based on image detection is proposed. The YOLO (You Only Look Once) algorithm is first used to detect the category and location of the object, and then the point cloud method is used to obtain the grasping point and the normal vector of the object so that the robot manipulator can use this grasping point and the normal vector of the object to effectively grasp the object. There are two main parts: (1) object detection and (2) object normal vector estimation. In the object detection, an RGB-D camera is first used to obtain the depth image of the object, and then the photos of various objects to be trained are marked to be the training data of the YOLO algorithm. Finally, it is actually tested that the trained network can indeed accurately detect the category and location of various objects. In the object normal vector estimation, the bounding box of the object detected by the YOLO algorithm is first used to as the limit of the point cloud, and a center point and a radius within the range are determined. Finally, the average of the normal vector obtained from the point cloud within the radius is the normal vector of the center point. And the center point and the normal vector of the center point are respectively used as the grasping point and the normal vector for the object grasping. It can be seen from the experimental results that the proposed method can indeed effectively obtain the normal vector of the object to grasp the object.
論文目次 目錄
中文摘要 Ⅰ
英文摘要 Ⅱ
目錄 III
圖目錄 V
表目錄 VIII
學術名詞名稱之中英文對照表 IX
第一章 緒論 1
1.1 研究背景 1
1.1.1 機械手臂興起與應用 1
1.1.2 深度學習起源 2
1.2 研究動機與目的 3
1.3 論文架構 4
第二章 軟硬體設備與系統架構 5
2.1 軟硬體設備 5
2.2 系統架構 7
第三章 影像偵測系統 10
3.1 深度學習 10
3.1.1 卷積神經網路 10
3.2 YOLO演算法 13
3.3 物件法向量 17
第四章 實驗結果 19
4.1 實驗流程 19
4.2 實驗結果 19
4.2.1 YOLOv3演算法之物件偵測實驗 22
4.2.2 YOLOv4演算法之物件偵測實驗 45
4.2.3 各類別物件夾取點生成實驗 49
第五章 結論與未來展望 51
5.1 結論 51
5.2 未來展望 51
參考文獻 53
圖目錄
圖 1.1、手臂自動化焊接[1] 2
圖 2.1、六軸機械手臂RT605的實體圖 6
圖 2.2系統架構圖 9
圖 3.1、卷積運算 11
圖 3.2、線性整流單元示意圖 12
圖 3.3、最大池化示意圖 12
圖 3.4、平坦化示意圖 13
圖 3.5、YOLOv4網路架構圖 14
圖 3.6、Dropout與Dropblock比較示意圖 15
圖 3.7、SPP模組示意圖 15
圖 3.8、原PAN結構與YOLOv4中PAN結構比較 16
圖 3.9、預測框與真實框的交集狀況 17
圖 3.10、物件法向量生成之流程圖 18
圖 4.1、3款鐵鋁罐的實體照片:(a) 可樂、(b) 韋恩咖啡、以及(c) 伯朗咖啡 20
圖 4.2、3款寶特瓶的實體照片:(a) 四季春、(b) 麥茶、以及(c) 檸檬紅茶 20
圖 4.3、3款紙盒的實體照片:(a) 麥香紅茶、(b) 義美紅茶、以及(c) 豆漿 21
圖 4.4、攝影機取得物件的照片圖(訓練的照片) 23
圖 4.5、物件之圖 4.4的照片圖標籤後的照片圖 23
圖 4.6、訓練完成之YOLOv3演算法在偵測物件(可樂)之偵測成功的偵測結果 26
圖 4.7、訓練完成之YOLOv3演算法在偵測物件(伯朗咖啡)之偵測成功的偵測結果 27
圖 4.8、訓練完成之YOLOv3演算法在偵測物件(韋恩咖啡)之偵測成功的偵測結果 29
圖 4.9、訓練完成之YOLOv3演算法在偵測物件(檸檬紅茶)之偵測成功的偵測結果 30
圖 4.10、訓練完成之YOLOv3演算法在偵測物件(麥茶)之偵測成功的偵測結果 31
圖 4.11、訓練完成之YOLOv3演算法在偵測物件(四季春)之偵測成功的偵測結果 33
圖 4.12、訓練完成之YOLOv3演算法在偵測物件(麥香紅茶)之偵測成功的偵測結果 34
圖 4.13、訓練完成之YOLOv3演算法在偵測物件(豆漿)之偵測成功的偵測結果 35
圖 4.14、訓練完成之YOLOv3演算法在偵測物件(義美紅茶)之偵測成功的偵測結果 37
圖 4.15、訓練完成之YOLOv3演算法在偵測物件(3類飲料各一個無堆疊)之偵測成功的偵測結果 40
圖 4.16、訓練完成之YOLOv3演算法在偵測物件(3類飲料各一個有堆疊)之偵測成功的偵測結果 41
圖 4.17、訓練完成之YOLOv3演算法在偵測物件(3款紙盒無堆疊)之偵測成功的偵測結果 43
圖 4.18、訓練完成之YOLOv3演算法在偵測物件(3款寶特瓶有堆疊)之偵測成功的偵測結果 44
圖 4.19、訓練完成之YOLOv4演算法在偵測物件(3類飲料各一個有堆疊)之偵測成功的偵測結果 46
圖 4.20、訓練完成之YOLOv4演算法在偵測物件(3款寶特瓶有堆疊)之偵測成功的偵測結果 48
圖 4.21、物件法向量及遮罩圖 50
表目錄
表 2.1、六軸機械手臂 RT605的規格 6
表 2.2、主要的硬體設備與規格 7
表 4.1、訓練完成之YOLOv3演算法在照片中只有1款鐵鋁罐的實驗結果 38
表 4.2、訓練完成之YOLOv3演算法在照片中只有1款寶特瓶的實驗結果 38
表 4.3、訓練完成之YOLOv3演算法在照片中只有1款紙盒的實驗結果 38
表 4.4、訓練完成之YOLOv3演算法在偵測三種類別物件的實驗結果 38
參考文獻 [1]https://smasoft-tech.com/
[2]K. Fukushima, “Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,” Biol. Cybern., 36, 193–202, 1980.
[3]ROS: http://wiki.ros.org/(ROS)
[4]J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once:Unified, real-time object detection,” inProceedings of the IEEE conferenceon computer vision and pattern recognition, pp. 779–788, 2016.
[5]J. Redmon and A. Farhadi, “Yolo9000:better,faster,stronger,” inPro-ceedings of the IEEE conference on computer vision and pattern recognition,pp. 7263–7271, 2017
[6]J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” arXiv preprint arXiv: 1804.02767v1, Apr. 8, 2018
[7]A. Bochkovskiy, C.Y. Wang, H.Y. Liao, “YOLOv4: Optimal speed and accuracy of object detection,” arXiv:2004.10934v1, Apr. 23, 2020.
[8]https://github.com/AlexeyAB/darknet
[9]https://blog.csdn.net/Architet_Yang/article/details/90049715
[10]https://pointclouds.org/

論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2023-07-31公開。
  • 同意授權瀏覽/列印電子全文服務,於2023-07-31起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2486 或 來信