本論文結合視覺物件辨識、路徑規劃與控制模擬智慧工廠虛實整合的系統。目的是通過算法實現對工廠環境的適應性，進而完成客製化的工作需求堆疊擺放物件。本論文研究分成三部分，第一部分物件辨識系統使用YOLO(You Only Look Once)來訓練要夾取之物件，完成後辨識工作區的物件種類以及取得物件位置並將物件的資料傳送給電腦端進行計算。第二部分為避障路徑規劃針對機器手臂工作環境來設計演算法來完成迴避障礙物、並且客製化堆疊擺放等路徑規劃並輸出效率最佳的夾取路徑來完成夾取任務。第三部分聯網通訊使用Modbus套件以分享器建立網域連接手臂控制器以及傳遞資料訊息並將目標資料傳遞給電腦端進行路徑規劃。最終整合並實驗來證實本研究的系統是否能依照要求來達成完成指定的物件擺放狀態並進行路徑規劃，有效率的避開障礙完成任務。

This study presents the integration of visual object identification, path planning and control and uses it as a method to simulate a cyber-physical system of a smart factory. The purpose is to realize the adaptability to the factory environment through the algorithm, and then complete the customized work requirements for stacking the objects. The research of this thesis is divided into three parts. First, the object recognition system uses YOLO (You Only Look Once) to train the learning of the gripped objects. After that, the object type of the work area is identified and the position of the object is obtained, and the data of the object is transmitted to the computer for calculating. Second, the algorithm of path planning for obstacle avoidance is designed based on the robotic working environment. Furthermore, the stack placement and other path planning are customized to output the most efficient clamping path to complete the task. 
    Finally, the Modbus kit is used in the network communication to establish a domain connecting the arm controller with the sharer. The kit is also used to transfer the data message and pass the target data to the computer for path planning. The integrated system is tested to validate the performance of the proposed system.

目錄
摘要 I
目錄 III
圖目錄 V
表目錄 VIII
第1章 序論 1
1.1 研究動機與目的 1
1.2 研究範圍 2
1.3 論文架構 3
第2章 文獻探討 4
2.1 工業4.0智慧化工廠 4
2.2 路徑規劃演算法相關文獻 6
2.3 物件偵測視覺辨識系統相關文獻 6
第3章 聯網通訊與機器人系統架構 7
3.1 物件夾取系統架構 7
3.2 聯網通訊 9
第4章 視覺物件辨識定位模組 13
4.1 物件辨識介紹及比較 13
4.2物件辨識流程架構 19
4.3物件模型訓練 19
4.4物件辨識定位實測 24
第5章 路徑規劃演算法 27
5.1 路徑規劃演算法 27
5.2障礙物判斷系統 32
第6章 機器手臂控制與驅動系統 38
6.1碼垛機器手臂 38
6.1.1 碼垛機器手臂機構參數 38
6.1.2 碼垛機器手臂驅動 41
6.2系統硬體介紹 44
6.2.1筆記型電腦電腦 44
6.2.2氣動夾爪 45
6.2.3深度攝影機 45
第7章 系統實測 46
7.1 物件辨識定位實驗 46
7.2 路徑規劃及物件堆疊實驗 49
第8章 研究成果與討論 53
8.1 完成的研究項目 53
8.2 未來研究方向 53
參考文獻 54

圖目錄
圖 1.1西門子的安貝格數位化工廠 2
圖 1.2 未來智慧化工廠 2
圖 2.1 工業革命的演進 4
圖 2.2 智慧工廠發展應用 5
圖 2.3 O2O線上線下系統示意圖 5
圖 3.1 系統架構圖 8
圖 3.2 系統任務分配圖 9
圖 3.3 任務流程圖 9
圖 3.4機器人聯網架構圖 10
圖 3.5 區域網路示意圖 11
圖 3.6 TCP/IP結構圖 11
圖 3.7 python使用modbus傳輸資料給手臂控制器 12
圖 3.8 modbus傳遞資料存取記憶體相關位址 12
圖 4.1 SVM分類法示意圖 16
圖 4.2 CNN流程圖 17
圖 4.3客製化測試數據集訓練的SSD神經網絡辨識效果 17
圖 4.4神經網路架構 17
圖 4.5 YOLO CNN模型結構圖 18
圖 4.6 YOLO物件辨識實作範例 18
圖 4.7視覺處理架構圖 19
圖 4.8 labelimg介面並Labels框選物件 21
圖 4.9 Labels框選物件後生成的XML檔 21
圖 4.10 xml資料格式轉換 22
圖 4.11更改樣本數目 22
圖 4.12更改label名稱 23
圖 4.13開始training 23
圖 4.14輸出結果 24
圖 4.15攝影機之立體幾何 25
圖 4.16攝影機與世界座標系之關係圖 25
圖 4.17物件辨識實測 26
圖 5.1 環境適應示意圖 28
圖 5.2 避障示意圖 28
圖 5.3演算法架構圖 29
圖 5.4客戶命令示意圖 29
圖 5.5 夾取順序決策示意圖 30
圖 5.6 物件座標輸入格式 30
圖 5.7 依據客戶端命令所更新的物件夾取順序與座標 31
圖 5.8 物件座標轉換示意圖 33
圖 5.9 物件座標轉換示意圖 33
圖 5.10 物件座標轉換示意圖 34
圖 5.11 物件座標轉換輸出結果 34
圖 5.12 跨立實驗示意圖 35
圖 5.13 線段相交判斷圖 35
圖 5.14 線段相交判斷實作輸出圖 35
圖 5.15 物件判斷遇到障礙物下所做的決策 36
圖 5.16手臂路徑輸出結果 37
圖 5.17輸出各個物件路徑的.txt檔 37
圖 6.1 手臂機構尺寸圖 41
圖 6.2 手臂實機圖 41
圖 6.3 建立瑪朵專案 42
圖 6.4 機器參數畫面 42
圖 6.5 關節參數畫面 43
圖 6.6 實際工具座標示意圖 43
圖 6.7 大地座標系原點示意圖及各軸方向 44
圖 7.1 系統流程圖 47
圖 7.2 物件辨識影像輸出 47
圖 7.3 物件目標位置示意圖 49
圖 7.4 手臂控制介面 50
圖 7.5 物件夾取實測圖 51
圖 7.6 路徑遇到障礙物更新圖 52
圖 7.7實際夾取完成圖 52

表目錄
表4.1 YOLO版本比較 16
表4.2 YOLO所需要的label格式 20
表4.3物件位置輸出 26
表6.1 D-H參數表 39
表6.2伺服馬達規格表 40
表6.3電腦型號及系統 44
表6.4夾爪型號 45
表6.5 RealSense 深度攝影機 D435 45
表7.1攝影機讀取起始位置資料 48
表7.2物件實際起始位置 48
表7.3物件目標位置座標數據 49
表7.4物件經計算後新夾取順序 50
表7.5避障路徑座標比較 51

[1]	K. Goldbreg,”Cloud Robotics and Automation”,http://Goldberg.berkeley.edu/cloud-robotics/(accessed May 13,2019)
[2]	K. Fujimura, "Motion planning using transient pixel representations," in Proceedings of the 1993 IEEE International Conference on Robotics and Automation. vol. 2, 1993, pp. 34-39.
[3]	P. E. Hart, N. J. Nilsson, and B. Raphael, “A formal basis for the heuristic determination of minimum cost paths.” IEEE Transactions on System Science and Cybernetics, 1986, pp. 100-107.
[4]	D. Wagner and T. Willhalm, “Geometric speed-up techniques for finding shortest paths in large sparse graphs.” in Proc. Of the 11th European Symposium on Algorithms (ESA 2003) , 2832 of LNCS, 2003, pp. 776-787.
[5]	R. Gutman, “Reach-based Routing: A new approach to shortest path algorithms optimized for road networks.” in Proc. Of the 6th International Workshop on Algorithm Engineering   and Experiments, 2004, pp. 100-111.
[6]	R. H. Möhring, H. Schilling, B.Schütz, D. Wagner, and T. Willhalm, “Partitioning graphs to speed up Dijkstra’s algorithm.” in Proc.of the Experimental and Efficient Algorithms, 4th International Workshop, WEA, 2005, pp. 189- 202.
[7]	S. Graham, G. Baliga, and P.R. Kumar, “Abstractions, Architecture, Mechanism, and Middleware for Networked Contro,l” IEEE Transactions on Automatic Control, vol. 54, no. 7, 2009, pp. 1490-1503.
[8]	Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pp.1097-1105.
[9]	He, K., Zhang, X., Ren, S., and Sun, J. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2006, pp.770-778.
[10]	He, K., Gkioxari, G., Dollár, P., and Girshick, R. Mask r-cnn. In 2017 IEEE International Conference onComputer Vision , ICCV, 2017, pp. 2980-2988.
[11]	Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., and Berg. Ssd: Single shot multibox detector. In European conference on computer vision, 2016, pp. 21-37.
[12]	csdn.net,點雲python-pcl，https://blog.csdn.net/u013019296/article/details/78727890
[13]	E. Rublee, V. Rabaud, K. Konolige and G. Bradski, "ORB: An efficient alternative to SIFT or SURF," 2011 International Conference on Computer Vision, Barcelona, 2011, pp. 2564-2571.
[14]	] J. Redmon and A. Farhadi. Yolo9000: Better, faster, stronger. In Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on, 2017, pp. 6517–6525.
[15]	] Siemens Amberg Smart Factory, https://www.digitimes.com.tw/iot/article.asp
[16]	Future smart chemical plant,http://topic.cw.com.tw/2016industry4.0/article.html
[17]	The evolution of the industrial revolution, https://www.google.com/search
[18]	Smart factory development application,https://scitechvista.nat.gov.tw/c/sgTm.htm
[19]	Online and Offline system,http://www.ieatpe.org.tw/magazine/ebook320/storypage02.html 
[20]	Deep learning image annotation, https://github.com/tzutalin/labelImg
[21]	RoboticMotionPlanning:BugAlgorithms,https://www.cs.cmu.edu/~motionplanning/lecture/Chap2-Bug-Alg_howie.pdf
[22]	PinholeCamera:3D 深度預測 (3D Depth Estimation),
http://silverwind1982.pixnet.net/blog/post