本研究發展視覺聯網系統，並且應用於零售業的倉儲自動化。目的是以聯網的視覺輔助行動機器人於非結構化環境中進行定位任務，以及使用視覺輔助偵測與辨識貨品，進而導引機器手臂夾取貨品。本論文的研究議題包括自動倉儲網聯技術、機器人定位問題、與視覺式貨品挑揀等。自動倉儲網聯將機器人、視覺與感測器等以網際網路連結，以便進行任務規劃與控制命令傳輸等。機器人定位則是使用低功率藍芽(Bluetooth Low Energy, BLE)定位與固定攝影機QR-code定位，進行行動機器人在工作區範圍內與範圍外的定位任務。視覺輔助貨品挑揀則是以影像色彩直方圖搭配連續適應均值移動(continuously adaptive mean-shift, CAM-Shift)演算法，進行貨品的偵測辨識與追蹤，並且導引機器手臂進行夾取貨品的任務。本研究將在PC-based控制器內建立所需的發展環境，以Visual C++程式語言整合各種感測器、SCARA手臂控制、網路伺服器、影像偵測辨識演算法等。最後以整合的系統執行聯網視覺輔助機器人定位與貨品挑揀之任務，以評量所提演算法的效能。

This study investigates the issues of internet of robotic things. The purpose is to localize the robot in environment automation using internet of visual sensor and present a vision-based robotic bin-picking system. The issues of the study include internet of robotic things, robot localization and vision-based robotic bin-picking system. Automated storage and retrieval system connect robot and vision sensor with internet in order to planning and give instructions. Robot localization divide into two parts, first is using Bluetooth Low Energy (BLE) localization or known as iBeacon localization. Another localization is QR-code localization whit IP camera. The first part is for outside the workspace and the QR-code localization is for the workspace. Vision-based robotic bin-picking system is using color histogram and continuously adaptive mean-shift (CAM-Shift) to identify the product and guide the robot arm to pick the product. The software program of this study investigates is developed in a PC-based controller using Microsoft Visual Studio C++. The resultant system is used to perform the internet of visual sensor localization and vision-based robotic bin-picking system.

摘要	I
目錄	III
圖目錄	V
表目錄	VIII
第 1 章 序論	1
1.1 研究動機	1
1.2 研究目的	2
1.3 文獻探討	3
1.4 研究範圍	4
第 2 章 機器人聯網系統架構	6
2.1 聯網技術	6
2.2 貨品挑揀系統架構	7
2.3 聯網系統測試成果	8
2.4 系統硬體介紹	9
2.4.1 網路攝影機	9
2.4.2 廣明SCARA機器手臂	9
2.4.3 RGB-D影像攝影機	12
2.4.4 移動機器人Pioneer 3-DX(P3DX)	12
2.4.5雷射測距儀(2D laser scanner) Hokuyo URG-04LX-UG01	13
2.4.6六軸感測器(IMU, Inertial measurement unit)MPU-6050	13
2.4.7 藍芽4.0模組	14
第 3 章 機器人於搬運任務中之定位	16
3.1 工作區外定位	16
3.2工作區內定位	17
3.3 定位系統測試結果	18
3.3.1 工作區外定位實測範例	18
3.4.2 工作區內定位實測範例	21
第 4 章 視覺輔助貨品挑揀任務	24
4.1 貨品辨識與追蹤方法	24
4.1.1 色彩直方圖模板與匹配	24
4.1.2 均值移動演算法的影像前處理	25
4.1.3 均值移動演算法	25
4.1.4 連續適應均值移動法	26
4.1.5 貨品挑揀流程	27
4.2視覺輔助貨品挑揀任務測試成果	28
4.3 模擬辨識夾取範例	29
4.4 遮罩彩色影像範例	30
4.5 貨品辨識範例	31
第 5 章 系統整合與實測	34
5.1 貨品顏色辨識與導引手臂到定位	34
5.2 模擬生產線	36
5.3 系統結合	38
第 6 章 研究成果與討論	42
6.1 完成的研究項目	42
6.2 未來研究方向	42

圖目錄
圖 1.1 亞馬遜公司的供貨倉儲(fulfillment warehouse)系統	2
圖 1.2 工業革命的演進	3
圖 1.3 非結構化倉儲自動化系統	5
圖 1.4 本論文規劃的倉儲自動化系統	5
圖 2.1 機器人與視覺聯網(internet of robotics and vision)	6
圖 2.2 網際網路與區域網路	6
圖 2.3 TCP/IP的結構圖	7
圖 2.4 EtherCAT系統	7
圖 2.5 系統的連結架構圖	8
圖 2.6 各系統任務分配	8
圖 2.7 任務流程圖	8
圖 2.8 AXIS 213 IP Cam	9
圖 2.9 廣明手臂側視圖與工作範圍	10
圖 2.10 Panasonic所使用的RTEX技術配置圖	10
圖 2.11 廣明SCARA內部圖	11
圖 2.12 Panasonic 驅動器	11
圖 2.13 I/O版(左為input，右為output)	11
圖 2.14 Panasonic控制晶片	11
圖 2.15 Kinect v2外觀	12
圖 2.16 P3DX外觀	12
圖 2.17雷射測距儀Hokuyo URG-04LX-UG01外觀	13
圖 2.18 MPU-6050外觀	14
圖 2.19 藍芽開發模組HM-10	14
圖 3.1 工作區場景示意圖	16
圖 3.2 藍芽定位流程圖	16
圖 3.3 藍芽硬體配置圖	17
圖 3.4 三角定位法示意圖	17
圖 3.5 固定攝影機定位流程圖	17
圖 3.6 藍芽裝置校正時硬體擺設	18
圖 3.7 藍芽裝置擺設座標與位置	19
圖 3.8 工作區內定位實測實際硬體架設	21
圖 3.9 工作區內定位程式介面	22
圖 3.10 工作區內定位移動機器人路徑	22
圖 3.11 工作區內定位移動機器人路徑	23
圖 3.12 工作區內繞行一圈路徑圖	23
圖 4.1 (a)為要偵測的物件，(b)為要偵測的物件的色彩直方圖。	24
圖 4.2 (a)為攝影機擷取影像，(b)為攝取影像與色彩直方圖的反投射。	24
圖 4.3 在圓柱坐標系中的HSV色彩空間	25
圖 4.4 (a)為影像原圖，(b)為遮罩	25
圖 4.5 (a)為反投射圖，(b)為有遮罩的反射投影圖	25
圖 4.6 meanshift視窗移動示意圖	26
圖 4.7 (a)攝影機影像，(b)反投射圖	27
圖 4.8 CAMShift搜尋視窗演變過程(左上為第一張，右下為最後一張)	27
圖 4.9 視覺辨識輔助夾取之流程圖	28
圖 4.10 流程圖	29
圖 4.11 模擬辨識夾取MFC介面	30
圖 4.12 模擬移動過的貨品依然可以被CAMShift找到	30
圖 4.13 取得彩色遮罩圖的MFC介面	31
圖 4.14 彩色影像與深度影像拍攝物體視角示意圖	31
圖 4.15 物件辨識劇情流程	31
圖 4.16 偵測物件流程圖	32
圖 4.17 視覺辨識MFC程式介面	32
圖 4.18 匯入物件資料	32
圖 4.19 匯入物件資料	33
圖 4.20 放入三個物件並辨識第一個物件	33
圖 4.21 放入三個物件並辨識第二個物件	33
圖 5.1硬體架構圖	34
圖 5.2 流程圖	35
圖 5.3 硬體架構與擺放狀況	35
圖 5.4 以MFC架構的程式介面	35
圖 5.5 貨品顏色辨識與追蹤測試結果	36
圖 5.6 硬體架構圖	36
圖 5.7 硬體架構實際擺放狀況	36
圖 5.8 模擬生產線流程圖	37
圖 5.9 MFC程式介面	37
圖 5.10 機器人進入IPcam的範圍	37
圖 5.11 機器人到達定點，等待機器手臂夾取物料	38
圖 5.12 機器手臂夾取物料	38
圖 5.13 機器手臂完成物料夾取	38
圖 5.14 劇情流程	39
圖 5.15 硬體實際擺放狀況	39
圖 5.16 系統結合MFC程式介面	40
圖 5.17移動機器人進佔完成程式截圖	40
圖 5.18 辨識物品程式截圖	40
圖 5.19 成功夾取照片	41

表目錄
表 2.1 型號Axis 213	9
表 2.2 廣明手臂機構規格	10
表 2.3 Kinect v2 各影像參數	12
表 2.4 P3DX規格表	13
表 2.5雷射測距儀Hokuyo URG-04LX-UG01規格	13
表 2.6 MPU-6050陀螺儀參數	14
表 2.7 HM-10 藍芽開發模組規格表	15
表 3.1 藍芽裝置訊號強度與實際距離對照表	18
表 3.2 檢查點與發射器座標距離表(單位:cm)	20
表 3.3 量測距離與發射器實際距離誤差表(單位:cm)	20
表 3.4 地面高度與QR-code定位誤差表	22

[1]	The unstructured environments in Amazon fulfillment warehouse, http://amazonpickingchallenge. org/amazon_pick.png (accessed on December 20, 2015)
[2]	KivaRobot,http://holeaker.blogspot.tw/2013/12/best-investmet-that-amazon-made.html(accessed on December 19, 2013.)
[3]	Amazon Robotics, https://www.amazonrobotics.com/#/ (accessed on December 1, 2015)
[4]	Amazon Picking Challenge, http://amazonpickingchallenge.org/ (accessed on December 19, 2015)
[5]	K. Goldberg, "Cloud Robotics and Automation", http://goldberg.berkeley.edu/cloud-robotics/ (accessed May 13, 2016)
[6]	H. Kagermann and W.-D. Lukas, Industrie 4.0: Mit dem Internet der Dinge auf dem Weg zur 4. industriellen Revolution, VDI-Nachrichten, April 2011.
[7]	M.W.M.G. Dissanayake, P. Newman, S. Clark, H. Durrant-Whyte, and M. Csorba, “A Solution to the Simultaneous Localization and Map Building (SLAM) Problem,” IEEE Transactions on Robotics and Automation, vol.17, no. 3, pp. 229–241, 2001.
[8]	S. Se, D.G. Lowe, and J.J. Little, “Vision-Based Global Localization and Mapping for Mobile Robots,” IEEE Transactions on Robotics, vol.21, no.3, pp.364-375, 2005.
[9]	A.J. Davison, I.D. Reid, N.D. Molton, and O. Stasse, “MonoSLAM Real Time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.29, no.6, pp.1052-1067, 2007.
[10]	L.M. Paz, P. Pinies, J.D. Tardos, and J. Neira, “Large-Scale 6-DOF SLAM with Stereo-in-Hand,” IEEE Transactions on Robotics, vol.24, no.5, pp.946-957, 2008.
[11]	Z. Wang, S. Huang, and G. Dissanayake, Simultaneous Localization and Mapping: World Scientific Publishing Co., 2011.
[12]	M. Montemerlo, FastSLAM: a factored solution to the simultaneous localization and mapping problem with unknown data association, Ph.D. dissertation, Carnegie Mellon University, Pittsburgh, PA, 2003.
[13]	S.J. Davey, “Simultaneous Localization and Map Building Using the Probabilistic Multi-Hypothesis Tracker,” IEEE Transactions on Robotics, vol.23, no.2, pp.271-280, 2007.
[14]	R. Sim, P. Elinas and J.J. Little, “A Study of the Rao-Blackwellised Particle Filter for Efficient and Accurate Vision-Based SLAM,” International Journal of Computer Vision, vol.74, no.3, pp.303-318, 2007.
[15]	OpenSLAM, website:http://openslam.org/ (accessed 12/10/2015)
[16]	G. Klein and D. Murray, "Parallel Tracking and Mapping for Small AR Workspaces," presented at the Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'07), Nara, November, 2007, pp. 225-234.
[17]	G. Klein and D. Murray, "Improving the Agility of Keyframe-Based SLAM," in Computer Vision – ECCV 2008. vol. 5303, D. Forsyth, P. Torr, and A. Zisserman, Eds., ed: Springer Berlin Heidelberg, 2008, pp. 802-815.
[18]	G. Klein and D. W. Murray, "Simulating Low-Cost Cameras for Augmented Reality Compositing," Visualization and Computer Graphics, IEEE Transactions on, vol. 16, pp. 369-380, 2010.
[19]	D. Nister, O. Naroditsky, and J. Bergen, "Visual odometry," in Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, 2004, pp. I-652-I-659 Vol.1.
[20]	D. Nistér, O. Naroditsky, and J. Bergen, "Visual odometry for ground vehicle applications," Journal of Field Robotics, vol. 23, pp. 3-20, 2006.
[21]	D. Scaramuzza and F. Fraundorfer, "Visual Odometry [Tutorial]," Robotics & Automation Magazine, IEEE, vol. 18, pp. 80-92, 2011.
[22]	F. Fraundorfer and D. Scaramuzza, "Visual odometry: Part II: Matching, robustness, optimization, and applications," Robotics & Automation Magazine, IEEE, vol. 19, pp. 78-90, 2012.
[23]	K. Fukunaga and L.D. Hostetler, “The estimation of the gradient of a density function, with applications in pattern recognition,” IEEE Truns. Infi,rmution Theory, vol. 21, pp. 32-40, 1975. 
[24]	G. R. Bradski, “Computer vision face tracking as a component of a perceptual user interface,” in Proc. IEEE Workshop on Applications of Computer Vision, Princeton, NJ, October 1998, pp. 214–219.
[25]	P.J. Besl and N. D. McKay, "A Method for Registration of 3-D Shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp.239-256, Feb., 1992.
[26]	G. Grisetti, Cyrill Stachniss, and Wolfram Burgard: Improved Techniques for Grid Mapping with Rao-Blackwellized Particle Filters, IEEE Transactions on Robotics, Volume 23, pages 34-46, 2007 
[27]	G. Grisetti, Cyrill Stachniss, and Wolfram Burgard: Improving Grid-based SLAM with Rao-Blackwellized Particle Filters by Adaptive Proposals and Selective Resampling, In Proc. of the IEEE International Conference on Robotics and Automation (ICRA), 2005.