系統識別號 | U0002-1609201511225300 |
---|---|
DOI | 10.6846/TKU.2015.00464 |
論文名稱(中文) | 基於RGB-D感測器之物件姿態估測 |
論文名稱(英文) | Object Posture Estimation Based on RGB-D Sensor |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 電機工程學系碩士班 |
系所名稱(英文) | Department of Electrical and Computer Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 103 |
學期 | 2 |
出版年 | 104 |
研究生(中文) | 許恆銓 |
研究生(英文) | Heng-Chuan Hsu |
學號 | 601470049 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2014-07-13 |
論文頁數 | 42頁 |
口試委員 |
指導教授
-
翁慶昌
委員 - 許陳鑑 委員 - 范俊海 |
關鍵字(中) |
物件姿態估測 RGB-D感測器 影像處理 點雲 |
關鍵字(英) |
Object Posture Estimatio RGB-D Sensor Image Process Point Clouds |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本論文提出一個基於具有深度影像資訊的RGB-D感測器之物件姿態估測的方法。為了讓機械手臂能夠自主夾取一個在測試平台上的物件,必須依靠機器視覺的處理與分析技術,透過姿態估測演算法來計算位於測試平台上之物件的可用資訊才可以讓機械手臂自主的夾取物件。本論文所使用的RGB-D感測器為微軟公司所生產的Kinect,而欲估測的物件為直徑三公分的灰色直通水管。主要有兩個步驟:(1) 影像處理以及(2) 姿態估測。在影像處理上,本論文提出一個可以定位感測器以及修復深度資訊的方法。當感測器裝置於測試平台上,所提出的方法可以對感測器進行定位來降低感測器與測試平台間的距離誤差,並且用色彩與深度的回授資訊來改善與修復破損的深度影像。在姿態估測上,本論文提出一個物件姿態估測方法,其先合併感測器所獲得的色彩資訊與深度資訊,然後以點雲的方式呈現,所提出的方法可以有效率的估測出物件位於測試平台上的相對關係。最後,本論文將物件放置於測量紙上來測量它的相對角度與相對向量,從實驗結果可以發現所提出的方法確實可以對測試平台上的物件做正確的姿態估測。 |
英文摘要 |
An object posture estimation method based on a RGB-D sensor is proposed in this thesis. The RGB-D sensor could provide a depth information of object. In order to enable a robot manipulator to autonomously grasp an object on a test bench, the processing and analysis technologies of robot vision are necessary. Some posture estimation algorithms can be used to obtain some available information of object on the test bench so that the robot manipulator can autonomously grip this object. In this thesis, the RGB-D sensor is the Kinect produced by Microsoft and the estimated object is a gray water pipe whose diameter is 3 centimeters. There are two main steps: (1) image processing and (2) posture estimation. In the image processing, a method is proposed to locate the sensor and refine the depth information. When the sensor is installed on the table, the proposed method could reduce the distance error between the sensor and the test bench based on the location of the sensor. Moreover, it can repair the damaged depth image based on the feedback of the color and depth information. In the posture estimation, an object posture estimation approach is proposed. It first combines the color and depth information obtained by the sensor, then all the combined results are represented by the way of point clouds. The relation between the object and the test bench could be obtained efficiently by the proposed method. Finally, the object is placed on a measuring paper to measure its relative angle and relative vector. Some experimental results are presented to illustrate that the proposed method can indeed do the right posture estimation of the object on the test bench. |
第三語言摘要 | |
論文目次 |
目錄 中文摘要 I 英文摘要 II 目錄 III 圖目錄 VI 表目錄 X 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機與目的 2 1.3 文獻回顧 4 1.4 論文架構 4 第二章 軟硬體架構與系統架構 5 2.1 軟硬體架構 5 2.2 系統架構 7 第三章 影像處理 10 3.1 鏡頭校正 10 3.2 平行校正 11 3.3 系統感興趣區域 12 3.4 彩色影像與深度影像分割 13 3.5 深度影像修復 15 3.6 深度正規化 18 第四章 物件姿態估測 20 4.1 霍夫直線偵測 20 4.2 點雲向量計算 24 4.3 介面顯示 27 第五章 實驗結果 29 5.1 平行堆疊的三根水管直線偵測 29 5.2 平面中單根水管的中心座標估測 31 5.3 平面中單根水管的姿態估測 35 5.4 空間中單根水管的姿態估測 37 第六章 結論與未來展望 39 參考文獻 40 圖目錄 圖 1.1、水管外觀 3 圖 1.2、六軸機械手臂 3 圖 1.3、白色隔音棉 3 圖 1.4、距離測試實驗場景 3 圖 2.1、Kinect硬體分佈 6 圖 2.2、OpenGL顯示視窗 7 圖 2.3、系統架構圖 7 圖 2.4、系統流程圖 9 圖 2.5、點雲示意圖 9 圖 3.1、棋盤方格紙角點偵測 10 圖 3.2、平行偵測點示意圖 11 圖 3.3、平行校正的軟體人機介面 11 圖 3.4、感興趣區域的範圍 12 圖 3.5、有系統感興趣區域 12 圖 3.6、無系統感興趣區域 13 圖 3.7、HSV色彩分割 14 圖 3.8、Depth相鄰點深度值皆為零 16 圖 3.9、Depth只有幾個相鄰點有深度值 16 圖 3.10、Depth相鄰點皆有深度值 17 圖 3.11、深度影像修復(a)原始彩色影像(b)修補後深度影像 17 圖 3.12、距離分佈圖 18 圖 3.13、正規化結果:(a)灰階顯示(b)直方圖統計 19 圖 4.1、直線的逼近 21 圖 4.2、霍夫轉換示意圖 21 圖 4.3、影像空間x-y 22 圖 4.4、參數空間a-b 23 圖 4.5、累增器 23 圖 4.6、水管邊緣化 23 圖 4.7、霍夫直線偵測 24 圖 4.8、實驗場景 24 圖 4.9、水管點雲圖 25 圖 4.10、三點求公垂向量 25 圖 4.11、中心點與鄰近點的公垂向量計算與統計 26 圖 4.12、點雲法向量計算的示意圖 27 圖 4.13、點雲中各點的向量顯示 27 圖 4.14、拉近與選轉 28 圖 4.15、物件中心向量 28 圖 5.1、影像前處理:(a)灰階影像(b)二值影像(c)邊緣化 29 圖 5.2、影像前處理:(a)灰階影像(b)深度影像 30 圖 5.3、霍夫直線偵測:(a)邊緣化(b)直線偵測 30 圖 5.4、霍夫直線偵測:(a)邊緣化(b)直線偵測 30 圖 5.5、白色隔音棉 31 圖 5.6、角度確認用紙 35 圖 5.7、基礎姿態 35 圖 5.8、空間中單根水管示意圖(1) 37 圖 5.9、空間中單根水管示意圖(2) 37 表目錄 表 2.1、Kinect 規格表 6 表 5.1、平面中單根水示意圖 32 表 5.2、平面中單根水管座標 34 表 5.3、平面中單根水管中心座標誤差 34 表 5.4、平面中單根水管的角度估測 36 表 5.5、水管傾斜45度 38 表 5.6、水管傾斜60度 38 |
參考文獻 |
參考文獻 [1] 3D視覺入列,製造業機器人邁向智動化: http://www.digitimes.com.tw/tw/b2b/Seminar/shwnws_new.asp?CnlID=18&cat=99&product_id=051A20702&id=0000343851_TU29B1YL4J8Y0328627G4#ixzz2msD9jPbv [2] 前進智慧製造 視覺機器人漸成新寵:http://www.digitimes.com.tw/tw/iac/shwnws.asp?cnlid=19&cat=&packageid=7760&id=0000350826_LIK7I3YM3DKR2V5WEGZT4 [3] 吳晉嘉、林欣儀,工件三維姿態估測方法介紹,機械工業雜誌362期,2013年。 [4] R. T. Chin and C. R. Dyer, “Model-based recognition in robot vision,” ACM Computing Surveys, Vol. 18, pp. 67-108, 1986. [5] 張彥中、林欣儀,機器人容器內取料技術介紹與應用,機械工業雜誌365期,2013年。 [6] Universal Robotics: Random Bin Picking: http://www.universalrobotics.com/random-bin-picking [7] 邱威堯、謝伯璜、張津魁、呂尚杰、張俊隆,堆疊物件取放技術簡介,機械工業雜誌362期,2013。 [8] D. Buchholz, S. Winkelback, and F. M. Wahl, “RANSAM for Industrial Bin-Picking,” Proc. of 2010 41st International Symposium on Robotics (ISR) and 2010 6th German Conference on Robotics (ROBOTIK), Munich, Germany, pp. 1-6, 2010. [9] D. Buchholz, M. Futterlieb, S. Winkelback, and F. M. Wahl, “Efficient Bin-Picking and Grasp Planning Based on Depth Data,” Proc. of 2013 IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, pp. 3245-3250, 2013. [10] M. Nieuwenhuisen, J. Stückler, A. Berner, R. Klein, and S. Behnke, “Shape-Primitive Based Object Recognition and Grasping,” Proc. of 7th German Conference on Robotics (ROBOTIK), Munich, Germany, pp. 1-5, 2012. [11] A. Berner, J. Li, D. Holz, J. Stückler, S. Behnke, and R. Klein, “Combining Contour and Shape Primitives for Object Detection and Pose Estimation of Prefabricated Parts,” Proc. of IEEE International Conference on Image Processing (ICIP), Melbourne, Australia, pp. 3326-3330, 2013. [12] D. Holz, M. Nieuwenhuisen, D. Droeschel, J. Stückler, A. Berner, J. Li, R. Klein, and S. Behnke, “Active Recognition and Manipulation for Mobile Robot Bin Picking,” Springer Tracts in Advanced Robotics, Vol. 94, pp 133-153, 2014. [13] J. Xu, S. Pu, G. Zeng, and H. Zha, “3D Pose Estimation for Bin-picking Task Using Convex Hull,” Proc. of 2012 IEEE International Conference on Mechatronics and Automation, Chengdu, China, pp. 1381-1385, 2012. [14] A. Pochyly, T. Kubela, M. Kozak, and P. Cihak, “Robotic Vision for Bin-Picking Applications of Various Objects,” Proc. of 2010 41st International Symposium on Robotics (ISR) and 2010 6th German Conference on Robotics (ROBOTIK), Munich, Germany, pp. 428-432, 2010. [15] J.K. Oh, K.K. Baek, D. Kim, and S. Lee, “Development of Structured Light based Bin Picking System Using Primitive Models,” Proc. of 2009 IEEE International Symposium on Assembly and Manufactunng, Suwon, Korea, pp. 46-52, 2009. [16] J.K. Oh, C.H. Lee, S.H. Lee, and S.H. Jung, “Development of a Structured-light Sensor Based Bin-Picking System Using ICP Algorithm,” Proc. of 2010 International Conference on Control Automation and Systems (ICCAS), Gyeonggi-do, Korea, pp. 1673-1677, 2010. [17] K. Kim, J. Kim, S. Kang, and J. Kim, “Vision-Based Bin Picking System for Industrial Robotics Applications,” Proc. of 2012 9th International Conference on Ubiquitous Robots and Ambient Intelligent (URAI), Daejeon, Korea, pp. 515-516, 2012. [18] 鐘國亮,影像處理與電腦視覺,第四版,東南書局,2008 |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信