淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


系統識別號 U0002-2208201313490900
中文論文名稱 應用於多重視角點雲合併之增強型3D RANDSAC RGB-D映射演算法
英文論文名稱 An Enhanced 3D RANSAC RGB-D Mapping Algorithm for Multiview Point Cloud Registration
校院名稱 淡江大學
系所名稱(中) 電機工程學系碩士班
系所名稱(英) Department of Electrical Engineering
學年度 101
學期 2
出版年 102
研究生中文姓名 王傳崴
研究生英文姓名 Chuan-Wei Wang
學號 600470073
學位類別 碩士
語文別 中文
口試日期 2013-07-16
論文頁數 64頁
口試委員 指導教授-蔡奇謚
委員-蘇木春
委員-鄭吉泰
中文關鍵字 多視角點雲合併  RGB-D映射演算法  最佳化演算法  RANSAC演算法 
英文關鍵字 Multi-view point cloud registration  RGB-D mapping algorithm  Optimization algorithm  RANSAC algorithm 
學科別分類 學科別應用科學電機及電子
中文摘要 本論文提出了一個增強型的多視角點雲合併方法,可應用於建立三維物體點雲模型及三維環境點雲地圖。本論文所提出方法的貢獻分為兩部份:第一部份為濾除點雲資料周圍之誤差對應點,加強點雲對應點準確率;第二部份為提出改良型目標函數,加強點雲合併的完整性。在第一部份中,由於Kinect攝影機在擷取點雲時,影像邊界附近的點雲資料都會出現誤差,為了不讓此誤差點雲影響點雲合併的結果,本論文提出一種方法濾除在此誤差演雲上的對應點來加強合併的結果。在第二部份中,現有點雲合併演算法通常是透過目標函數所計算出的誤差數值估測合併兩點雲的轉換矩陣,因此目標函數的精確度會直接影響點雲合併完整度。現有點雲合併演算法的目標函數通常都只有計算一種方向的誤差數值,因此得到的誤差數值可能會比較不準確。為了解決此問題,本論文亦提出了一種增強型的目標函數,此目標函數同時計算出兩種方向之誤差數值,能提供精準的點雲合併結果。由實驗結果中可發現,本論文所提出的增強型點雲合併演算法在點雲合併結果的完整度及運算效能上,確實較現有演算法方法為佳。
英文摘要 This thesis presents an enhanced 3D RANSAC RGB-D mapping algorithm, which can be used in building 3D object model and 3D environment map via point cloud registration. The contribution of the proposed method consists of two parts. Firstly, a simple filtering method is proposed to remove inaccurate points in the input point clouds. Secondly, a novel cost function is proposed to enhance the accuracy of point cloud registration. Point clouds obtained from the RGB-D camera usually have large position error, especially around the image boundaries. The proposed filtering method is able to filter the points around these areas in order to exclude them from the registration process. On the other hand, the existing point cloud registration algorithms usually estimate the transformation matrix according to a distance-based cost function, which directly affects the performance of the registration process. To improve the registration results, a new distance-based cost function is proposed to simultaneously evaluate the forward and backward transformation errors between two point clouds. Experimental results show that the proposed point cloud registration algorithm provides better registration results with higher computational efficiency compared to two existing RGB-D mapping algorithms.
論文目次 目錄
中文摘要 I
英文摘要 II
目錄 III
圖目錄 V
表目錄 IX
第一章 序論 1
1.1 研究背景 1
1.2 研究動機與目的 6
1.3 論文架構 9
第二章 實驗系統介紹 10
2.1 硬體介紹 10
2.2 軟體介紹 12
2.2.1 OpenNI 12
2.2.2 Point Cloud Library (PCL) 15
第三章 多重視角點雲合併相關演算法 17
3.1 點雲的旋轉及平移 17
3.2 Iterative Closest Point (ICP)演算法 18
3.3 RGB-D映射演算法 22
3.4 RANSAC演算法 25
3.5 2D RANSAC RGB-D映射演算法 28
第四章 增強型RGB-D映射演算法 31
4.1 3D RANSAC RGB-D映射演算法 31
4.2 增強型3D RANSAC RGB-D映射演算法 33
4.2.1 點雲濾除處理 34
4.2.2 新型目標函數 37
4.2.3 提出之演算法處理流程 40
第五章 實驗結果與分析 44
5.1 環境合併結果 45
5.2 單一物體合併結果 52
第六章 結論與未來展望 61
參考文獻 62








圖目錄
圖1.1、跨影像特徵點連結。 6
圖1.2、傳統ICP演算法合併複雜幾何圖形結果:(a)RGB影像,(b)來源點雲,(c)目標點雲,(d)點雲合併結果。 7
圖1.3、傳統ICP演算法合併單調幾何圖形結果:(a)來源點雲,(b)目標點雲,(c)點雲合併結果。 8
圖2.1、本論文程式碼架構。 11
圖2.2、Kinect攝影機[1]。 11
圖2.3、OpenNI架構圖[2]。 13
圖2.4、Kinect擷取影像及顯示:(a)深度影像,(b)RGB影像。 14
圖2.5、同一張點雲資料在不同視角的顯示方式:(a)左視圖,(b)中視圖,(c)右視圖。 14
圖2.6、PCL架構圖[3]。 16
圖2.7、國內外使用PCL函式庫開發廠商[3]。 16
圖3.1、傳統ICP演算法圖解:(a)定義白色圓圈為目標點雲,黑色方塊為來源點雲,(b)找出兩點雲的最近對應點,(c)利用目標函數(3.2)式找出當下最佳轉換矩陣,(d)-(f)重複尋找最近對應點以及最佳化處理步驟,(g)最佳合併結果。 21
圖3.2、RGB-D 映射流程圖。 22
圖3.3、SURF對應點連結。 24
圖3.4、RGB-D映射演算法。 24
圖3.5、RANSAC演算法執行範例:(a)一組二維的點資料(例如:點雲或是影像資料),(b)隨機取兩點為內群點,(c)計算當下的線段模型以及內群點數量,(d)重新隨機取兩點為內群點,(e)重新計算當下的線段模型以及內群點數量,假如當次內群點數量大於先前線段模型的內群點數量,就將當下的線段模型預設為最佳解,(f)重複以上步驟直到實際迭代次數大於估測的迭代次數。 27
圖3.6、2D RANSAC RGB-D映射演算法。 28
圖3.7、SURF對應點連結以及RANSAC離群點去除結果。 30
圖3.8、2D RANSAC RGB-D映射演算法結果。 30
圖4.1、3D RANSAC RGB-D映射演算法結果。 34
圖4.2、平面點雲誤差示意圖:(a)平視圖,(b)側視圖,(c)俯視圖。 35
圖4.3、點雲對應點濾除結果。 36
圖4. 4、點雲濾除方法合併結果,(a)加入濾除的點雲合併結果,(b)沒加入濾除的點雲合併結果。 36
圖4.5、正向及反向誤差轉換矩陣圖解:(a)起始點雲位置,(b)正向誤差轉換矩陣,(c)反向誤差轉換矩陣。 39
圖4.6、連續合併點雲資料:(a)連續點雲資料示意圖,(b)合併點雲資料圖。 42
圖4.7、增強型3D RANSAC RGB-D映射演算法結果。 43
圖5.1、環境點雲合併實驗:(a)第一種測試環境影像,(b)第二種測試環境影像。 45
圖5.2、第一種測試環境點雲合併結果:(a) 2D RANSAC RGB-D映射演算法合併結果之平視圖、俯視圖,(b) 3D RANSAC RGB-D映射演算法合併結果之平視圖、俯視圖。 47
圖5.3、第二種測試環境點雲合併結果:(a) 2D RANSAC RGB-D映射演算法合併結果,(b) 3D RANSAC RGB-D映射演算法合併結果。 48
圖5.4、第一種測試環境點雲增強合併結果:(a)2D RANSAC RGB-D映射搭配ICP演算法之合併結果平視圖,(b)3D RANSAC RGB-D映射搭配ICP演算法之合併結果平視圖,(c)增強型3D RANSAC RGB-D映射演算法之合併結果圖。 50
圖5.5、第二種測試環境點雲增強合併結果:(a)2D RANSAC RGB-D映射搭配ICP演算法之合併結果平視圖,(b)3D RANSAC RGB-D映射搭配ICP演算法之合併結果平視圖,(c)增強型3D RANSAC RGB-D映射演算法之合併結果圖。 51
圖5.6、物體點雲合併實驗:(a)第一種測試物體影像,(b)第二種測試物體影像。 52
圖5.7、物體點雲合併結果:2D RANSAC RGB-D映射演算法之(a)第一種測試物體以及(b)第二種測試物體合併結果,3D RANSAC RGB-D映射演算法之(c)第一種測試物體以及(d)第二種測試物體合併結果。 53
圖5.8、物體點雲增強合併結果:2D RANSAC RGB-D映射演算法搭配ICP之(a)第一種測試物體以及(b)第二種測試物體合併結果,3D RANSAC RGB-D映射搭配ICP演算法之(c)第一種測試物體以及(d)第二種測試物體合併結果,本論文提出方法之(e)第一種測試物體以及(f)第二種測試物體點雲合併結果。 55
圖5.9、攝影機擷取點雲資料之範圍示意圖:(a)第一張點雲資料,(b)第二張點雲資料,(c)現有RGB-D映射演算法合併點雲結果示意圖,(d)ICP演算法合併點雲示意圖。 56
圖5.10、本論文所提出方法之點雲合併結果圖:(a) 此實驗要合併的環境資料,(b) 正向目標函數的點雲合併結果,(c) 透過濾點過後的對應點合併結果,(d) 正反向目標函數求得的點雲合併結果。 59























表目錄
表4.1、濾點及無濾點的誤差總數比對。 37
表4.2、RANSAC迭代中的誤差結果 40
表4.3、內群對應點歐基里德距離加總結果 40
表5.1、第一種測試環境點雲合併所耗時間 57
表5.2、第二種測試環境點雲合併所耗時間 58
表5.3、第一種測試物體點雲合併所耗時間 58
表5.4、第二種測試物體點雲合併所耗時間 58
表5.5、本論文提出方法之點雲合併結果數據 60
參考文獻 參考文獻
[1] Kinect攝影機, available at: http://www.xbox.com/zh-TW/Kinect
[2] Open Natural Interaction (OpenNI), available at: http://www.openni.org/
[3] Point Cloud Library (PCL), available at: http://pointclouds.org/
[4] P. Besl, McKay. J and D. Neil, “A Method for Registration of 3-D Shapes,” International Society for Optics and Photonics, Vol. 14, No. 2, pp. 239-256, 1992.
[5] T. Masuda and N. Yokoya, “A Robust Method for Registration and Segmentation of Multiple Range Images,” Computer Vision andImage Understanding, Vol. 61, No. 3, pp. 295-307, 1995.
[6] T. Masuda, “A Unified Approach to Volumetric Registration and Integration of Multiple Range Images,” Proceeding of International Conference on Pattern Recognition, Brisbane, Australia, pp. 977-981, 1998.
[7] H. Pottmann, S. Leopoldseder and M. Hofer, “Registration without ICP,” Computer Vision and Image Understanding, Vol. 95, No.1, pp. 54-71, 2004.
[8] R. B. Rusu, N. Blodow and M. Beetz, “Fast Point Feature Histograms (FPFH) for 3D Registration,” IEEE International Conference on Robotics and Automation, Kobe, Japan, pp. 3212-3217, 2009.
[9] N. Engelhard, F. Endres, J. Hess, J. Sturm and W. Burgard, “Real-Time 3D Visual SLAM with A Hand-Held RGB-D Camera,” In: Proc. of the RGB-D Workshop on 3D Perception in Robotics at the European Robotics Forum, Vasteras, Sweden, 2011.
[10] D. G. Lowe, “Distinctive Image Features from Scale-invariant Keypoints,” International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.
[11] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-Up Robust Features (SURF),” Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346-359, 2008.
[12] L. Guo, J. Li, Y. Zhu and Z. Tang, “A Novel Features from Accelerated Segment Test Algorithm Based on LBP on Image Matching,” IEEE International Conference on Communication Software and Networks, Xi'an, China, pp. 355-358, 2011.
[13] E. Rublee, V. Rabaud, K. Konolige and G. Bradski, “ORB: An Efficient Alternative to SIFT or SURF,” IEEE International Conference on Computer Vision, Barcelona, Spain, pp. 2564-2571, 2011.
[14] F. Li, A. Longstaff, S. Fletcher and A. Myers, “A Fast and Effective Way to Improve the Merging Accuracy of Multi-View Point Cloud Data,” International Conference on Automation and Computing, Huddersfield, UK, pp. 18-21, 2011.
[15] P. Henry, M. Krainin, E. Herbst, X. Ren and D. Fox, “RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments,” The International Journal of Robotics Research, Vol. 31,
No. 5, pp. 647-663, 2012.
[16] D. Lee, H. Kim and H. Myung, “GPU-based Real-Time RGB-D 3D SLAM,” International Conference on Ubiquitous Robots and Ambient Intelligence, Daejeon, Korea, pp. 46-48, 2012.
[17] Kinect Software Development Kit (SDK), available at:
http://www.microsoft.com/en-us/kinectforwindows/
[18] Natural Interaction Middleware(NITE), available at:
http://www.openni.org/files/nite/#.UdwxQdIwdic
[19] SensorKinect, available at : https://github.com/avin2/SensorKinect
[20] Boost, available at: http://www.boost.org/
[21] Eigen, available at:
http://eigen.tuxfamily.org/index.php?title=Main_Page
[22] FLANN, available at:
http://www.cs.ubc.ca/~mariusm/index.php/FLANN/FLANN
[23] VTK, available at: http://www.vtk.org/
[24] CUDA, available at: https://developer.nvidia.com/technologies/Libraries
[25] Qhull, available at: http://www.qhull.org/
[26] R. L. Pio, “Euler angle transformations,” IEEE Transaction on Automatic Control, Vol. 11, No. 4, pp. 707-715, 1966.
[27] S. Sarkka, “Notes on quaternions,” Internal Technical Document, Helsinki University of Technology, 2007.
[28] 蔡奇謚(2002),“立體影像扭正及地圖建構”,雲林科技大學電機系碩士論文。
[29] Dlib, available at: http://dlib.net/optimization.html
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2018-09-02公開。
  • 同意授權瀏覽/列印電子全文服務,於2018-09-02起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信