本論文使用微軟Kinect之RGB-D感測器，發展機器人同時定位與建圖演算法。研究分為四個階段：第一階段校準Kinect RGB-D感測器，包括RGB攝影機的內部參數校準，以及RGB鏡頭與深度鏡頭的歪斜校準。基於RGB-D感測器的同時定位與建圖之演算法在第二階段被建立與實測。第三階段將移動中建立場景的功能整合到同時定位與建圖任務中，以便建立環境模型。第四階段規劃系統的運算速度之改善程序。利用雲端運算的概念，將運算系統分為影像處理與狀態估測兩個運算程序。將影像處理程序保留在移動感測系統端，而狀態估測程序交由雲端運算伺服器進行處理。實測結果顯示使用本論文規劃的雲端運算程序，可以加快15%的運算速度。

This thesis presents an algorithm of robot simultaneous localization and mapping (SLAM) using a RGB-D sensor. This research consists of four stages: first, the Kinect RGB-D sensor is calibrated including the intrinsic parameters of RGB camera as well as the alignment of the RGB sensor and the depth sensor. The RGB-D SLAM is developed and implemented in indoor environments at the second stage. Third, the task of structure from motion (SFM) is integrated with the RGB-D SLAM to construct the environment model. Computational speed is improved at the last stage. The concept cloud computing is applied to the SLAM system by dividing the system into two procedures including image processing and state estimation. The procedure of image processing is remained at the mobile sensory system, while the state estimation is implemented by a cloud computing server. Experimental results show that the computational speed is increased 15% with the cloud computing.

目錄

中文摘要...I
英文摘要...II
目錄...III
圖目錄...V
表目錄...IX
第1章 序論...1
1.1 研究動機與目的...1
1.2 文獻探討...1
1.2.1 Kinect感測器影像校準...1
1.2.2 Kinect EKF SLAM...1
1.2.3 場景重建...1
1.2.4 雲端計算...1
1.3 研究範圍...2
1.3.1 深度資料的建立...2
1.3.2 Kinect感測器校準...2
1.3.3 場景重建...2
1.3.4 雲端計算...2
1.4 系統架構...2
1.5 論文架構...3
第2章 KINECT感測器的校準...4
2.1 深度資料...5
2.2 KINECT鏡頭歪斜問題...6
2.3 KINECT RGB攝影機校準...10
第3章 KINECT EKF SLAM...12
3.1 KINECT感測器同時定位與建圖(SLAM)...12
3.2 範例一：行走直線路徑...13
3.3 範例二：繞行圓形路徑...16
第4章 KINECT SFM...21
4.1 場景重建(STRUCTURE FROM MOTION)...21
4.2 KINECT感測器實現場景重建...22
4.3 範例一：KINECT感測器實現場景重建...25
4.4 範例二：KINECT感測器實現場景重建...29
4.5 範例三：KINECT感測器實現場景重建...30
第5章 雲端運算...34
5.1 雲端運算...34
5.2 範例一：模擬實驗場景為直線...36
5.3 範例二：模擬實驗場景為繞圈...41
第6章 研究成果與未來研究方向...47
6.1 研究成果...47
6.2 未來研究方向...47
參考文獻...48


圖目錄

第1章 序論...1
第2章 KINECT感測器的校準...4
圖 2.1 KINECT感測器...4
圖 2.2 RGB影像...6
圖 2.3深度影像...6
圖 2.4深度格式...7
圖 2.5兩個影像片段中對應的點...8
圖 2.6 棋盤格的RGB影像...8
圖 2.7棋盤格的深度影像...8
圖 2.8棋盤格的IR影像...8
圖 2.9校準用RGB影像...8
圖 2.10校準用IR影像...8
圖 2.11 RGB影像...9
圖 2.12未校準深度影像...9
圖 2.13校準後深度影像...9
圖 2.14 RGB棋盤格影像角點...9
圖 2.15 IR棋盤格影像角點...9
圖 2.16 校準後IR棋盤格影像角點...9
圖 2.17校準影像像素與RGB影像像素誤差距離比較直方圖...9
圖 2.18二十張棋盤格照片...10
圖 2.19依序將每一張圖都點選角落...10
圖 2.20 MATLAB計算結果之像素座標圖...11
第3章 KINECT EKF SLAM...12
圖 3.1 SLAM系統狀態...13
圖 3.2 SLAM上視圖...13
圖 3.3 1ST彩色影像...14
圖 3.4 1ST深度影像...14
圖 3.5 1ST偵測到新的特徵點...14
圖 3.6 80TH彩色影像...14
圖 3.7 80TH深度影像...14
圖 3.8 80TH判斷中與穩定特徵點...15
圖 3.9 160TH彩色影像...15
圖 3.10 160TH深度影像...15
圖 3.11 160TH持續偵測...15
圖 3.12 257TH彩色影像...16
圖 3.13 257TH深度影像...16
圖 3.14 257TH路徑結束...16
圖 3.15 8TH彩色影像...17
圖 3.16 8TH深度影像...17
圖 3.17 8TH偵測到穩定特徵點...17
圖 3.18 270TH彩色影像...17
圖 3.19 270TH深度影像...17
圖 3.20 270TH 第一次轉彎...18
圖 3.21 610TH彩色影像...18
圖 3.22 610TH深度影像...18
圖 3.23 610TH第一次路徑重合...18
圖 3.24 850TH彩色影像...19
圖 3.25 850TH深度影像...19
圖 3.26 850TH第二圈的行進中...19
圖 3.27 1104TH彩色影像...19
圖 3.28 1104TH深度影像...19
圖 3.29 1104TH路徑第二圈重合...20
第4章 KINECT SFM...21
圖 4.1文獻 [9] 所使用的 SFM 深度估測結果...22
圖 4.2場景重建流程圖...24
圖 4.3場景重建圖場景重建...24
圖 4.4 100TH彩色影像...25
圖 4.5 100TH深度影像...25
圖 4.6 100TH路徑規劃...25
圖 4.7 100TH場景重建...26
圖 4.8 300TH彩色影像...26
圖 4.9 300TH深度影像...26
圖 4.10 300THSLAM的路徑規劃...27
圖 4.11 300THSFM 場景重建...27
圖 4.12 766TH彩色影像...28
圖 4.13 766TH深度影像...28
圖 4.14 766TH SLAM的路徑規劃...28
圖 4.15 766TH SFM場景重建...29
圖 4.16 100TH 場景重建(正面)...30
圖 4.17 100TH 場景重建(側面)...30
圖 4.18 300TH 場景重建(正面)...30
圖 4.19 300TH 場景重建(側面)...30
圖 4.20 766TH場景重建(正面)...30
圖 4.21 766TH場景重建(側面)...30
圖 4.22 100TH彩色影像...31
圖 4.23 100TH 深度影像...31
圖 4.24 100TH SLAM路徑規劃...31
圖 4.25 100TH 場景重建(正面)...31
圖 4.26 100TH 場景重建(側面)...31
圖 4.27 200TH彩色影像...32
圖 4.28 200TH 深度影像...32
圖 4.29 200TH SLAM路徑規劃...32
圖 4.30 200TH 場景重建(正面)...32
圖 4.31 200TH 場景重建(側面)...32
圖 4.32 300TH彩色影像...33
圖 4.33 300TH 深度影像...33
圖 4.34 300TH SLAM路徑規劃...33
圖 4.35 300TH 場景重建(正面)...33
圖 4.36 300TH 場景重建(側面)...33
第5章 雲端運算...34
圖 5.1雲端運算...35
圖 5.2兩PC簡單示意圖...35
圖 5.3雲端傳輸流程圖...35
圖 5.4 1PC 630TH 彩色影像、深度影像、與SLAM路徑...36
圖 5.5 1PC 1090TH 彩色影像、深度影像、SLAM路徑...37
圖 5.6 1PC 1510TH 彩色影像、深度影像、SLAM路徑...37
圖 5.7 1PC 1933TH 彩色影像、深度影像、SLAM路徑...37
圖 5.8 2PC 700TH 彩色影像、深度影像、SLAM路徑...37
圖 5.9 2PC 1250TH 彩色影像、深度影像、SLAM路徑...38
圖 5.10 2PC 1840TH 彩色影像、深度影像、SLAM路徑...38
圖 5.11 2PC 2280TH 彩色影像、深度影像、SLAM路徑...38
圖 5.12範例為直線時，1PC和2PC時間比較表...39
圖 5.13範例為直線時，SLAM各運算時間比較圖...39
圖 5.14範例為直線時，一台PC SURF與MATCH的時間比較...40
圖 5.15範例為直線時，一台PC運算時間與地圖大小的比較...40
圖 5.16範例為直線時，兩台PC運算時間與地圖大小的比較...41
圖 5.17 1PC 1000TH 彩色影像、深度影像、SLAM路徑...42
圖 5.18 1PC 1840TH 彩色影像、深度影像、SLAM路徑...42
圖 5.19 1PC 2696TH 彩色影像、深度影像、SLAM路徑...42
圖 5.20 2PC 800TH 彩色影像、深度影像、SLAM路徑...43
圖 5.21 2PC 1500TH 彩色影像、深度影像、SLAM路徑...43
圖 5.22 2PC 2594TH 彩色影像、深度影像、SLAM路徑...43
圖 5.23範例為繞圈時，1PC和2PC時間比較表...44
圖 5.24範例為繞圈時，SLAM各運算時間比較圖...44
圖 5.25範例為繞圈時，一台PC SURF與MATCH的時間比較...45
圖 5.26範例為繞圈時，一台PC運算時間與地圖大小的比較...45
圖 5.27範例為繞圈時，兩台PC運算時間與地圖大小的比較...46
第6章 研究成果與未來研究方向...47


表目錄

第1章 序論...1
第2章 KINECT感測器的校準...4
表 2.1 KINECT感測器規格表...4
表 2.2 NB規格表...4
表 2.3歪斜校準參數...7
表 2.4內部參數...10
表 2.5影像修正模型參數...10
第3章 KINECT EKF SLAM...12
第4章 KINECT SFM...21
第5章 雲端運算...34
第6章 研究成果與未來研究方向...47

參考文獻
[1]Kinect for Windows,MSDN,website:http://msdn.microsoft.com/zh-tw/hh367958.aspx
[2]Kinect for Windows,Microsoft,website: http://www.microsoft.com/en-us/kinectforwindows/
[3]Bouguet, J.-Y., Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/ bouguetj/calib_doc/. (accessed 08/01/2010)
[4]Heikkila, J., and O. Silven, A Four-step Camera Calibration Procedure with Implicit Image Correction, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.1106-1112, 1997.
[5]Zhang, Z., A flexible new technique for camera calibration, Microsoft Research Technical Report 98-71, 1998. [http://research.microsoft.com/~zhang]
[6]Gonzalez R.C., and R.E. Woods, 2001, Digital Image Processing, Prentice Hall.
[7]馮盈捷，使用尺度與方向不變特徵建立機器人視覺式SLAM之稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文，2011。
[8]賴文能、陳韋志，國立中正大學電機工程研究所，淺談 2D 至 3D 視訊轉換技術。
[9]Ping Li, Rene Klein Gunnewiek, “On Creating Depth Maps from Monoscopic Video using Structure from Motion,” Proc. of IEEE Workshop on Content Generation and Coding for 3D-television, pp.508-515, 2006.
[10]Cloud-Computing,website: http://en.wikipedia.org/wiki/Cloud_computing
[11]FTP,website:http://en.wikipedia.org/wiki/File_Transfer_Protocol
[12]Bay, H., A. Ess, T. Tuytelaars, L. Van Gool, “SURF: speeded up robust features,” Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[13]洪敦彥，基於擴張型卡爾曼過濾器的機器人視覺式同時定位、建圖、與移動物體追蹤，淡江大學機械與機電工程學系碩士論文，2010。
[14]邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。