本論文提出了一個基於深度資訊的障礙物偵測方法。首先，應用膨脹與侵蝕，去除深度影像中細小的破碎的雜訊。代表地板分佈的V視差圖（V-disparity map）空間中，利用最小平方法（LSM）以一元二次多項式近似地板曲線，並決定地板高度的門檻值。接著搜尋深度圖像中變化劇烈且符合地板高度的門檻值的可疑樓梯邊緣點，運用霍夫轉換找出線段位置。而為了加強不同物件的邊緣特性與避免過度區域生長的問題，利用邊緣偵測將具有不同深度的物件邊緣移除。然後利用地板高度的門檻值與地面深度平緩變化的特性去除地板區塊影像；再以區域生長法將不同物件進行標籤，並分析每一個物件是否為樓梯，最後，將樓梯、樓梯邊緣和可能影響行走的障礙物，用語音的方式告知使用者其方向與距離。經室內與室外實驗證實本研究之實用性。

This paper proposes an obstacle detection method based on depth information. Firstly, we apply dilation and erosion to remove the crushing noise of the depth image.We use the least squares method (LSM) in a quadratic polynomial to approximate floor curves and determine the floor height threshold in the V-disparity. And then we search for dramatic changes depth value and in accordance with the floor height threshold to find out suspicious stair edge points. And we use Hough transform to find out the location of drop line. In order to strengthen the characteristics of different objects and overcome the drawback of region growing, we apply edge detection remove the edge. Then we use the floor height threshold and features of ground to remove the ground. And then we use region growing to label tags on different objects. We analyze each object and determine whether the object is a stair. Finally, if there is a stair、drop or obstacle, the system will tell the user its direction and distance with voice. The indoor and outdoor experiments confirmed the usefulness of this paper.

致謝	I
中文摘要	II
英文摘要	III
目錄	IV
圖目錄	VII
表目錄	X
第一章 緒論	1
1.1研究動機	1
1.2研究方法	2
1.3論文架構	2
第二章 相關研究與背景知識	3
2.1相關研究	3
2.1.1 非深度資訊	4
2.1.2 深度資訊	7
2.2 相關技術	10
2.2.1形態學	10
2.2.2. UV disparity map	13
2.2.3. 霍夫轉換(Hough Transform)	16
2.2.4. 邊緣偵測	20
2.2.5. 物件標記	22
第三章 盲人避障輔助系統	27
3.1 系統架構	27
3.2 系統流程	28
3.2.1. 影像擷取與去除雜訊	28
3.2.2. 地板高度的檢測	30
3.2.3. 下樓梯的偵測	33
3.2.4. 邊緣的去除	33
3.2.5. 地板的濾除	35
3.2.6. 標籤	37
3.2.7. 上樓梯的偵測	39
3.2.8. 標示物件與告知使用者	40
第四章 實驗結果	41
4.1 實驗環境	41
4.2 單純環境的系統測試	42
4.2.1. 光線充足的室內環境	42
4.2.2. 光線不足的室內環境	43
4.2.3. 光線充足的室外環境	45
4.2.4. 光線不足的室外環境	46
4.3複雜環境的系統測試	47
4.3.1. 光線充足的室內環境	47
4.3.2. 光線不足的室內環境	48
4.3.3. 光線充足的室外環境	50
4.3.4. 光線不足的室外環境	51
4.3.5. 下樓梯之偵測結果	52
4.3.6. 實驗數據之混淆矩陣	53
4.4物體距離的估測	54
4.5實驗比較	56
第五章 結論與未來展望	58
5.1 結論	58
5.2 未來展望	59
参考文獻	60
 
圖目錄
圖2.1 障礙物偵測之結果[1]	3
圖2.2 系統架構[2]	4
圖2.3 障礙物偵測之結果[2]	5
圖2.4 偵測錯誤之結果圖[2]	5
圖2.5 障礙物偵測之結果[3]	6
圖2.6 障礙物偵測之結果[5]	6
圖2.7 障礙物偵測之結果[6]	7
圖2.8 障礙物偵測之結果[7]	8
圖2.9 實驗架構[8]	9
圖2.10 障礙物偵測之結果[8]	9
圖2.11 侵蝕前後關係圖	11
圖2.12 膨脹前後關係圖	11
圖2.13 斷開前後關係圖	12
圖2.14 閉合前後關係圖	13
圖2.15雙眼三角測距法[11]	13
圖2.16 原始圖像與U視差圖之關係	14
圖2.17 U視差圖像之產生示意圖	15
圖2.18 原始圖像與V視差圖之關係	15
圖2.19 V視差圖像之產生示意圖	16
圖2.20 霍夫轉換關係圖	17
圖2.21 霍夫轉換關係圖	19
圖2.22 霍夫轉換之直線偵測結果	19
圖2.23 霍夫轉換之圓形偵測結果	20
圖2.24 各種邊緣偵測之結果	21
圖2.25 四鄰點連通遮罩	23
圖2.26 八鄰點連通遮罩	24
圖2.27 區域生長之結果	26
圖3.1 系統流程圖	27
圖3.2 KINECT擷取之圖像	29
圖3.3 影像處理前後關係圖	29
圖3.4 去除雜訊之影像	30
圖3.5 V視差圖像	30
圖3.6 構成線段的點（紅色）	31
圖3.7 方程式線段（紅色）	31
圖3.8位移前後之結果圖	32
圖3.9 下樓梯偵測之結果	33
圖3.10 SOBEL去除邊緣之結果	34
圖3.11 CANNY去除邊緣之結果	34
圖3.12 去除邊緣之結果	35
圖3.13 地板移除之結果	37
圖3.14 初始種子之選取遮罩	38
圖3.15 標籤結果	38
圖3.16 滿足條件的可疑平面	39
圖3.17 上樓梯偵測之結果圖	39
圖3.18 標記結果	40
圖4.1 微軟發售的KINECT。	42
圖4.2 光線充足的室內障礙物偵測結果	43
圖4.3 光線不足的室內障礙物偵測結果	44
圖4.4 光線充足的室外障礙物偵測結果	45
圖4.5 光線不足的室外障礙物偵測結果	46
圖4.6 光線充足的室內障礙物偵測結果	48
圖4.7 光線不足的室內障礙物偵測結果	49
圖4.8 光線充足的室外障礙物偵測結果	50
圖4.9 光線不足的室外障礙物偵測結果	51
圖4.10 下樓處偵測成功之結果圖	52
圖4.11 實際距離與深度值之相對圖	55

表目錄
表4.1 KINECT規格表	41
表4.2 偵測成功率與失敗率	43
表4.3 偵測成功率與失敗率	44
表4.4 偵測成功率與失敗率	46
表4.5 偵測成功率與失敗率	47
表4.6 偵測成功率與失敗率	48
表4.7 偵測成功率與失敗率	49
表4.8 偵測成功率與失敗率	51
表4.9 偵測成功率與失敗率	52
表4.10 下樓處偵測之成功率	53
表4.11 室內實驗數據之混淆矩陣	53
表4.12 室外實驗數據之混淆矩陣	54
表4.13 深度與實際距離	55

[1]	G. Ma, et al., “A Real-Time Rear View Camera Based Obstacle Detection,” IEEE International Conference on Intelligent Transportation Systems, September 4-7 2009, pp. 1-6.
	
[2]	Z. Yankun, C. Hong, N. Weyrich, “A single camera based rear obstacle detection system,” IEEE Intelligent Vehicles Symposium, June 5-9 2011,pp. 485-490.

[3]	L. Chen, B.L. Guo, W. Sun, “Obstacle Detection System for Visually Impaired People Based on Stereo Vision,” International Conference on Genetic and Evolutionary Computing, December 13-15 2010, pp. 723-726.

[4]	O. Marques, L. M. Mayron, G. B. Borba, and H. R. Gamba, “An Attention-Driven Model for Grouping Similar Images with Image Retrieval Applications,” EURASIP Journal on Advances in Signal Processing, vol. 2007, January 2007, pp. 1-17.

[5]	J. Ying and Y. Song, “Obstacle Detection of a Novel Travel Aid for Visual Impaired People,” International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), August 26-27 2012, pp. 362-364.

[6]	M. Zhang, et al., “An Obstacle Detection Algorithm Based on U-V Disparity Map Analysis,” IEEE International Conference on Information Theory and Information Security (ICITIS), December 17-19 2010, pp. 763-766.

[7]	G. Yuan, et al., “Obstacle Detection with 3D Camera Using U-V Disparity,” International Workshop on Systems Signal Processing and their Applications (WOSSPA), May 9-11 2011, pp. 239- 242.

[8]	J.W. Choi, et al., “Rear Obstacle Detection System Based on Depth From Kinect,” IEEE International Conference on Intelligent Transportation Systems (ITSC), September 16-19 2012, pp. 98-101.

[9]	王蕙君，基於Kinect之即時雙向人流計數系統，淡江大學電機工程學系碩士論文，民國101年。

[10]	郭泰谷，無標誌擴增實境之實現-利用Kinect的觸摸人機介面設計，淡江大學電機工程學系碩士論文，民國101年。

[11]	Z. Hu, F. Lamosa and K. Uchimura, “A complete U-V-disparity study for stereovision based 3D driving environment analysis,” in 3-D Digital Imaging and Modeling (3DIM'05), June 13-16 2005, pp. 204-211.

[12]	Duda, R. O. and P. E. Hart, “Use of the Hough Transformation to Detect Lines and Curves in Pictures,” Comm. ACM, vol. 15, January 11–15 1972, pp. 11-15.

[13]	R. Adams, and L. Bischof, “Seeded region growing,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 16, no. 6, June 1994, pp. 641-647.

[14]	Zheng, C. and Green, R., “Vision-based Autonomous Navigation in Indoor Environments.” International Conference of Image and Vision Computing, November 8-9 2010, pp. 1-7.

[15]	C. Zheng and R. Green, “Feature Recognition and Obstacle Detection for Drive Assistance in Indoor Environments,” in Proceedings of Image and Vision Computing New Zealand (IVCNZ), November 2011.

[16]	N. Soquet and D. Aubert, “Road Segmentation Supervised by an Extended V-Disparity Algorithm for Autonomous Navigation,” IEEE Intelligent Vehicles Symposium, June 2007, pp. 160-165.

[17]	http://msdn.microsoft.com/en-us/library/ms720163.aspx

[18]	http://www.xbox.com/zh-TW/Kinect

[19]	C. H. Lee, Y. C. Su and L. G. Chen, “An intelligent depth-based obstacle detection system for visually-impaired aid applications,” WIAMIS, May 23-25 2012, pp. 1–4.

[20]	http://www.moi.gov.tw/stat/index.aspx