在特定出入口及場所取得進出人員之人流數據，具有非常高之參考價值；而人數統計技術是影像監視系統方面很重要的課題之一。在近幾年研究中，我們發現遮蔽現象(Occlusion)的問題一直存在。因此本論文提出深度垂直位置圖轉換之方法來偵測目標物的存在，並進行形態學-侵蝕與膨脹之處理，再使用8-連通法(8-Connected Component Labeling)來找出目標物之區域(Region of Interest, ROI)，之後依ROI所找出之目標物區域做閥值的判斷，最後分成進出人流計算和區域內之人流計算兩大部分，之後將所得之實驗結果與人工計數結果做比較，本系統在正常情況下，具有極佳之精確度，並可符合即時(Real-time)之需求。

This paper proposed a bi-directional people-flow counting system on Kinect. It can also be applied to multi-flow corresponded with the demand for the practical application. Firstly, we set the Kinect above the doorway to capture the situation of people-flow. Then this system detects people in the covering area using the depth image information from Kinect system. And we do the morphological processing like erosion to the object and use the 8-connected component to find the region of interest (ROI) which often performed on using a mapping-based detection approach. After these previous steps, this system set a detected line and let people go through it. Therefore, we can get people number of the experimental result. For the multi-flow case, it will cause the occlusion problem, so we could apply the depth information to distinguish the target on occlusion problem. Final, we compare the experimental results with the manual count results and other research. Under normal circumstances, our system provides not only almost 100% for bi-directional counting but also correspond with the demand for real-time.

目錄
致謝	I
中文摘要	II
英文摘要	III
目錄	IV
圖目錄	VII
表目錄	X
第1章  緒論	1
1.1研究動機	1
1.2研究方法	2
1.3論文架構	3
第2章  相關研究與背景知識	4
2.1相關研究	4
2.2 相關技術	11
2.2.1 Kinect	11
2.2.2 深度影像建立方法	14
2.2.3 形態學(侵蝕與膨脹)	18
2.2.4物件連通法	21
第3章  即時雙向人流計數系統	25
3.1 系統架構	25
3.2 Kinect輸出之影像	26
3.3 深度垂直位置轉換之方法	27
3.4 形態學處理	29
3.5 連通法(8-Connected Component Labeling)	30
3.6人流計數	33
3.6.1  區域內之人流計數	33
3.6.2  進出之人流計數	35
第4章 實驗結果	37
4.1 實驗環境	37
4.2 系統預備實驗	38
4.2.1  1人來回行走測試	38
4.2.2  2人來回行走之測試	45
4.3 多種實驗環境之測試	52
4.2.2  區域內之人流計數	52
4.3.2  進出之人流計數	55
4.4 重疊系統測試	56
4.4.1  2人重疊測試	56
4.4.2  4人重疊測試	57
4.4.3  多人重疊測試	58
4.5多人流行走之測試	61
4.5.1  區域內之人流計數	61
4.5.2  進出之人流計數	66
4.6實驗比較	69
4.6.1 去掉深度影像之狀況	69
4.6.2 比較之結果	70
第5章  結論與未來展望	72
5.1 結論	72
5.2 未來展望	73
参考文獻	74
    
圖目錄
圖1. 1體感遊戲機 XBOX360。	3
圖2. 1 M. Rossi等人所提出追蹤與行人計數系統之流程圖[3]。	4
圖2. 2 K.Terada等人使用雙眼攝影機自動化計算行人之方法[4]。	5
圖2. 3 Thou-Ho (Chao-Ho) Chen所提出的雙向人流計數之方式[5]。	6
圖2. 4 Honglian Ma等人提出偵測與追蹤行人之方法[6]。	7
圖2. 5 Kin-Yi Yam等人提出的即時且實際計數之系統[7]。	8
圖2. 6 Jingwen Li等人所提出ROI計數系統流程[8]。	9
圖2. 7 Chih-Chang Chen等人提出之行人計數系統[9]。	10
圖2. 8 Ya-Li Hou等人提出有效的方法來估計人數[10]。	10
圖2.9 Kinect	12
圖2. 10 Kinect之架構圖引用於PrimeSensor[12]。	12
圖2. 11 Kinect鏡頭輸出之彩色圖像與深度圖。	13
圖2. 12雙眼三角測距[1]。	14
圖2. 13 結構光掃描[13]。	15
圖2. 14 Light Coding技術示意圖[15]。	17
圖2.15 形態學說明圖。	21
圖2. 16 4-neighborhood[19]。	23
圖2. 17 連通法九宮格，其中O為判定點。	24
圖2. 18 物件連通法實驗圖，(a)為原圖，(b)為結果圖。	24
圖3. 1 本系統流程圖	25
圖3. 2 Kinect輸出之影像。	26
圖3. 3 Kinect輸出之影像。	27
圖3. 4 座標圖之圖示說明。	28
圖3. 5 深度影像經過深度垂直位置轉換之概念圖示說明。	28
圖3. 6 深度垂直位置轉換經過侵蝕後之結果圖。	29
圖3. 7 侵蝕後之深度垂直位置轉換經過膨脹後的結果圖。	30
圖3. 8 本系統應用連通法之流程圖。	31
圖3. 9 經過連通法之深度垂直位置轉換圖。	32
圖3. 10藉由連通法找出目標物之ROI。	33
圖3. 11深度垂直位置轉換圖之區域範圍設定圖(一)。	34
圖3. 12深度垂直位置轉換圖閥值設定圖(二)。	34
圖3. 13進出人流計算之閥值設定圖。	36
圖4.1 微軟發售的Kinect。	37
圖4. 2實驗環境圖。	38
圖4. 3 (a)~(d) 1人單獨離開區域之實驗結果圖。	39
圖4. 4 (a)~(d) 1人單獨進入區域之實驗結果圖。	40
圖4. 5 (a)~(d) 1人背背包之實驗結果圖。	42
圖4. 6 (a)~(d) 1人裝孕婦之實驗結果圖。	43
圖4. 7 (a)~(d) 1人推推車之實驗結果圖。	44
圖4. 8 (a)~(d) 2人並肩離開區域之實驗結果圖。	46
圖4. 9 (a)~(d) 2人並肩進入區域之實驗結果圖。	47
圖4. 10 (a)~(d) 2人交錯來回行走之實驗結果圖。	48
圖4. 11 (a)~(d) 2人交錯來回行走之失敗結果圖。	49
圖4. 12 (a)~(f) 2人重疊行走之實驗結果圖(二)。	50
圖4. 13 (a)~(d) 2人重疊來回行走之失敗結果圖。	51
圖4. 14 (a)~(d) 商管大樓之實驗結果圖。	53
圖4. 15 (a)~(d) 樓梯口之實驗結果圖。	54
圖4. 16 (a)~(d) 商管大樓之實驗結果圖。	55
圖4. 17 (a)~(d) 2人重疊之實驗結果圖。	57
圖4. 18 (a)~(d) 4人重疊之實驗結果圖。	58
圖4. 19 (a)~(d) 多人重疊之實驗結果圖(一)。	59
圖4. 20 (a)~(d) 多人重疊之實驗結果圖(二)。	60
圖4. 21 (a)~(d) 多人重疊之實驗結果圖(三)。	61
圖4. 22 (a)~(d) 多人流之區域內計數實驗結果圖(一)。	62
圖4. 23 (a)~(d) 多人流之區域內計數實驗結果圖(二)。	63
圖4. 24 (a)~(d) 多人流之區域內計數實驗結果圖(三)。	63
圖4. 25 (a)~(d) 多人流之區域內計數實驗結果圖(四)。	64
圖4. 26 (a)~(d) 多人流之進出實驗結果圖(一)。	66
圖4. 27 (a)~(d) 多人流之進出實驗結果圖(二)。	67
圖4. 28 (a)~(d) 多人流之進出實驗結果圖(三)。	68
圖4. 29 [4]之實驗環境圖。	70
圖4. 30 [4]之Space-Time影像圖。	70
圖4. 31 [4]之實驗數據。	71
圖4. 32本系統之實驗圖。	71




表目錄
表3.1  Kinect深度影像不同距離的灰階值變化	26
表4.1  本系統於1人單獨來回行走進出之比較	41
表4.2  本系統於1人背背包進出之比較	42
表4.3  本系統於1人裝孕婦進出之比較	43
表4.4  本系統於1人推推車進出之比較	44
表4.5  本系統於2人並肩來回行走進出之比較	47
表4.6  本系統於2人交錯來回行走進出之成功率	49
表4.7  本系統於2人重疊來回行走進出之成功率	51
表4.8  本系統於商管大樓之成功率	53
表4.9  本系統於樓梯之成功率	54
表4.10 本系統於商管進出之比較	56
表4.11 本系統於多人流區域計數之成功率(一)	64
表4.12 本系統於多人流區域計數之成功率(二)	65
表4.13 本系統於多人流區域計數之成功率(三)	65
表4.14 本系統於多人流區域計數之成功率(四)	65
表4.15 本系統於多人流進出之成功率(一)	68
表4.16 本系統於多人流進出之成功率(二)	68
表4.17 本系統於多人流進出之成功率(三)	69

[1] 張量鈞，基於立體視覺之手掌位移辨識系統，淡江大學電機工程學系碩士論文，民國九十九年。

[2] 陳冠廷，基於Kinect之雙手位移辨識系統，淡江大學電機工程學系碩士論文，民國100年。

[3] M. Rossi and A. Bozzoli, ” Tracking and Counting Moving People,” Image Processing, Proceedings. ICIP-94, IEEE International Conference, P212-216, 1994.

[4] K. Terada, D. Yoshida, S. Oe and J. Yamaguchi,” A Method of Counting the Passing People by Using the Stereo Images,” Image Processing, ICIP 99. International Conference on, p338-342, 1999.

[5] Thou-Ho (Chao-Ho) Chen, Tsong-Yi Chen and Zhi-Xian Chen, “An Intelligent People-Flow Counting Method for Passing through a Gate,” Robotics, Automation and Mechatronics, IEEE Conference on, p1-6, 2006.

[6] HongLian Ma, Huchuan Lu and Mingxiu,“A Real-time Effective System for Tracking Passing People Using a Single Camera,” Intelligent Control and Automation, WCICA 2008, 7th World Congress on, p6173-6177, 2008.

[7] Kin-Yi Yam, Wan-Chi Siu, Ngai-Fong Law and Chok-Ki Chan,” Effective bi-directional people flow counting for real time surveillance system,“ Consumer Electronics (ICCE), IEEE International Conference on, p863-864, 2011.
 
[8] Jing-wen Li, Lei Huang and Chang-ping Liu,” Robust People Counting in Video Surveillance: Dataset and System,” Advanced Video and Signal-Based Surveillance (AVSS), 8th IEEE International Conference on, p54-59, 2011.

[9] Chih-Chang Chen, Hsing-Hao Lin and Chen, O.T.-C,” Tracking and Counting People in Visual Surveillance Systems,” Acoustics, Speech and Signal Processing (ICASSP), IEEE International Conference on, p.1425-1428, 2011.

[10] Ya-Li Hou and Grantham K.H.Pang,” People Counting and Human Detection in a Challenge Situation,” Systems, Man and Cybernetics, Part A: Systems and Humans, IEEE Transactions on, p.24-33, 2011.
 
[11] http://www.xbox.com/zh-TW/kinect

[12] http://www.primesense.tw/?p=741

[13]http://www.stockeryale.com/i/lasers/structured_light.htm

[14] Pasi Palojarvi,” Integrated electronic and optoelectronic circuits and devices for pulsed time-of-flight laser range finding,” Department of Electrical and Information Engineering and Infotech Oulu, University of Oulu,2003.

[15]http://www.bb.ustc.edu.cn/jpkc/guojia/dxwlsy/kj/part2/grade3/LaserSpeckle.html

[16] Albitar, I.C. , Graebling, P. , Doignon, C. ,“ Robust Structured Light Coding for 3D Reconstuction”IEEE 11th International Conference on Computer Vision, p.1-6.2007.

[17] 蘇振山，微工廠影像伺服定位控制應用之研究，國立成功大學機械工程學系碩士論文，2008。

[18] 林起字，數位紅眼缺陷的全自動化檢測及校正研究，大同大學通訊工程研究所碩士論文，2007。

[19] 莊祥琳，多車牌辨識系統之研究，淡江大學電機工程學系碩士論文，2006。 

[20] http://homepages.inf.ed.ac.uk/rbf/HIPR2/label.htm

[21] 吳怡明，手勢辨識應用於遙控音樂撥放系統，國立台灣科技大學電機工程學系碩士論文，2009。

[22]王英任，人臉遮蔽之即時辨識系統設計與製作，國立中央大學電機  工程學系碩士論文，2004。

[23] 陳志賢，基於視訊處理的即時人流計數系統之研究，國立高雄應用科技大學墊子工程學系碩士論文，2006。