淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0807201119370700
中文論文名稱 結合圖像分割與機率類神經網路於不同膚色的切割及其應用於手勢分類之研究
英文論文名稱 Segmmentation of Different Skin Colors by Combining Graph Cuts with Probability Neural Network, and its Application to Classification of Hand Gesture
校院名稱 淡江大學
系所名稱(中) 電機工程學系碩士班
系所名稱(英) Department of Electrical Engineering
學年度 99
學期 2
出版年 100
研究生中文姓名 呂愷迪
研究生英文姓名 Kai-Di Lu
學號 698460127
學位類別 碩士
語文別 中文
口試日期 2011-06-24
論文頁數 49頁
口試委員 指導教授-黃志良
委員-陳建中
委員-周永山
委員-簡忠漢
中文關鍵字 膚色切割  圖像分割  機率類神經網路  貝氏分類器 
英文關鍵字 Skin color segmentation  Graph cuts  Probability neural network  Bayesian classifier 
學科別分類 學科別應用科學電機及電子
中文摘要 近年來人機介面(human computer interaction)的技術日新月異,遙控器類的控制方法已漸漸的不符潮流,而偏向更人性化的控制,如體感遊戲機。其應用視覺系統辨識人的手勢或姿態以控制相關機器。
然而利用手勢或人的姿態來控制機器之前,必須先從影像畫面中切割出正確的膚色目標,藉此才能辨識出正確的手勢或姿態,而如何能從影像中正確切割出皮膚顏色的目標即為本論文研究的重點。切割皮膚顏色之所以困難,是因為皮膚顏色範圍相當廣,不同的皮膚顏色由黑到白都有,且還會受到不同的燈光條件影響,放寬切割膚色的閥值又容易切割出日常生活中類似皮膚顏色的物品,所以如何設計出一種演算法則,能克服以上種種變因,一直為大家熱烈討論及研究的課題。
  本論文利用機率類神經網路(Probability Neural Network)和圖像分割法(Graph Cuts)設計出一種最佳切割閥值的系統,目的為切割複雜背景中不同的皮膚顏色。相較於以往利用固定閥值切割皮膚顏色,本論文提出以圖像分割法估算出的動態閥值較能克服不同的皮膚顏色以及不同的環境。因為圖像分割法是以輸入影像為基礎估算出的最佳化閥值,較能容納背景環境改變及皮膚顏色在不同燈光下等的變因,固定閥值則無法藉由外在環境改變而調整其閥值,比較局限於特定情況下的切割。但假如僅僅使用圖像分割法在如下情況可能會造成失敗:任何類似膚色的目標,只要屬於此閥值以內皆會被程式判定為膚色目標。
  為解決此問題,加入了機率類神經網路來對程式判定的可能皮膚目標做分類,進一步過濾掉類似皮膚顏色的非膚色目標。因此首先調查各個皮膚顏色在 色彩空間的分布情況,再以機率類神經網路的前置訓練,以獲得具有分類能力的類神經網路。本論文將 色彩空間內的所有色彩分為四類,分別為黑皮膚顏色、黃皮膚顏色、白皮膚顏色和非皮膚顏色。則可以對圖像分割法所獲得的結果進一步篩選,更提升膚色辨識的正確率和對複雜背景及不同燈光下的強健性,最後在將我們的方法應用於八種不同的手勢分類。
英文摘要 It is known that fixed thresholds mostly fail in two situations as they only search for a certain skin color range: (i) any skin-like object may be classified as skin if skin-like colors belong to fixed threshold range. (ii) any true skin for different races may be mistakenly classified as non-skin if that skin colors do not belong to fixed threshold range. In this paper, a dynamic threshold of different skin colors based on the input image is determined by the combination of graph cuts (GC) and probability neural network (PNN). The compared results among GC, PNN and GC+PNN are presented not only to verify the accurate segmentation of different skin colors but also to reduce the computation time as compared with only using the neural network for the classification of different skin colors and non-skin color. The experimental results for different lighting conditions also verify the usefulness of our method. Finally, the application to the classification of hand gestures in complex environment is presented to evaluate the effectiveness and efficiency of the proposed method.
論文目次 中文摘要 I
英文摘要 II
目錄 III
圖目錄 V
表目錄 VII

第一章 緒論 1
1.1 研究背景 1
1.2 研究動機與目的 2
1.3 論文架構 5
第二章 不同膚色於不同色彩空間之分佈 7
2.1 動機調查 7
2.2 三種膚色於不同色彩空間的分布 8
第三章 影像辨識與處理 12
3.1 影像處理流程圖 12
3.2 影像擷取和色彩空間轉換 13
3.3 應用圖像分割法尋找類膚色的區域 14
3.4 形態學濾波、面積過濾與感興趣區域 19
3.5 應用機率類神經網路於感興趣區域的膚色分類 23
3.6 所開發的結合圖像分割法與機率類神經網路分類的演算法則 26
第四章 實驗結果與討論 27
4.1 實驗環境與設備規格 27
4.2 實驗結果與其他演算法之比較 29
第五章 複雜環境及不同燈光下的手勢分類 37
5.1 於複雜環境中切割不同的手勢 37
5.2 計算手勢的不變量值 37
5.3 應用機率類神經網路分類八種不同的手勢 40
第六章 結論與未來展望 46
6.1 結論 46
6.2 未來展望 47
參考文獻 48

圖目錄

圖2.1 不同皮膚顏色人臉影像 8
圖2.2 三種膚色於 之分佈 9
圖2.3 三種膚色於YUV之分佈 10
圖2.4 三種膚色於HSV之分佈 11
圖3.1 結合圖像分割法和機率類神經網路切割膚色之流程圖 12
圖3.2 圖像分割法的流程圖 18
圖3.3 貼標籤完之後框取感興趣區域的表示圖 20
圖3.4 圖像分割法部分影像處理的流程 21
圖3.5 圖像分割法計算Ncut的響應圖 22
圖3.6 機率類神經網路分類不同膚色架構圖 24
圖4.1 應用圖像分割法於不同色彩空間的結果圖 28
圖4.2 圖像分割法在 下的最佳切割和其它閥值切割結果之比較 30
圖4.3 最佳化閥值及其周圍的閥值之分佈 30
圖4.4 GC和GC+PNN切割不同人種的結果 32
圖5.1 八種不同的手勢圖 38
圖5.2 機率類神經網路分類手勢架構圖 40
圖5.3 實驗環境日光燈分佈圖 42
圖5.4 八盞燈與兩盞燈的環境比較 42
圖5.5 於複雜環境及八盞燈亮下進行手勢分類之結果圖 43
圖5.6 於複雜環境及兩盞燈亮下進行手勢分類之結果圖 44

表目錄

表4.1 網路攝影機規格表 27
表4.2 GC和PNN和GC+PNN於不同遠近和分類測試結果 34
表4.3 GC和PNN和GC+PNN於複雜環境和重疊情況的測試結果 35
表4.4 GC和PNN和GC+PNN於不同燈光條件下的比較結果 36
表5.1 於八盞燈之下的手勢分類之成功率 45
表5.2 於兩盞燈之下的手勢分類之成功率 45



參考文獻 [1] P. Kakumanu, S. Makrogiannis, and N. Bourbakis, “A survey of skin-color modeling and detection methods,” Pattern Recognition, pp. 1106–1122, 2007.
[2] C. Liensberger, J. St¨ottinger, and M. Kampel, “Color- based and context-aware skin detection for online video annotation,” IEEE International Workshop on Multimedia Signal Processing, MMSP '09, vol., pp. 1-6, Rio De Janeiro, 5-7 Oct. 2009.
[3] X. Y. Cao, H. F. Liu, and Y.Y. Zou, “Gesture segmentation based on monocular vision using skin color and motion cues,” IEEE International Conference on Image Analysis and Signal Processing, pp. 358-362, Zhejiang China, 9-11 April 2010.
[4] M. J. Zhang, and W. Gao, “An adaptive skin color detection algorithm with confusing backgrounds elimination,” IEEE ICIP2005, vol. 2, 11-14 Sep. 2005.
[5] P. Yogarajah, J. Condell, K. Curran, A. Cheddad, and P. McKevitt, “A dynamic threshold approach for skin segmentation in color images,” IEEE International Conference on Image Processing, pp. 2225-2228, Hong Kong, 26-29 Sep., 2010.
[6] J. Han, G. Awad, and A. Sutherland, “Automatic skin segmentation and tracking in sign language recognition,” IET Comput. Vis., vol. 3, no. 1, pp. 24-35, 2009.
[7] Z. G. Wang, and C. L. Liu, “A method of dynamic skin color correction applied to display devices,” IEEE Trans. Consumer Electronics, vol. 55, no. 3, pp. 967-972, Aug. 2009.
[8] M. Sun, Z. Liu, J. Qiu, Z. Zhang, and M. Sinclair, “Active lighting for video conferencing,” IEEE Trans. Cir. and Syst. for Video Technol., vol. 19, no. 12, pp. 1819-1823, Dec. 2009.
[9] F. Veredas, H. Mesa, and L. Morente, “Binary tissue classification on wound images neural networks and Bayesian classifiers,” IEEE Trans. Medical Imaging, vol. 29, no. 2, pp. 410-427, Feb. 2010.
[10] C. M. Tsai, and Z. M. Yeh, “Contrast compensation by fuzzy classification and image illumination analysis for back-lit and front-lit color face images,” IEEE Trans. Consumer Electronics, vol. 56, no. 3, pp. 1570-1578, Aug. 2010.
[11]Y. Deng, Q. Yang, X. Lin, and X. Tang, “Stereo correspondence with occlusion handling in a symmetric patch-based graph-cuts model,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 29, no. 6, pp. 1068-1079, Jun. 2007.
[12] W. Tao, H. Jin, Y. Zhang, L. Liu, and D. Wang, “Image threshold using graph cuts,” IEEE Trans. Syst. Man & Cybern., Pt. C, vol. 38, no. 5, pp. 1181-1195, Sep. 2008.
[13] A. Raj, and C. H. Wiggins, “An information-theoretic derivation of min-cut-based clustering,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 32, no. 6, pp.988-995, Jun. 2010.
[14] N. Papadakis, and A. Bugeau, “Tracking with occlusions via graph cuts,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 33, no. 1, pp.144-157, Jan. 2011.
[15] S. Y. Cho, “Probabilistic based recursive model for adaptive processing of data structures,” Expert Systems with Applications, vol. 34, pp.1403–1422, 2008.
[16] F. Zhoua, J. Liua, Y. Yua, X. Tiana, H. Liub, Y. Haoa, S. Zhanga,W. Chena, J. Dai, and X. Zheng, “Field- programmable gate array implementation of a probabilistic neural network for motor cortical decoding in rats,” Journal of Neuroscience Methods, vol.185, pp. 299–306, 2010.
[17] N. Perera, and A. D. Rajapakse, “Recognition of fault transients using a probabilistic neural-network classifier,” IEEE Trans. Power Del., vol. 26, no. 1, pp. 410-419, Jan. 2011.
[18] A. Psyllos , C. N. Anagnostopoulos, and E. Kayafas, “Vehicle model recognition from frontal view image measurements,” Computer Standards & Interfaces, vol. 33, pp. 142–151, 2011.
[19] C. F. Juang, S. H. Chiu and S. J. Shiu, “Fuzzy system learned through fuzzy clustering and support vector machine for human skin color segmentation,” IEEE Trans. Syst. Man & Cybern., Pt. A, vol. 37, no. 6, pp. 107-116, Nov. 2007.
[20] M. Sonka, V. Hiavac, and R. Boyle, Image Processing, Analysis, and Machine Vision, 3rd Ed., Cengage Learning, 2008.
[21] C. L. Hwang, and C. H. Yang, “Command control of a two-degree-of- freedom platform by hand gesture moment invariants,” IWANN’11, Malaga Spain, pp. 223-231, June 8-10, 2011.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2011-07-21公開。
  • 同意授權瀏覽/列印電子全文服務,於2011-07-21起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信