淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0307201221444800
中文論文名稱 無標誌擴增實境之實現-利用Kinect的觸摸人機介面設計
英文論文名稱 Kinect-Based Touch Interface for Markless AR
校院名稱 淡江大學
系所名稱(中) 電機工程學系碩士班
系所名稱(英) Department of Electrical Engineering
學年度 100
學期 2
出版年 101
研究生中文姓名 郭泰谷
研究生英文姓名 Tai-Ku Kuo
學號 600440068
學位類別 碩士
語文別 中文
口試日期 2012-06-18
論文頁數 68頁
口試委員 指導教授-謝景棠
委員-謝景棠
委員-陳稔
委員-謝君偉
委員-蘇木春
委員-顏淑惠
中文關鍵字 人機互動  立體視覺  觸控螢幕介面  Markerless  AR  SVM  Kinect 
英文關鍵字 Human–Computer Interaction  touch screen interface  Markerless  AR  SVM  Kinect 
學科別分類 學科別應用科學電機及電子
中文摘要 本研究提出利用Kinect垂直架設於桌面上所抓取之深度影像,經過多種處理後,產生一個類似觸控螢幕介面,讓使用者可以利用此介面進行繪畫,完成繪畫後,使用者便可以輸入此圖片之資料;本篇利用SVM訓練並分類得知此資料的類別,再將此資料對應之內建AR取出再放入Kinect彩色影像中的桌面上,使用者即可利用類似觸控螢幕之介面來控制AR,最後輸出一種可與使用者互動之無標記AR。在研究結果中顯示,我們可以訓練不同的繪畫影像,例如圓形、多邊形來做為顯示虛擬物件之基準,達到不用特定的標誌呈現3D 虛擬物件,於本系統中呈現出不錯之效果。但是如果使用者手位移速度太快,會提高系統之錯誤。未來希望以互動做為研究方向的重點,以增加更多AR之互動,並且提升繪畫部分的速度,達到寓教於樂等多重之目的。
英文摘要 We develop an augmented reality (AR) environment with hidden-marker via touch interface using Kinect device and then also set up a touch painting game with the AR environment.
This environment is similar to that of the touch screen interface which allows user to paint picture on a tabletop with his fingers, and it is designed with depth image information from Kinect device setting up above a tabletop.
We incorporate support vector machine (SVM) to classify painted pictures which correspond to the inner data and call out its AR into the tabletop in color images information from Kinect device. Because users can utilize this similar touch interface to control AR, we achieve a markerless AR and interactive environment.
論文目次 目錄
致謝 I
中文摘要 II
英文摘要 III
目錄 IV
圖目錄 VI
表目錄 IX
第1章 緒論 1
1.1研究動機 1
1.2研究方法 4
1.3論文架構 4
第2章 相關研究與背景知識 5
2.1相關研究 5
2.2 相關技術 12
2.2.1 KINECT 12
2.2.2 深度影像建立方法 14
2.2.3連通法 18
2.2.4形態學 21
2.2.5 擴增實境 25
2.2.6 SVM演算法 28
第3章 觸摸繪畫和無標記擴增實境系統 32
3.1 系統架構 32
3.2 Kinect輸出之影像 33
3.3前處理形成觸摸繪畫介面 34
3.4 SVM訓練及分類 37
3.5 AR的3D影像合成 38
3.6 系統操控模式 40
3.6.1系統控制流程 40
3.6.2繪畫控制 41
3.6.3AR控制 42
第4章 實驗結果 45
4.1 實驗環境 46
4.2 介面比較 46
4.3 SVM筆跡辨識測試比較 49
4.4有標誌擴增實境與無標誌擴增實境 51
4.5系統強健性測試 54
4.5.1遮蔽下之本系統執行測試 55
4.5.2桌面有放置物體環境下系統執行測試 56
4.5.3光影變化環境下之系統執行測試 59
4.5.4照射牆壁下之系統執行測試 60
4.6系統相關應用-打地鼠 61
第5章 結論與未來展望 64
5.1 結論 64
5.2 未來展望 65
参考文獻 66

圖目錄
圖1.1體感套件遊戲機 1
圖1.2體感遊戲機XBOX360 2
圖1.3觸控輸入 2
圖1.4人性化互動界面 3
圖2.1Joe等人手指壓力顏色變化來判斷是否觸碰[1] 5
圖2.2 Wilson提出用Kinect觸控介面[2] 6
圖2.3 Kato和Billinghurst所提出用標誌定位虛擬物件[3] 7
圖2.4 Lee等人所提出將標誌以浮水印之方式嵌入[4] 8
圖2.5 Wang等人提出加入紅外線數位浮水印[5] 9
圖2.6 Chen等人用自然標記虛擬物件呈現真實世界中[6] 10
圖2.7 Taehee Lee等人利用手當座標[7] 10
圖2.8 Nate Hagbi等人利用筆跡AR[8] 11
圖2.9 Kinect 12
圖2.10 Kinect架構圖引用於PrimeSensor[10] 13
圖2.11 Kinect輸出之彩色影像與深度資訊影像 14
圖2.12雙眼三角測距示意圖[8] 15
圖2.13結構光掃描示意圖[11] 16
圖2.14 Light Coding技術示意圖[13] 17
圖2.15 4-neighborhood 20
圖2.16連通法九宮格 21
圖2.17物件連通法實驗圖(a)(b) 21
圖2.18形態學(a)(b)(c)(d) 23
圖2.19現實-虛擬連續統示意圖 26
圖2.20 SVM解釋圖 29
圖3.1本系統流程圖 32
圖3.2 Kinect輸出之影像 33
圖3.3本系統工作環境 34
圖3.4 Wilson觸控示意圖[2] 34
圖3.5彩色影像(左)和有雜訊的二值化影像(右) 35
圖3.6手部深度資訊對於桌面關係(左)及去雜訊流程圖(右) 36
圖3.7彩色影像(左)和去雜訊後並標籤圖(右) 36
圖3.8觸控畫出圖片簡易示意圖 37
圖3.9 SVM與系統簡易示意圖 38
圖3.10 SVM二維模型示意圖 38
圖3.11影像投影示意圖 39
圖3.12 AR影像與手指互動 39
圖3.13 AR虛擬物件與手指互動輸出擴增實境輸出圖 40
圖3.14本系統控制流程圖 41
圖3.15本系統繪畫控制介面 42
圖3.16 AR虛擬物件利用手指放大 43
圖3.17 AR虛擬物件利用手指縮小 43
圖3.18 AR虛擬物件利用手指移動定位位置(a) 44
圖3.19 AR虛擬物件利用手指移動定位位置(b) 44
圖3.20 AR虛擬物件利用手指控制其定位角度(a) 45
圖3.21 AR虛擬物件利用手指控制其定位角度(b) 45
圖4.1 微軟發售的Kinect 46
圖4.2 Nate Hagbi等人使用之介面[8] 47
圖4.3 Su和Hsiao使用之介面[18] 48
圖4.4本系統使用之介面 49
圖4.5(a)-(d) 利用標誌擴增實境輸出茶壺物件 52
圖4.6(a)-(d) 本系統擴增實境輸出茶壺物件 52
圖4.7(a)-(d) 利用標誌擴增實境輸出方塊物 53
圖4.8(a)-(d) 本系統擴增實境輸出方塊物件 54
圖4.9(a)-(d) 遮蔽物影響擴增實境輸出 55
圖4.10桌面放置物體觸控介面輸出 56
圖4.11桌桌面物體不影響擴增實境輸出 57
圖4.12受桌面物體影響擴增實境輸出 58
圖4.13受桌面物體影響控制擴增實境輸出 58
圖4.14光源黑暗系統實驗輸出 59
圖4.15光源黑暗普通標誌AR實驗輸出 59
圖4.16改成利用牆壁的實驗環境 60
圖4.17牆壁環境移動虛擬物件 60
圖4.18牆壁環境放大縮小虛擬物件 61
圖4.19牆壁環境改變虛擬物件形狀 61
圖4.20遊戲開始建置背景等候畫面 62
圖4.21擊中目標輸出 62
圖4.22未擊中目標輸出 63
圖4.23擊結束顯示分數 63

表目錄
表3.1 Kinect深度影像不同距離的灰階值變化 33
表4.1 Su和Hsiao筆跡影像辨識結果[18] 50
表4.2 SVM筆跡影像訓練10張辨識結果 50
表4.3 SVM筆跡影像訓練100張辨識結果 51
參考文獻 [1] Joe Marshall, Tony Pridmore, Mike Pound, Steve Benford, and Boriana Koleva,“Pressing the Flesh: Sensing Multiple Touch and Finger Pressure on Arbitrary Surfaces,” LNCS 5013, p. 38–55, 2008.

[2] Andrew D. Wilson, “Using a Depth Camera as a Touch Sensor,” ITS’10, Saarbrucken, Germany, 2010.

[3] H. Kato and M. Billinghurst, “Marker tracking and hmd calibration for a video-based augmented reality conferencing system,” In 2nd IEEE and ACM International Workshop on Augmented Reality, p. 85-94, 1999.

[4] Hong Ro Lee, Jung Sub Shin and Chi Jung Hwang,“Invisible Marker Tracking System Using Image Watermarking for Augment,” ICCE 2007. Digest of Technical Papers, p. 1 - 2, 2007.

[5] Hsi-chun Wang, “Innovative Image Display with the Integration of Infrared Digital Watermark and Augmented Reality,” Journal of Technology vol. 24 no. 3 p. 213-219, 2009.

[6] Zhuo Chen and Xinyu Li , “Markless Tracking based on Natural Feature for Augmented Reality,” IEEE International Conference on Educational and Information Technology (ICEIT) vol. 2, p. 126 – 129, 2010.

[7] Taehee Lee and Tobias Hollerer, “Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,” IEEE ISWC, p. 83-90, 2007.

[8] Nate Hagbi, Raphael Grasset, Oriel Bergig, Mark Billinghurst, and Jihad El-Sana, “In-Place Sketching for Content Authoring in Augmented Reality Games,” IEEE, p. 91-94, 2010.

[9] http://www.xbox.com/zh-TW/kinect

[10] http://www.primesense.tw/?p=741

[11] 張量鈞,基於立體視覺之手掌位移辨識系統,淡江大學電機工程學系碩士論文,民國九十九年。
[12] http://www.stockeryale.com/i/lasers/structured_light.htm

[13]Pasi Palojarvi,“Integrated electronic and optoelectronic circuits and devices for pulsed time-of-flight laser rangefinding,” Department of Electrical and Information Engineering and Infotech Oulu, University of Oulu,2003.

[14]http://www.bb.ustc.edu.cn/jpkc/guojia/dxwlsy/kj/part2/grade3/LaserSpeckle.html

[15] Albitar, I.C., Graebling, P., and Doignon, C.,“ Robust Structured Light Coding for 3D Reconstuction,” IEEE 11th International Conference on Computer Vision, p.1-6.2007.

[16]V.Vapnil., “Satistical Learning Theory,” New York, 1998.

[17]V.Vapnil., “The Nature of Statistical Learning Theory,” 2nd edition, New York, 1999.

[18] Mu-chun Su and, Ting-huan Hsiao, “An Interactive Platform on Which Painting Mingles with Storytelling,” Master paper on Department of Computer Science and Information Engineering at National Central University, 2011.

[19]Chih-Chung Chang and Chih-Jen Lin, “LIBSVM -- A Library for Support Vector Machines,” Network : http://www.csie.ntu.edu.tw/.

[20]CHRISTOPHER J.C. BURGES, “A Tutorial on Support Vector Machines for Pattern Recognition,” Data Mining and Knowledge Discovery, vol. 2, no. 2, p. 121-167, 1998.

[21]Asa Ben-Hur and Jason Weston, “A User's Guide to Support Vector Machines,” Data Mining Techniques for the Life Sciences Methods in Molecular Biology, vol. 609, pp. 223-239, 2010.

[22]Lifeng He, Yuyan Chao, Kenji Suzuki, and Hidenori Itoh, “A FAST FIRST-SCAN ALGORITHM FOR LABEL-EQUIVALENCE-BASED
CONNECTED-COMPONENT LABELING,” IEEE(ICIP), 2009.

[23]T.Y. ZHANG and C.Y. SUEN, “A Fast Parallel Algorithm for Thinning Digital Patterns,” ACM Vol. 27 N0. 3, 1984.

[24] Gonzalez, Woods “Digital Image Processing”.

[25] 陳冠廷,基於Kinect之雙手位移辨識系統,淡江大學電機工程學系碩士論文,民國一百年。

[26]http://zh.wikipedia.org/wiki/%E5%A2%9E%E5%BC%BA%E7%8E%B0%E5%AE%9E

[27]http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2014-07-10公開。
  • 同意授權瀏覽/列印電子全文服務,於2014-07-10起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信