淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0508201314333300
中文論文名稱 運用臉部追蹤系統於頭部動作偵測
英文論文名稱 Using the Face Tracking Technology to Detect Head Action
校院名稱 淡江大學
系所名稱(中) 資訊工程學系碩士班
系所名稱(英) Department of Computer Science and Information Engineering
學年度 101
學期 2
出版年 102
研究生中文姓名 柯政宇
研究生英文姓名 Chen-Yu Ko
學號 600411770
學位類別 碩士
語文別 中文
第二語文別 英文
口試日期 2013-06-21
論文頁數 60頁
口試委員 指導教授-陳瑞發
委員-林偉川
委員-王英宏
委員-陳瑞發
中文關鍵字 臉部偵測  頭部偵測  主動形狀模型  指數加權移動平均  編輯距離 
英文關鍵字 Face Tracking  Head Tracking  Active Shape Model  EWMA  Levenshtein Distance 
學科別分類 學科別應用科學資訊工程
中文摘要 目前電腦的輸入設備的操作方式大多是藉由雙手來做操作,但是這種操作方式對於殘障人士,特別是肢體殘障人士相當的不方便,目前常見的電腦輔助操作有兩種,眼睛追蹤和頭部追蹤,眼睛追蹤可以表達的動作較少,而頭部追蹤有超音波、紅外線、臉部追蹤三種方式,前兩者需要配戴器具,而臉部追蹤則不需要,對於殘障人士來說使用上較為舒適。
本論文藉由主動形狀模型追蹤使用者臉部的特徵點,計算出頭部的位移與轉動;並利用指數加權移動平均來平滑因為使用者不自覺的頭部晃動而造成的位移與轉動的資料偏差,再結合編輯距離演算法與頭部的位移資料,判斷使用者頭部做出的位移軌跡,判斷使用者作出了哪個事先定義的動作;最後我們將這些資訊對應至相應的電腦操作,提供殘障人士一個簡易的操作電腦方法。
英文摘要 Current computer input device’s control method is mostly done by hand operations, but this mode of operation for people with disabilities, especially physical disabilities is quite inconvenient. There are two common computer accessibility for people with disabilities: eye-tracking and head tracking. Eye tracking express less action, and head tracking has three implement method: ultrasound, infrared and face tracking. The implementation use ultrasound or infrared both need to wear equipment, but face tracking is not required, to use for people with disabilities, it is more comfortable.
In this thesis, we use Active Shape Model (ASM) to track user’s face feature point, and calculate the translate data and rotation data of the Head, then we use Exponentially-Weighted Moving Average (EWMA) filter to smooth the 'jittery' raw-data which produce by user because of unconsciously head shaking, then use Levenshtein Distance algorithm and translation data to detect which defined action that user did, at last we match the head action data to the corresponding operation, providing people with disabilities a simple method to control computer.
論文目次 目錄
第1章 緒論 1
1.1 研究動機與研究目的 1
1.2 論文架構 2
第2章 相關研究 3
2.1 6-DOF Head Tracking 3
2.2 Head Tracking實作方式 3
2.2.1 超音波Head Tracking 4
2.2.2 紅外線Head Tracking 4
2.2.3 Face Tracking 5
2.3 Feature point tracking 7
2.3.1 Haar特徵檢測 7
2.3.2 Kanade–Lucas–Tomasi Tracking Algorithm 7
2.4 Active Shape Model 8
2.5 Levenshtein Distance 9
第3章 研究內容與方法 11
3.1 系統架構 11
3.2 頭部動作偵測流程 13
3.3 Head Tracking 14
3.3.1 Face Tracking 14
3.3.2 Get 6 DOF Data 16
3.4 Data Analysis 18
3.4.1 Data Smooth 18
3.4.2 Head action detection 20
第4章 實作與結果討論 32
4.1 實作說明 32
4.1.1 實作目標 32
4.1.2 實作環境 32
4.2 系統功能 33
4.2.1 Head controler功能定義 33
4.2.2 滑鼠位移方式 33
4.2.3 連續動作 35
4.3 實驗結果 36
第5章 結論與未來相關研究 42
5.1 結論 42
5.2 未來相關研究 43
參考文獻 44
附錄-英文論文 45

圖目錄
圖2.1 6-DOF示意圖 3
圖2.2 超音波Head Tracking示意圖[1] 4
圖2.3 (a)附有紅外線發射之器器具(b)紅外線光源位置[2] 5
圖2.4 六自由度與特徵點位移關係圖[3] 6
圖2.5 特徵點在空間中的座標[3] 6
圖2.6 Haar特徵區塊[4] 7
圖2.7 (a)KLT追蹤特徵點的結果(b)處理飄移特徵點後的結果[5] 8
圖2.8 (a)ASM Train示意圖(b)ASM Test示意圖[6] 9
圖3.1 系統架構圖 11
圖3.2 頭部動作偵測流程 13
圖3.3 頭部座標平面示意圖 18
圖3.4 頭部向右移動 19
圖3.5 λ為0.7的結果 20
圖3.6 λ為0.4的結果 20
圖3.7 移動方向示意圖 24
圖3.8 軌跡與移動方向關係圖 24
圖3.9 連續動作偵測流程圖 26
圖3.10 角度與方向示意圖 28
圖3.11 移動方向夾角示意圖 28
圖3.12 標準動作字串 28
圖3.13 同樣的動作不同的字串 29
圖3.14 動作字串轉換Cost示意圖 30
圖3.15 Cost皆相同的狀況示意圖 31
圖3.16 修正Cost後的狀況適應圖 31
圖4.1 頭部轉動與滑鼠位置示意圖 34
圖4.2 用FaceApi收集六自由度資料 36
圖4.3 滑鼠位移(a)頭部擺正滑鼠靜止(b)頭部上揚滑鼠上移(c)頭部低頭滑鼠下移(d)頭部左轉滑鼠左移(e)頭部右轉滑鼠右移(f)頭部左斜滑鼠左鍵(g)頭部又挾滑鼠右鍵 40
圖4.4 連續動作(a)頭部左斜開始連續動作,做出上三角後右斜三秒(b)頭部移動點分布圖(c)電腦做出上一頁的功能 41

表目錄
表2.1 Levenshtein distance計算範例 10
表3.1 位移的方向與角度正負關係 22
表3.2 當前頭部動作與角度正負關係 22
表3.3 時間點內頭部動作與角度正負關係 23
表3.4 移動方向與對應編號 23
表3.5 角度與方向編號對應表 27
表4.1 電腦系統實作環境 32
表4.2 頭部角度與滑鼠位置對應表 34
表4.3 頭部動作與滑鼠動作對應表 35
表4.4 連續動作定義 35
表4.5 連續動作與操作對應表 37
表4.6 使用者字串與標準字串之Levenshtein Distance 41
參考文獻 [1]Yoshinobu Ebisawa, “A Pilot Study on Ultrasonic Sensor-Based Measurement of Head Movement,” IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL. 51, NO. 5, pp.1109- 1115, 2002.
[2]Fernando Caballero, Iv’an Maza, Roberto Molina, David Esteban and An’ıbal Ollero, “A Robust Head Tracking System Based on Monocular Vision and Planar Templates,” Sensors 2009, 9, pp.8924-8943; doi:10.3390/s91108924.
[3]Yoshio Matsumoto, Naoki Sasao, Tsuyoshi Suenaga and Tsukasa Ogasawara, “3D Model-based 6-DOF Head Tracking by a Single Camera for Human-Robot Interaction,” 2009 IEEE International Conference on Robotics and Automation Kobe International Conference Center, pp.3194-3199, 2009.
[4]Jia-Hao Chang, “Improving Face Recognition Performance by Impairing Eyeglasses Features based on AAM and PCA,” Retrieved from http://thesis.lib.ncu.edu.tw/ETD-db/ETD-search/view_etd?URN=955202024
[5]Mehdi Salehpour, Alireza Behrad , “3D Face Reconstruction by KLT Feature Extraction and Model Consistency Match Refining and Growing,” 6th International Conference on Sciences of Electronics,Technologies of Information and Telecommunications (SETIT), pp.297-302, 2012.
[6]Keshav Seshadri and Marios Savvides, “An Analysis of the Sensitivity of Active Shape Models to Initialization When Applied to Automatic Facial Landmarking,” IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, VOL. 7, NO. 4, pp.1255-1269, 2012.
[7]Shantanu Rane and Wei Sun, “Privacy Preserving String Comparisons Based on Levenshtein Distance,” IEEE International Workshop on Information Forensics and Security (WIFS), pp.1-6, 2010.
[8]Yi Faling, Xiong Wei, Huang Zhanpeng, Zhao Jie, “A Multi-View Nonlinear Active Shape Model Based on 3D transformation Shape Search,” Fifth International Conference on Information Assurance and Security, pp.15-18, 2009.
[9]T. F. Cootes and C. J. Taylor, Statistical Models of Appearance for Computer Vision. Manchester, U.K.: Imaging Science and Biomedical Engineering, University of Manchester, 2004.
[10]I-Chieh Hsieh, “3D face position estimation and tracking with Kalman filte,” Retrieved from http://ir.lib.ncu.edu.tw/handle/987654321/48476.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2013-08-06公開。
  • 同意授權瀏覽/列印電子全文服務,於2013-08-06起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信