影像之間的差異性比對，在物件追蹤(Objects tracking)的研究領域上，一直是常被探討的重要課題之一，特別是在人體動作的比對上，和一般形狀固定不變的物體比起來更加的複雜，在運算的要求上也更加的嚴謹。SIFT(Scale-invariant feature transform)是目前國內外最常被運用的演算技術，它具有優越的比對能力，足以處理影像之間所發生的各種旋轉、縮放、平移…等在影像比對之中常發生的情況，並具有相當高的穩定性，在本文中，我們使用這項技術來進行研究。
本系統大致上分為兩部分，一是採用SIFT演算法對於物件中的某一特徵點進行追蹤，一是將追蹤完成的軌跡串列作詳細的比對。軌跡的比對方法，是依據”姿勢角度”和”移動向量”作為軌跡資料點的特徵，並以動態時間校正(DTW)找出兩軌跡的最佳比對結果。最後會輸出軌跡比較分析的內容和評分。

In this paper, we propose a tracking method via SIFT algorithm for recording the trajectory of human motion in image sequence. Instead of using a human model that present the human body to analyze motion. Only exact two feature points from the local region of a trunk, one for joints and one for limb. 
We calculate the similarity between two features of trajectories. The method of computing similarity is based on the “motion vector” and “angle”. We can know the degree of the angle by the connect line from joint to limb in a plane which is using the core of object to be the center. The proposed method consists of two parts. The first is to track the feature points and output the file which record motion trajectory. The second part is to analyze features of trajectory and adopt DTW (Dynamic Time Warping) to calculate the score to show the similarity between two trajectories.

目錄
第一章緒論	1
1.1研究動機與目的	1
1.2論文組織介紹	4
第二章影像處理技術與文獻探討	5
2.1影像基本理論與技術	5
2.2國內外相關研究	20
第三章研究方法	26
3.1系統架構	26
3.2追蹤流程	28
3.3運動估測	30
3.3.1全域搜尋(Full Search)	30
3.3.2全域搜尋的應用	34
3.4尺度不變特徵轉換演算法(SIFT Algorithm)	36
3.4.1 SIFT演算法	36
3.4.2 SIFT應用	43
3.5手動調整	47
3.6軌跡表示法	56
3.7軌跡比對	62
第四章系統實作	66
4.1開發平台	66
4.2系統介面	68
第五章結論與未來展望	78
5.1結論	78
5.2未來展望	80
參考文獻	81
附錄 英文論文	83
圖目錄
圖 1、光的三原色模型圖。	7
圖 2、三原色幾何座標表示模型。	8
圖 3、由左至右分別為原始影像，灰階影像，黑白影像。	9
圖 4、高斯模糊對照圖。	11
圖 5、金字塔底部為具有完整解析度的原清晰影像。	13
圖 6、費氏數列樹狀圖。	14
圖 7、費氏數列運算結果。	16
圖 8、資料路徑表示圖。	19
圖 9、DTW找最佳路徑範例圖。	19
圖 10、SIFT比對的結果。	22
圖 11、系統流程架構圖。	26
圖 12、追蹤流程圖。	28
圖 13、區塊比對圖。	31
圖 14、全域搜尋比對法。	32
圖 15、全域搜尋圖例。	33
圖 16、SIFT演算法結果。	34
圖 17、全域搜尋實例。	35
圖 18、高斯分差示意圖。	37
圖 19、高斯分差後的尺度空間中極值點比較示意圖。	38
圖 20、特徵點描述。	41
圖 21、SIFT演算法執行結果。	42
圖 22、高斯函數 的模糊效果。	44
圖 23、特徵點飄移。	47
圖 24、系統前後影像對照區。	48
圖 25、左圖為T，右圖為T-1。	49
圖 26、未修正過的追蹤影像序列。	50
圖 27、修正過的追蹤影像序列。	52
圖 28、dPSNR直方圖。	55
圖 29、軌跡串列檔案。	56
圖 30、比對流程圖。	57
圖 31、不同身材的人作不同動作的對照圖。	58
圖 32、手部運動的軌跡圖。	59
圖 33、角度表示法。	60
圖 34、運動方向由向東開始(1)順時針依序編號。	61
圖 35、運動向量對照圖。	61
圖 36、BCB開發介面。	67
圖 37、元件控制板。	67
圖 38、程式編輯介面。	67
圖 39、系統介面圖。	69
圖 40、讀取圖檔。	70
圖 41、輸入特徵點操作圖。	70
圖 42、特徵點初始化。	71
圖 43、追蹤過程中可隨時暫停。	71
圖 44、手動修正介面。	72
圖 45、刪除飄移的特徵點座標。	72
圖 46、新加入的特徵點同樣要初始化。	72
圖 47、軌跡串列檔。	73
圖 48、軌跡分析與比對介面。	73
圖 49、分析結果圖。	74
圖 50、軌跡分析後的結果圖與詳細資料1。	75
圖 51、軌跡分析後的結果圖與詳細資料2。	76
圖 52、五個肢體的軌跡分析結果圖。	77
表目錄
表 1、高斯權重分佈表。	11
表 2、最高DPSNR值。	54
表 3、DPSNR值的比較表。	55
表 4、移動向量差異評分表。	64
表 5、角度差異評分表。	65
公式目錄
eq 1:difference of pixel	5
eq 2:SAD	6
eq 3:MAD	7
eq 4:RGBtoY	9
eq 5:Gaussian	10
eq 6:gradient for x	12
eq 7:gradient for y	12
eq 8:gradient	12
eq 9:Sobel Operator	12
eq 10:Fibonacci function	14
eq 11:Gaussian Blur	36
eq 12:Gaussian Function	36
eq 13:Difference of Gaussian	37
eq 14:Taylor expansion for DoG	38
eq 15:offset	38
eq 16:substituting equation	39
eq 17:Hessian Matrix	39
eq 18:Trace of Hessian Matrix	39
eq 19:Determinant of Hessian Matrix	39
eq 20:the ratio of Trace and Determinant	40
eq 21:magnitude of gradient	40
eq 22:direction of gradient	40
eq 23:the ratio of distance	42
eq 24:mean square error	53
eq 25:PSNR	53
eq 26:modified MSE	53
eq 27:maximin function	62
eq 28:Hausdorff Distance	62
eq 29:modified DTW	65

[1]	R. E. Graham,“Snow Removal - A Noise-Stripping Process for Picture Signals”, Information Theory, IRE Transactions on February 1962, On page(s): 129 – 144
[2]	Hiroaki Sakoe, and Seibi Chiba,“Dynamic programming algorithm optimization for spoken word recognition”, IEEE Transactions on Acoustics, Speech and Signal Processing, 1978, On page(s): 43- 49
[3]	Nizar Zarka, Ziad Alhalah, Rada Deeb,“Real-Time Human Motion Detection and Tracking”, Information and Communication Technologies: From Theory to Applications, 3rd International Conference on, 2008. On page(s): 1 - 6
[4]	Wan-Lei Zhao, Chong-Wah Ngo,“Scale-Rotation Invariant Pattern Entropy for Keypoint-Based Near-Duplicate Detection”, Image Processing, IEEE Transactions on Feb. 2009, On page(s): 412 – 423
[5]	Feng Tang, Hai Tao,“Probabilistic Object Tracking With Dynamic Attributed Relational Feature Graph”, Circuits and Systems for Video Technology, IEEE Transactions on, Aug. 2008, page(s): 1064 – 1074
[6]	David G. Lowe,“Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, Vol. 60, No. 2, 2004, On page(s): 91-110. 
[7]	Ai-hua Chen, Ming Zhu, Yan-hua Wang, Chen Xue,“Mean Shift Tracking Combining SIFT”, Signal Processing, 2008. ICSP 2008. 9th International Conference on, page(s): 1532 – 1535
[8]	Zisheng Li, Jun-ichi Imai, Masahide Kaneko,“Facial Feature Localization Using Statistical Models and SIFT Descriptors”, Robot and Human Interactive Communication, 2009. The 18th IEEE International Symposium on, On page(s): 961 – 966
[9]	Pedro Correa Hernandez, Jacek Czyz, Ferran Marques, Toshiyuki Umeda, Xavier Marichal, and Benoit Macq, “Bayesian Approach for Morphology-Based 2-D Human Motion Capture”, Multimedia, IEEE Transactions on,  June, 2007, On page(s): 754 - 765
[10]	Yifan Lu, Lei Wang, Richard Hartley, Hongdong Li, Chunhua Shen,“Multi-view Human Motion Capture with An Improved Deformation Skin Model”, Computing: Techniques and Applications, 2008 , On page(s): 420 – 427
[11]	Chun-Hong Huang, “Classification and Retrieval on Human Kinematical Movements”, Tamkang University June 2007 
[12]	Shih-Pin Chao, Chih-Yi Chiu, Jui-Hsiang Chao, Shi-Nine Yang, Tsang-Ken Lin,“Motion Retrieval And Its Application To Motion Synthesis”, Proceedings. 24th International Conference on Distributed Computing Systems Workshops, 2004, On page(s): 254 – 259
[13]	Yu-Chun Lai, Hong-Yuan Mark Liao, Cheng-Chung Lin, Jian-Ren Chen, Y.-F. Peter Luo, “A Local Feature-based Human Motion Recognition Framework”IEEE International Symposium on Circuits and Systems, 24-27 May, 2009 , On page(s): 722 - 725
[14]	Choon-Bo Shin, Jae-Woo Chang,“Spatio-temporal Representation and Retrieval Using Moving Object's Trajectories”, International Multimedia Conference, Proceedings of the 2000 ACM workshops on Multimedia, On Pages: 209 - 212   
[15]	Yan Chen, Qiang Wu, Xiangjian He, “Using Dynamic Programming to Match Human Behavior Sequences”, Control, Automation, Robotics and Vision, 2008. ICARCV 2008. 10th International Conference on, On page(s): 1498 – 1503
[16]	T. Yabe and K. Tanaka,“Similarity Retrieval of Human Motion as Multi-Stream Time Series Data”, Proc. International Symposium on Database Applications in Non-Traditional Environments, 1999, On page(s): 279 – 286
[17]	J.J. Koenderink,“The structure of images.”Biological Cybernetics, Vol. 50, 1984, On Page(s):363-396
[18]	Tony Lindeberg, 1994.“Scale-space theory: A basic tool for analysing structures at different scales.”Journal of Applied Statistics, Vol. 21, No. 2, 1994, On page(s):224-270