系統識別號 | U0002-2507201110445200 |
---|---|
DOI | 10.6846/TKU.2011.00909 |
論文名稱(中文) | 以軟硬體協同設計之混合型即時影像物體追蹤系統 |
論文名稱(英文) | Hardware/Software Co-design of a Hybrid Object Tracking System Based on Particle Filter and Particle Swarm Optimization |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 電機工程學系碩士班 |
系所名稱(英文) | Department of Electrical and Computer Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 99 |
學期 | 2 |
出版年 | 100 |
研究生(中文) | 林玟玲 |
研究生(英文) | Wen-Ling Lin |
學號 | 698440087 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2011-07-05 |
論文頁數 | 74頁 |
口試委員 |
指導教授
-
易志孝(chyih@ee.tku.edu.tw)
委員 - 王偉彥(wywang@ntnu.edu.tw) 委員 - 許陳鑑(jhsu@ntnu.edu.tw) 委員 - 周永山(yung@ee.tku.edu.tw) 委員 - 李世安(lishyhan@gmail.com) |
關鍵字(中) |
粒子濾波器 粒子群聚最佳化法 目標物追蹤 SOPC FPGA 軟硬體協同設計 |
關鍵字(英) |
Particle Filter Particle Swarm Optimization Object Tracking SOPC FPGA HW/SW co-design |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本文結合粒子濾波器(Particle Filter)與粒子群聚最佳化演算法(Particle Swarm Optimization, PSO)之優點,提出一種混合型即時影像物體追蹤系統,並於可程式規劃系統晶片(System on Program Chip, SOPC)之系統架構下,利用FPGA(Field Programming Gate Array)的硬體電路優勢,以軟硬體協同設計(HW/SW Co-design)之方式實現硬體加速之功能。作法上係利用所提出之切換機制,當粒子濾波器因物體移動速度太快而追丟時,便切換到PSO做一全域搜尋,而當PSO追蹤到目標物時,再切換到粒子濾波器做快速追蹤功能。並以多主從系統架構來設計硬體加速器,Nios II處理器(Nios II Processor)計算權重值,再以硬體電路進行粒子更新,藉由軟硬體緊密的合作,可以降低Nios II處理器的運算量,提升粒子濾波器與PSO演算法之執行效率,加快執行速度。也由於權重計算有彈性的設計方式,使得在解決各種問題時不需要重新設計硬體。實際結果顯示,利用SOPC軟硬體協同設計的技術所實現之影像物體追蹤系統可獲得良好之即時影像物體追蹤效果。 |
英文摘要 |
This paper presents a hardware/software co-design method for implenting a hybrid object tracking system based on particle filter and Particle Swarm Optimization via System on Program Chip (SOPC) technique. Practice on the system using the proposed switching method When the particle filter lost the tracking because object moving too fast,it will switch to PSO to do a global search. When the PSO to tracking the object, it will switch to the particle filter to do fast tracking. Considering both the execution speed and design flexibility, we use a NIOS II processor to calculate weight for each particle and a hardware accelerator to update particles. As a result, execution efficiency of the proposed hardware/software co-design method of particle filter and Particle Swarm Optimization is significantly improved while maintaining design flexibility for various applications. To demonstrate the performance of the proposed approach, a real-time object tracking system is established and presented in this paper. Experimental results have demonstrated the proposed method have satisfactory results in real-time tracking of objects in video sequences. |
第三語言摘要 | |
論文目次 |
中文摘要 I 英文摘要 II 目錄 III 圖目錄 VII 表目錄 X 第一章 緒論 1 1.1 研究背景及動機 1 1.2 論文架構 3 第二章 軟硬體協同設計平台 4 2.1 DE2-70多媒體開發平台 4 2.2 D5M擷取模組 8 2.2.1 D5M擷取模組腳位說明 9 2.2.2 D5M影像擷取格式 10 2.2.3 D5M擷取模組訊號時序圖 13 2.3 LTM顯示模組 15 2.3.1 LTM顯示模組腳位說明 17 2.3.2 LTM顯示模組時序圖 18 第三章 軟硬體協同設計方法 20 3.1 多主從系統架構 20 3.2 Slave 23 3.2.1 讀取模式(Read Mode) 24 3.2.2 寫入模式(Write Mode) 25 3.2.3 多個等待週期的讀取模式 26 3.2.4 多個等待週期的寫入模式 27 3.3 Master 28 3.3.1 讀取模式(Read Mode) 29 3.3.2 寫入模式(Write Mode) 30 3.3.3 多個等待週期的讀取模式 31 3.3.4 多個等待週期的寫入模式 32 第四章 混合型演算法 33 4.1 粒子濾波器 33 4.1.1 粒子濾波器流程 34 4.1.2 競爭選取法 37 4.2 粒子群聚最佳化法 38 4.2.1 粒子群聚最佳化法流程 39 4.3 混合型演算法 40 第五章 軟硬體協同設計之混合型演算法 41 5.1 混合型硬體加速器 41 5.1.1 初始化模組(Initialization module) 42 5.1.2 PF粒子更新(PF Particle Update)模組 44 5.1.3 PSO粒子更新(PSO Particle Update)模組 46 5.2 權重計算(Weight Calculating)模組 48 5.2.1 粒子解碼 52 5.2.2 RGB比較 52 5.3 其他應用模組 53 5.3.1 隨機亂數模組(Random module) 53 5.3.2 FIFO(First In First Out) 54 5.3.3 RAM 55 5.3.4 狀態控制器(State Machine) 56 第六章 混合型演算法於影像追蹤之應用 57 6.1 即時影像物體追蹤系統架構 57 6.1.1 影像擷取模組(Image Capture module) 59 6.1.2 影像追蹤模組(Image Tracking module) 60 6.1.3 影像顯示模組(Image Display module) 61 6.2 實驗結果 62 6.2.1 混合型演算法 62 6.2.2 混合型演算法應用於物體追蹤 63 6.2.3 PF與PSO搜尋速度 65 6.2.4 PF與PSO追蹤性能 66 6.2.5 實際應用於物體追蹤結果 67 第七章 結論與未來研究方向 69 7.1 結論 69 7.2 未來研究方向 70 參考文獻 71 圖目錄 圖2.1 DE2-70多媒體開發平台 6 圖2.2 DE2-70多媒體開發平台搭配D5M與LTM模組 7 圖2.3 D5M擷取模組 9 圖2.4 D5M擷取模組腳位 10 圖2.5 D5M影像框架 11 圖2.6 CMOS影像訊號 12 圖2.7 Bayer Pattern像素圖 13 圖2.8 D5M擷取模組影像有效資料格式 14 圖2.9 D5M擷取模組時序圖 15 圖2.10 LTM顯示模組 16 圖2.11 LTM顯示模組腳位 17 圖2.12 LCD水平時序圖 19 圖2.13 LCD垂直時序圖 19 圖3.1 傳統匯流排傳輸方式 21 圖3.2 Avalon Bus傳輸方式 22 圖3.3 Slave讀取模式訊號時序圖 24 圖3.4 Slave寫入模式訊號時序圖 25 圖3.5 多個等待週期的Slave讀取模式訊號時序圖 26 圖3.6 多個等待週期的Slave寫入模式訊號時序圖 27 圖3.7 Master讀取模式訊號時序圖 29 圖3.8 Master寫入模式訊號時序圖 30 圖3.9 多個等待週期的Master讀取模式訊號時序圖 31 圖3.10 多個等待週期的Master寫入模式訊號時序圖 32 圖4.1 粒子濾波器流程圖 35 圖4.2 粒子濾波器說明圖 36 圖4.3 競爭選取法說明圖 37 圖4.4 PSO流程圖 38 圖4.5 混合型流程圖 40 圖5.1 混合型硬體加速器 41 圖5.2 初始化模組訊號圖 42 圖5.3 初始化模組 43 圖5.4 PF粒子更新模組訊號圖 44 圖5.5 PF粒子更新模組 45 圖5.6 PSO粒子更新模組訊號圖 46 圖5.7 PSO粒子更新模組 48 圖5.8 權重計算模組 49 圖5.9 權重計算模組訊號圖 49 圖5.10 權重計算模組硬體架構圖 51 圖5.11 影像遮罩 52 圖5.12 建模之目標物 52 圖5.13 隨機亂數模組 53 圖5.14 FIFO模組 54 圖5.15 RAM模組 55 圖5.16 State Machine 56 圖6.1 即時影像物體追蹤系統架構 57 圖6.2 影像擷取系統架構 59 圖6.3 影像追蹤系統架構 60 圖6.4 影像顯示系統架構 61 圖6.5 實驗結果展示圖 68 表目錄 表2.1 D5M規格參數表 8 表2.2 LTM規格參數表 16 表3.1 Slave端訊號表 23 表3.2 Master端訊號表 28 表5.1 初始化模組訊號表 42 表5.2 PF粒子更新模組訊號表 44 表5.3 PSO粒子更新模組訊號表 46 表5.4 權重計算模組訊號表 50 表5.5 隨機亂數模組訊號表 53 表5.6 FIFO模組訊號表 54 表5.7 RAM模組訊號表 55 表6.1 純軟體與全硬體設計之實驗結果 62 表6.2 軟硬體協同設計之實驗結果 63 表6.3 全硬體設計之實驗結果 64 表6.4 PF與PSO搜尋速度之實驗結果 65 表6.5 PF與PSO追蹤性能之實驗結果 66 |
參考文獻 |
[1] Y. C. Ho and R. C. K. Lee, “A Bayesian approach to problems in stochastic estimation and control,” IEEE Transactions on Automatic Control, vol. AC-9, pp. 333-339, 1964. [2] J. H. Kotecha and P. M. Djuric, “Gaussian Particle Filtering,” IEEE Transactions on Signal Processing, vol. 51, no. 10, pp. 2592-2601, 2003. [3] N. de Freitas, “Rao-Blackwellised particle filtering for fault diagnosis,” IEEE Aerospace Conference Proceedings, vol. 4, pp. 4-1767-4-1772, 2002. [4] Fujun Pei, Pingyuan Cui, and Yangzhou Chen, “Adaptive MCMC Particle Filter for Nonlinear and Non-Gaussian State Estimation,” Innovative Computing Information and Control, pp. 494-494. 2008. [5] P. M. Djuric, J. H. Kotecha, J. Zhang, Y.Huang, T. Ghirmai, M. F. Bugallo, and J. Miguez, “Particle filtering,” IEEE Signal Processing Magazine, vol. 20, no. 5, pp. 19-38, 2003. [6] P. M. Djuric, T. Lu, and M. F. Bugallo, “Multiple particle filtering,” IEEE International Conference on Acoustics Speech and Signal Processing’07, pp. III-1181-III-1184, 2007. [7] J. Kennedy and R. Eberhart, “Particle swarm optimization,” IEEE International Conference on Neural Networks, Perth, Australia, 1995, pp. 1942-1948. [8] Altera Corporation, SOPC Builder User Guide, 2010. [9] Altera Corporation, Designing With Nios & SOPC Builder, 2010. [10] S.A. Li, C.C. Hsu, C.C. Wong, and C.J. Yu, “Hardware/Software Co-design for Particle Swarm Optimization Algorithm,” Information Sciences, doi:10.1016/j.ins.2010.07.017. [11] B. L. Miller and D. E. Goldberg, “Genetic algorithms, tournament selection, and the effects of noise,” Illinois Genetic Algorithms Laboratory Report, no. 95006, July 1995. [12] Terasic Corporation, URL:http://www.terasic.com.tw/tw/ [13] Terasic Corporation, TRDB_D5M_UserGuide, August 2010. [14] Terasic Corporation, THDB-D5M Hardware Specification, 2008. [15] Terasic Corporation, LTM User Manual [16] 李世安,即時目標影像追蹤之SoPC設計,淡江大學電機工程學系博士班博士論文(指導教授:翁慶昌),2008。 [17] 王瑞斌,以軟硬體協同設計之粒子濾波器及其在影像追蹤之應用,淡江大學電機工程學系碩士班碩士論文(指導教授:許陳鑑),2010。 [18] Altera Corporation, Avalon Interface Specifications, August 2010. [19] M. Isard and A. Blake, “Condensation--conditional density propagation for visual tracking,” International Journal of Computer Vision, vol. 29, no. 1, pp. 5-28, 1998. [20] Y. Rui and Y. Chen, “Better proposal distributions: object tracking using unscented particle filter,” IEEE Computer Vision and Pattern Recognition, pp. 786-793, 2001. [21] 黎乃仁,結合單體搜尋法之改良式粒子濾波器應用於機器人室內定位,淡江大學電機工程學系碩士班碩士論文(指導教授:許陳鑑),2009。 [22] 鄭明育,演化式物體影像追蹤與傾斜定位,淡江大學電機工程學系碩士班碩士論文(指導教授:許陳鑑),2009。 [23] G. Marsaglia and W.W. Tsang, “The Monty Python method for generating random variables,” ACM Transactions on Mathematical Software, vol. 24, no. 3, pp. 341–350, 1998. [24] G. Kitagawa and W. Gersch, Smootness Priors Analysis of Time series, New York: Springer-Verlag, 1996. [25] M. Sanjeev Arulampalam, Simon Maskell, Neil Gordon, and Tim Clapp, “A tutorial on particle filters for online nonlinear/non-gaussian bayesian tracking,” IEEE Transactions on Signal Processing, vol. 50, no. 2, pp.174-188, 2002. [26] H. Y. Cheng, “Object tracking using particle filter,” CCL Technical Journal, vol.112, pp.107-112, 2005. [27] J. U. Cho, S. H. Jin, X. D. Pham, J. W. Jeon, J. E. Byun, and H. Kang, “A real-time object tracking system using a particle filter,” IEEE International Conference on Intelligent Robots and Systems, 2006, pp. 2822-2827. [28] J. U. Cho, S. H. Jin, X. D. Pham, and J. W. Jeon, “Multiple objects tracking circuit using particle filters with multiple features,” IEEE International Conference on Roboicts and Automation, 2007, pp. 10-14. [29] J. U. Cho, S. H. Jin, X. D. Pham, and J. W. Jeon, “ Object tracking circuit using particle filter with multiple features,” SICE ICASE International Joint Conference, 2006, pp. 1431-1436. [30] K. Nummiaro, E. Koller-Meier, and L. Van Gool, “An adaptive color-based particle filter,” Image and Vision Computing, vol. 21, Iss. 1, pp. 99-110, 10 January 2003. [31] N. J. Gordon, D. J. Salmond, and A. F. M. Smith, “Novel approach to nonlinear and non-gaussian bayesian state estimation,” IEE Proceedings F -- Radar and Signal Processing, vol. 140, no. 2, pp. 107-113, 1993. [32] R. Niu, P. K. Varshney, M. Alford, A. Bubalo, E. Jones, and M. Scalzo, “Curvature nonlinearity measure and filter divergence detector for nonlinear tracking problems,” 8th International conference on Information Fusion, 2008, pp. 1-8. [33] James E. Baker, “Reducing Bias and Inefficiency in the Selection Algorithm,” Proceedings of the Second International Conference on Genetic Algorithms and their Application, 1987, pp. 14-21. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信