本論文旨在探討利用ARM+DSP及視訊裝置進行即時目標物的辨識與追蹤。
近年來DSP在影像處理上的運用越來越廣泛。本論文在兩位前人研究的基礎上，將它們的研究成果整合並擴張。本研究透過ARM與週邊設備進行資料交換，並獲取視訊影像，再將這些資料傳遞至DSP進行影像處理所需的計算，並將計算成果回傳給ARM。一般嵌入式系統中的影像處理，多採用OpenCV，但 DSP和OpenCV的相容性一直有問題，所以本研究自行撰寫影像處理程式，並與OpenCV的結果進行比較，以確認其正確性。 本研究亦改善前人只能處理單張影像的缺點，將它改寫成能連續處理視訊的輸入，並驗證其處理的正確性。 本研究成果日後可用於無人飛機的影像導引，進行即時目標辨視與追蹤的相關應用。

This thesis mainly investigate the real-time target recognition and tracking using a heterogeneous dual-core embedded platform DSP. Recently DSP has wider and wider applications in the field of computer vision  and image processing. Based on previous researches from our research group, this thesis integrate and expand their work. In this research, the ARM is in charge of exchanging data with other devices, including video device. These data is send to the DSP for further image processing. The processed results are transmitted back to the ARM for further applications. In most embedded devices, OpenCV is employed for image processing. However, the OpenCV is not compatible with the DSP in our case. Therefore, all the codes for image processing are developed by ourselves. The processed results are compared with those from OpenCV to ensure the correctness. Moreover, in the previous result the DSP only processes a single image. This thesis has reached the goal that DSP can process continuous image input. Experiments are also designed to check the correctness of the processed results. This research is potentially applicable to the real-time target recognition and tracking on board a UAV.

中文摘要 i
英文摘要 ii
致谢 iii
1 緒論 1
目錄
1.1 動機 1
1.2 文獻回顧 2
1.3 研究方法 3

2 硬體及軟體架構 5
2.1 硬體架構 5
2.1.1 BeagleBoard-xM Rev. C5
2.1.2 視訊攝影機 9
2.1.3 開發端電腦 10
2.2 軟體架構 11
2.2.1 Linux 11
2.2.2 OpenEmbedded 11
2.2.3 Angstrom 12
2.2.4 DSPLink 12
2.2.5 OpenCV 13

3 目標物辨識與追蹤14
3.1 色彩空間轉換 14
3.2 計算色調閥值 16
3.3 影像二值化 17
3.4 中值濾波 17
3.5 膨脹和侵蝕 18
3.6 邊緣偵測 20
3.7 計算中心點與影像矩值 22

4 DSPLink 平台應用24
4.1 LOOP 範例程式 25
4.1.1 LOOP 範例程式架構 25
4.1.2 loop.c 25
4.1.3 tskloop.c 26
4.2 LOOP 範例程式應用於影像處理 27
4.2.1 Loop InitDate 27
4.2.2 TSKLoop Calculate 28
4.2.3 Loop HandleResultDate 29
4.3 V4L2(Video for Linux Two) 29
4.3.1 開啟影像設備與詢問能力 30
4.3.2 選擇影像型態 31
4.3.3 設定影像擷取格式 31
4.3.4 初始緩衝區與記憶體映射 31
4.3.5 影像資料的處理 31
4.3.6 關閉影像設備 32
4.3.7 影像擷取結果 32
4.4 架構整合 33
4.4.1 ARM 之工作 34
4.4.2 DSP 之工作 36

5 實驗結果與分析37
5.1 電腦端影像處理 37
5.1.1 影像背景較為簡單 37
5.1.2 影像背景較為複雜 42
5.2 BeagleBoard-xM 影像處理 54
5.2.1 移植遇見之問題 54
5.2.2 影像處理之改善 56
5.2.3 DSP 影像處理之結果 57

6 結論與未來工作 69

7 未來工作 70

參考文獻 71



圖目錄
1.1 現今嵌入式系統之應用[14] 2
1.2 整體系統架構 4
2.1 BeagleBoard-xM 實體及說明圖 6
2.2 BeagleBoard-xM 實體 7
2.3 WEBCAM C170 9
2.4 軟體應用與相互關係 11
2.5 DSP/BIOS LINK 軟體架構圖[15] 13
3.1 目標辨識與追蹤流程圖 14
3.2 HSV 色彩空間模型 16
3.3 中值濾波Median filter 18
3.4 階梯狀(step edge) 與直線狀(line edge) 20
3.5 斜坡狀(ramp edge) 與屋頂狀(roof edge) 20
3.6 2D 迴旋積運算[6] 21
4.1 LOOP 範例程式數據流向[9] 24
4.2 LOOP 範例程式架構[2] 25
4.3 LOOP 範例程式影用於影像處理之架構 27
4.4 BMP 檔影像結構 28
4.5 影像串流V4L2 流程 30
4.6 使用V4L2 進行影像擷取1 32
4.7 使用V4L2 進行影像擷取2 32
4.8 LOOP 範例程式執行兩次 33
4.9 LOOP 範例程式執行迴圈流程 34
4.10 ARM 端整體架構 34
4.11 ARM 端整體架構 36
5.1 原影像 37
5.2 HSV 色彩空間轉換:C code(左)OpenCV(右) 38
5.3 色相H:C code(左)OpenCV(右) 38
5.4 二值化: 紅色(左) 綠色(中) 藍色(右) 39
5.5 中值濾波: 紅色(左) 綠色(中) 藍色(右) 39
5.6 侵蝕: 紅色(左) 綠色(中) 藍色(右) 39
5.7 膨脹: 紅色(左) 綠色(中) 藍色(右) 40
5.8 邊緣偵測: 紅色(左) 綠色(中) 藍色(右) 40
5.9 圓形(左) 矩形(中) 三角形(右) 41
5.10 原影像 42
5.11 HSV 色彩空間轉換(C Code) 42
5.12 HSV 色彩空間轉換(OpenCV) 43
5.13 色相H(C Code) 43
5.14 色相H(OpenCV) 43
5.15 飽和度S(C Code) 44
5.16 飽和度S(OpenCV) 44
5.17 亮度V (C Code) 44
5.18 亮度V (OpenCV) 45
5.19 二值化(綠色盒子) 45
5.20 二值化(紅色盒子) 46
5.21 二值化(藍色筆袋) 46
5.22 中值濾波(綠色盒子) 47
5.23 中值濾波(紅色盒子) 47
5.24 中值濾波(藍色筆袋) 47
5.25 先膨脹(綠色盒子) 48
5.26 再侵蝕(綠色盒子) 48
5.27 先膨脹(紅色盒子) 49
5.28 再侵蝕(紅色盒子) 49
5.29 先膨脹(藍色筆袋) 49
5.30 再侵蝕(藍色筆袋) 50
5.31 先侵蝕(綠色盒子) 50
5.32 再膨脹(綠色盒子) 51
5.33 先侵蝕(紅色盒子) 51
5.34 再膨脹(紅色盒子) 51
5.35 先侵蝕(藍色筆袋) 52
5.36 再膨脹(藍色筆袋) 52
5.37 斷開過後的邊緣偵測(綠色盒子) 53
5.38 斷開過後的邊緣偵測(紅色盒子) 53
5.39 斷開過後的邊緣偵測(藍色筆袋) 53
5.40 電腦端之影像處理 54
5.41 DSP 之影像處理 55
5.42 DSP 之二值化 55
5.43 DSP 之數值歸零 56
5.44 DSP 之數值歸零 57
5.45 二值化: 電腦端(左)DSP 端(右) 58
5.46 中值濾波: 電腦端(左)DSP 端(右) 58
5.47 侵蝕: 電腦端(左)DSP 端(右) 59
5.48 膨脹: 電腦端(左)DSP 端(右) 59
5.49 Sobel 邊緣偵測: 電腦端(左)DSP 端(右) 60
5.50 DSP 影像處理實現影像追蹤 61
5.51 嵌入式開發板終端機介面 62
5.52 原圖 62
5.53 目標物中心點(靜止) 63
5.54 影像矩誤差(靜止) 64
5.55 目標物斜直線運動 64
5.56 目標物中心點(斜直線) 65
5.57 殘差圖分析(斜直線) 65
5.58 影像矩誤差(斜直線) 66
5.59 目標物中心點(畫圓) 67
5.60 影像矩誤差(畫圓) 67



表目錄
2.1 BeagleBoard-xM 的硬體規格[7] 6
4.1 影像設備功能 30
5.1 影像矩值之一 40
5.2 影像矩值之二 41
5.3 影像矩值之三 54
5.4 DSP 影像處理差異值 60

[1] 郎崇年, 以Matlab 為平台進行可見光域即時目標物辨識,MATLAB& Simulink 技術與應用文章/論文, 新竹市, 2012. 
　
[2] 樊人鳳, 應用異質雙核心系統於影像處理之探討, 淡江大學碩士論文, 新北市,2013. 
　
[3] 井上誠喜、八木伸行、林正樹、中須英輔、三谷公二、奧井誠人,C 語言數位影像處理,全華科技圖書股份有限公司, 台北, 2006.

[4] 廖建興, 嵌入式系統之新興發展應用趨勢,IECQ 報導年刊, 台北,2010.

[5] “鳥哥的Linux 私房菜” , [線上]Retrieved September 2, 2014, from (http://linux.vbird.org/linux _basic/)

[6] 邢國慶、張廣利、鄒浪, Linux 學習手冊–以Ubuntu 為範例, 佳魁資訊股份有限公司, 台北,2010.

[7] 劉祖亮,Linux Unix. 入門篇, 和碩科技文化公司, 台北, 1999.

[8] 陳俊霖, 嵌入式雙核心平台實現即時前景偵測, 國立中央大學碩士論文, 桃園,2010.

[9] “OMAPL138 學習-DSPLINK DEMO 解析之LOOP” ,[線上]Retrieved December 18,2014, from (http://blog.csdn.net/zxycele/article/details/22059937)

[10] Hayti Kerem Baykeny, Implementation Of A Low-Cost Smart Camera Application On A Cots System, Thesis Of Master ,The Graduate School Of Natural And APPLIED Sciences, Middle East Technical University ,Ankara, 2011.

[11] “The Video4Linux2 API: an introduction.” ,[線上]Retrieved September 2, 2014, from (http://lwn.net/Articles/203924/)

[12] 陳璿瑞, 以視覺為基礎之全日嵌入式車輛偵測系統, 國立勤益科技大學碩士論文, 台中,2010.

[13] 陳俊宏、劉慧雯,Embedded Linux 嵌入式系統原理與實務, 學貫行銷股份有限公司, 台北,2004.

[14]“台灣優奎士有限公司”,[線上]Retrieved December 24, 2014, from (http://www.twubiquitous.com/prod.asp?id=32item=1)

[15]Texas Intruments Incroporated,DSP/BIOSTM Link User Duide

[16]施威銘, PC影像處理技術（二）圖檔壓縮續篇, 旗標出版股份有限公司,台北, 1994.