本論文探討電腦視覺再航太科技方面的應用，主要分為兩部分：第一部分為利用電腦視覺來讀取機艙儀表板的讀數；論文第二部分則探討利用電腦視覺辨識太陽能板的演算法。隨著科技進步，電腦視覺的應用越來越廣泛，但是本論文所探討的主題，則較為罕見。由於民航法規並未強制要求某些類型、或重量的飛機裝載「飛行記錄器」，因此當有飛安事件發生時，要重建事件過程較為困難。其中一種替代方式，則是在駕駛艙裝置攝影機以拍攝儀表板。本研究主要探討如何利用電腦視覺的演算法，讓電腦能夠自動讀取儀表板資訊。另一項應用則是利用無人機拍攝太陽能板的案場，並用電腦視覺的演算法來尋找有問題的太陽能板。

   具體來說，本研究分兩部分：在第一部分主要處理機艙儀表板讀數的獲取，本論文主要探討指針型儀器與姿態儀，其中的指針型儀表則以速度計作為研究範例，因為所得的成果可以和 GPS 資料相互比對，以驗證其正確性。本研究和台灣國家運輸委員會合作，使用其提供的 Bell 206 直升機拍攝影片作為實驗標的。在論文中，我們使用若干影像處理的方法，成功讀取影片中的指針讀數，以及姿態儀中的滾轉角。在與 GPS 訊號和人眼標記比較之後，可以確信本演算法的有效性與精確度。

   在第二部分中，若要能夠找出太陽能板異常部位，第一步必須先定位出每片太陽能板的位置。本研究主要著重於太陽能板的定位，並以每片太陽能板的角點座標作為驗證的基礎。由實驗顯示，本演算法大致能成功定位太陽能板，但是對於某些背景較複雜的案場，則定位成果較不理想。本研究對於日後的飛行安全調查與太陽能板案場巡檢，具有潛在的貢獻。

This thesis discusses the applications of computer vision technology to aerospace engineering. Two main fields are studied in the thesis: to acquire the readings of the instrument panel in the cockpit, and to identify solar panel automatically. Computer vision has wider and wider applications because of the advance of the technology. However, the topics studied in this thesis are rare. According to aviation regulations, not all of the aircraft are required to install ``Flight Data Recorder' (FDR). Without a FDR the investigation of an aviation safety event is more difficult. An alternative solution is to install a camera in the cockpit, and snapshot the instrument board. This thesis develops a computer vision algorithm to automatically identify the reading of the gauges. The other application discussed in this thesis is to automatically identify the flaw of the solar panel with a computer vision algorithm.

In specific, two main topics are presented in thesis. First, the algorithm to acquire the readings of the gauges in the cockpit is developed, especially the needle-type gauges and the attitude indicator. In order to verify the results with GPS data, the velocimeter is chosen as the example. This research is collaborated with the Taiwan Transportation Safety Board (TTSB). The footage of the Bell 206 helicopter, provided by TTSB as a courtesy, is analyzed. With the developed algorithms in this thesis, the reading of the velocimeter and the rolling angle of the attitude indicator are successfully acquired. Compared with known GPS data and human-eye inspections, we are confident of the effectiveness and accuracy of the algorithm.

Secondly, in order to automatically identify the anomaly of the solar panel, every single solar panel should be identified and retrieved from the background first. This thesis mainly focuses on the identification of each single solar panel by providing the coordinates of the corners. From the experiments, the developed algorithm successfully identify most solar panels. However, the background in some cases are so noisy that the performance of the algorithm is not so good. More work should be done to solve this problem in the future. This thesis potentially contributes to the investigation of aviation safety events and automatic inspection and detection of flaw solar panel in a solar power farm.

1 緒論1
1.1 研究動機  1
1.2 文獻回顧  2
1.3 研究方法  3
1.4 章節概述  3
2 數位影像處理  5
2.1 色域空間轉換Color Space Transformation  5
2.2 閾值選取與二值化  7
2.3 二值化   9
2.4 膨脹與侵蝕  10
2.5 連通標記 12
3 指針型儀表檢測17
3.1 指針型處理流程. 18
3.2 角度辨識 20
3.3 硬體設備 22
3.4 模擬結果 23
3.5 結果討論 28
4 卡曼濾波器 35
4.1 卡曼濾波基本介紹 38
4.2 卡曼濾波器演算法 38
5 姿態儀檢測 43
5.1 處理流程 45
5.2 水平濾波. 46
5.3 結果討論 50
6 圖形化界面(GUI) 55
6.1 版面配置 55
6.2 使用流程 57
6.2.1 步驟一: 路徑選擇 57
6.2.2 步驟二: 張數設定 58
6.2.3 步驟三: 儀表擷取 59
6.2.4 步驟四: 圓形與閾值設定 60
7 太陽能板辨識演算法概述 64
7.1 影像處理流程圖 64
7.2 正規化 65
7.3 高斯混合模型 66
7.4 型態學與二值化 67
7.5 垂直水平濾波 69
7.6 連通標記 74
7.7 角點分析 75
8 模擬與驗證 78
8.1 數據分析 78
8.2 成功率與精準率探討 81
9 結論 88
9.1 指針讀數與滾轉角辨識 88
9.2 太陽能板辨識 89
9.3 指針讀數辨識未來工作 90
9.4 太陽能板辨識未來工作. 90
圖目錄
2.1 流程圖 5
2.2 HSV 示意圖 7
2.3 不同光影時的影響 8
2.4 裁切指針附近區塊 9
2.5 上圖為固定閾值的二值化結果下圖為經過浮動閾值的二值化結果 10
2.6 4 連通與8 連通 13
2.7 濾波前的儀表  16
2.8 只剩指針的影像 16
3.1 第一段影像範例 17
3.2 第二筆影像範例 17
3.3 選取空速計 18
3.4 剪取下的空速計 18
3.5 圖形化介面進行選取中心點 18
3.6 中心點將可視範圍縮小 19
3.7 二值化後的結果 19
3.8 只剩指針的影像 20
3.9 座標化後的指針 21
3.10 線性回歸後的結果 21
3.11 用於座艙內的攝影器材 22
3.12 Bell206 第一筆航程分析資料 24
3.13 演算法減去GPS 的差值 25
3.14 演算法減去人工觀測的差值 26
3.15 Bell206 第二筆航程分析資料 26
3.16 演算法減去GPS 的差值 27
3.17 演算法減去人工觀測的差值 28
3.18 陽光照射強烈情形1  29
3.19 陽光照射強烈情形2  29
3.20 陽光照射強烈情形3  29
3.21 陽光照射強烈情形4  29
3.22 鏡面反光情形1  30
3.23 鏡面反光情形2  30
3.24 鏡面反光情形3  30
3.25 鏡面反光情形4  30
3.26 反光程度較小可以找出指針 31
3.27 反光程度較大使指針與反光區塊相連 31
4.1 飛行員阻擋1  35
4.2 飛行員阻擋2  35
4.3 飛行員阻擋3  36
4.4 飛行員阻擋4  36
4.5 飛行員阻擋5  36
4.6 飛行員阻擋6  36
4.7 阻擋分析1  37
4.8 阻擋分析2  37
4.9 阻擋分析3  37
4.10 阻擋分析4 37
4.11 卡曼濾波結果 42
5.1 清楚的姿態儀 43
5.2 Vision 1000 姿態儀 44
5.3 非指針型影像處理流程圖 45
5.4 姿態儀將範圍縮小 46
5.5 姿態儀水平濾波 47
5.6 姿態儀二值化 47
5.7 姿態儀刪除上下的殘塊 48
5.8 姿態儀只留下目標物. 49
5.9 姿態儀找到位置與角度 50
5.10 陽光強烈照射1  51
5.11 陽光未包覆姿態儀 51
5.12 陽光未包覆姿態儀並成功辨識 52
5.13 陽光未包覆姿態儀 52
5.14 姿態儀受陽光時的二值化圖 53
5.15 姿態儀受陽光時的辨識結果 53
5.16 100 張姿態儀辨識結果圖 54
5.17 100 張姿態儀誤差 54
6.1 圖形化介面 55
6.2 圖形化介面介紹 56
6.3 選擇資料夾 57
6.4 張數設定 58
6.5 調整影像大小與拖曳影像 59
6.6 選取座標 60
6.7 圓形遮罩大 61
6.8 圓形遮罩小 61
6.9 error 彈框 62
6.10 嘗試尋找閾值 62
6.11 取到較好的閾值 62
6.12 完成分析後的GUI 63
7.1 太陽能板影像處理流程圖 64
7.2 normalization 前後比較圖 65
7.3 高斯混合模型 66
7.4 將閾值以下的值變為0  67
7.5 填滿後 68
7.6 背景變黑 68
7.7 背景黑其餘白 69
7.8 水平濾波 70
7.9 垂直濾波 71
7.10 垂直加水平 71
7.11 VH 點乘型態學 72
7.12 大於0 變成1  72
7.13 填滿每個板塊 73
7.14 大雜訊與板塊相連 73
7.15 大雜訊與板塊分離 74
7.16 提出後的單塊太陽能板 75
7.17 將單塊太陽能板進行XY 方向濾波後運算 76
7.18 單塊結果圖 77
8.1 編號0065 結果圖 78
8.2 編號0085 結果圖 79
8.3 編號0091 結果圖 79
8.4 編號0093 結果圖 80
8.5 編號0095 結果圖 80
8.6 編號0097 結果圖 81
8.7 編號0099 結果圖 81
8.8 人工標記座標畫圖 84
8.9 加大2 到6 範圍 85
8.10 減小2 到6 範圍 85
8.11 單點2 到6 範圍 85
8.12 正負2 至正負6 成功率曲線 86
8.13 正負2 至正負6 準確率曲線 86

林義鵬. "儀表組檢測系統開發." 虎尾科技大學車輛工程系碩士班學位論文 (2013): 1-101
Shin, Sanghyun, and Inseok Hwang. "Data-Mining-Based Computer Vision Analytics for Automated Helicopter Flight State Inference." Journal of Aerospace Information Systems (2017): 652-662.
CHMIELIŃSKA, Jolanta, and Jacek JAKUBOWSKI. "Application of Matlab for automatic reading of analogue measuring instruments." Przegląd Elektrotechniczny 92.11 (2016): 95-98
Sablatnig, Robert, and Walter G. Kropatsch. "Automatic reading of analog display instruments." Proceedings of 12th International Conference on Pattern Recognition. Vol. 1. IEEE, 1994
Ye, Xiaofeng, Dailiang Xie, and Shan Tao. "Automatic Value Identification of Pointer-Type Pressure Gauge Based on Machine Vision." JCP 8.5 (2013): 1309-1314
郎崇年. "以 Matlab 為平台進行可見光域即時目標物辨識." 淡江大學航空太空工程學系碩士班學位論文 (2012): 1-86
Aghaei, Mohammadreza, et al. "Innovative automated control system for PV fields inspection and remote control." IEEE Transactions on Industrial Electronics 62.11 (2015): 7287-7296
Kim, Dusik, Junhee Youn, and Changyoon Kim. "Automatic photovoltaic panel area extraction from uav thermal infrared images." Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography 34.6 (2016): 559-568.
Dotenco, Sergiu, et al. "Automatic detection and analysis of photovoltaic modules in aerial infrared imagery." 2016 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2016.
Kim, Dusik, Junhee Youn, and Changyoon Kim. "Automatic fault recognition of photovoltaic modules based on statistical analysis of UAV thermography." The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences 42 (2017): 179