本論文主要在探討使用數位影像處理與深度學習兩種方式去判別太陽能板之熱斑現象，改善並優化傳統的太陽能板檢測方式。在太陽能檢測中有許多更精密的方式，但是步驟較為複雜，所以在初步的檢測中，時常利用紅外線熱像儀來快速地找出異常太陽能板。然而以往大多以人工手持熱像儀的方式，但是該方式會因為儀器與面板的角度關係導致檢測溫度上的會有所誤差，況且現在大型太陽能電站較多，使用傳統人工巡檢的方式曠日廢時，利用無人飛行載具並裝設紅外線熱像儀對大面積太陽能案場進行空拍，可大幅減少巡檢時間，唯一的問題在於拍攝的影片需要耗費時間觀看，以找出有熱斑的問題太陽板塊，以利後續處理。受益於現代電腦強大的運算能力，本研究分別採用兩種電腦視覺方式：傳統影像處理、與機器學習，來定位出影片中的熱斑，並對其性能加以分析比較。

具體來說本次研究分為兩大部分：第一部份是利用數位影像處理方式，開發太陽能板之熱斑辨識的演算法，並在相同的流程中運用於不同背景下的太陽能發電廠的太陽能板影像作熱斑辨識；第二部份是利用深度學習的方式，並且運用YOLO演算法對太陽能面板的異常做直接的偵測，並在加以利用數位影像處理去優化結果。最後本研究會根據這兩部分的流程與結果加以討論，並對日後太陽能發電廠的巡檢，具有潛在的貢獻。

This thesis studies the detection of hotspots in a solar panel using image processing algorithm and deep learning. Conventionally, detecting malfunction of a solar panel requires human inspection by walking through the solar farm. It may take days to surveil a solar farm due to the enormous area. Surveillance using an unmanned aerial vehicle equipped with sensors, such as an infrared imaging system, is one potential solution. However, in the current stage, the footage captured by the infrared imaging system should be inspected by human power, and this is a very heavy burden. Owing to the massive computing power of modern computers, this study intends to develop useful algorithms that detect hotspots out of the solar farm footage automatically. Two algorithms, a conventional image processing technique and a deep learning algorithm, are studied and compared.

In specific, this thesis focuses on the following topics: First, a conventional image processing algorithm is employed to detect hotspots in solar farms under various background. Although the algorithm is identical, different backgrounds require different parameters and cause different performance. Secondly, same footage is analyzed by YOLO v4 algorithm. Performance by the two algorithms are analyzed and concluded. This study directly contributes to the improvement of solar-farm inspection efficiency, and thus potentially contributes to the use of solar energy in the future.

摘要 I
表目錄 V
圖目錄 VII
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機與目的 1
1.3 文獻回顧 2
1.4 論文架構 3
第二章 研究方法 4
2.1 影像處理 4
2.2 深度學習 4
2.3 YOLO v4介紹 5
2.4 軟硬體設備 7
2.4.1 個人電腦軟硬體設備 7
2.4.2 軟體設備 7
第三章 應用影像處理辨識太陽能板之熱斑 8
3.1 演算法架構 8
3.2 灰度增強 10
3.3 自動化閾值 12
3.4 水平垂直濾波 13
3.5 形態學 15
3.6 刪除大面積雜訊 17
3.7 角點偵測 17
3.8 熱斑偵測 19
第四章 應用YOLO辨識太陽能板之熱斑 22
4.1 演算法架構 22
4.2 預處理 23
4.3 模型訓練與評估 25
4.4 偵測太陽能板塊 26
4.5 利用影像處理輔助辨識太陽能熱斑 27
第五章 實驗結果分析與討論 29
5.1 數據分析 29
5.2 第一類型實驗結果 31
5.2.1 應用影像處理方法辨識第一類型影像之數據分析 31
5.2.2 應用YOLO方法辨識第一類型影像之數據分析 33
5.3 第二類型實驗結果 36
5.3.1 應用影像處理方法辨識第二類型影像之數據分析 36
5.3.2 應用YOLO方法辨識第二類型影像之數據分析 38
5.4 第三類型實驗結果 41
5.4.1 應用影像處理方法辨識第三類型影像之數據分析 41
5.4.2 應用YOLO方法辨識第三類型影像之數據分析 42
5.5 各類型運算時間 45
5.6 討論 46
第六章 結論與未來工作 49
6.1 結論 49
6.2 未來工作 50
參考文獻 51

表目錄
表2.1 個人電腦軟硬體設備 7
表2.2 YOLO 相關軟體版本 7
表4.1 訓練參數 25
表5.1 混淆矩陣 30
表5.2 衡量指標 30
表5.3 影像處理方式之數據分析 31
表5.4 影像處理方式之衡量指標 31
表5.5 YOLO 方式之數據分析 33
表5.6 YOLO 方式之衡量指標 33
表5.7 YOLO 結果並用影像處理優化之數據分析 35
表5.8 YOLO 結果並用影像處理優化之衡量指標 35
表5.9 影像處理方式之數據分析 37
表5.10 影像處理方式之衡量指標 37
表5.11 YOLO 方式之數據分析 38
表5.12 YOLO 方式之衡量指標 38
表5.13 YOLO 結果並用影像處理優化之數據分析 40
表5.14 YOLO 結果並用影像處理優化之衡量指標 40
表5.15 影像處理方式之數據分析 42
表5.16 影像處理方式之衡量指標 42
表5.17 YOLO 方式之數據分析 43
表5.18 YOLO 方式之衡量指標 43
表5.19 YOLO 結果並用影像處理優化之數據分析 44
表5.20 YOLO 結果並用影像處理優化之衡量指標 44
表5.21 影像處理方法運算時間 45
表5.22 YOLO 運算時間 45

圖目錄
圖2.1 YOLOv4性能 6
圖3.1 太陽能板熱斑流程圖 9
圖3.2 擴展函數 10
圖3.3 增強前影像與直方圖 11
圖3.4 使用擴展函數 11
圖3.5 增強後影像與直方圖 11
圖3.6 高斯混合模型 12
圖3.7 將閾值以下的灰階值轉變為全白 13
圖3.8 水平與垂直濾波 14
圖3.9 濾波結果 14
圖3.10 阿達馬乘積結果 15
圖3.11 填充處理 16
圖3.12 相連板塊 16
圖3.13 相連板塊處理後 17
圖3.14 開運算處理 17
圖3.15 刪除背景雜訊 17
圖3.16 刪除大雜訊 17
圖3.17 擷取單一太陽能板塊 18
圖3.18 單一板塊角點偵測結果 19
圖3.19 角點偵測結果 19
圖3.20 熱斑影像 20
圖3.21 太陽能板塊直方圖 20
圖3.22 熱斑處理結果 21
圖3.23 標示熱斑的太陽能板 21
圖4.1 YOLO辨識流程 23
圖4.2 標註後生成txt檔 24
圖4.3 LabelImg標記影像 24
圖4.4 YOLO訓練過程 25
圖4.5 YOLO訓練即時mAP與Loss曲線 26
圖4.6 Json格式文檔 26
圖4.7 偵測結果影像 27
圖4.8 原圖與YOLO辨識結果 27
圖4.9 影像處理輔助辨識 28
圖5.1 第一類型 29
圖5.2 第二類型 29
圖5.3 第三類型 29
圖5.4 影像處理方法辨識結果 32
圖5.5 YOLO結果 34
圖5.6 熱斑輔助辨識 34
圖5.7 太陽能板架設狀況 36
圖5.8 可見光影像 36
圖5.9 紅外線影像 36
圖5.10 辨識區域過大 37
圖5.11 物體遮蔽 39
圖5.12 整片面板異常 39
圖5.13 第二類型熱斑辨識失敗 40
圖5.14 整個面板異常 41
圖5.15 編號:0561 原圖 41
圖5.16 影像辨識結果 41
圖5.17 影像編號：0549  43
圖5.18 辨識到細微板塊 44
圖5.19 第三類型熱斑處理 45
圖5.20 第一類型影像在各方法比較 46
圖5.21 第二類型影像在各方法比較 47
圖5.22 第三類型影像在各方法比較 47
圖5.23 影像處理方法 48
圖5.24 YOLO方法 48
圖5.25 YOLO結果並用影像處理優化方法 48

[1] A. Bochkovskiy, C.Y. Wang, and H.Y. M. Liao, “Yolov4: Optimal speed and accuracy of object detection,” arXiv preprint arXiv:2004.10934, 2020.
[2] A. McAndrew, A Computational Introduction to Digital Image Processing, ch. 4, pp. 73–82. CRC Press, second edition. ed., 2016.
[3] S. Dotenco, M. Dalsass, L. Winkler, T. Würzner, C. Brabec, A. Maier, and F. Gallwitz, “Automatic detection and analysis of photovoltaic modules in aerial infrared imagery,” in 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1–9, IEEE, 2016.
[4] P. Guerriero and S. Daliento, “Automatic edge identification for accurate analysis of thermographic images of solar panels,” in 2017 6th International Conference on Clean Electrical Power (ICCEP), pp. 768–772, IEEE, 2017.
[5] D. Kim, J. Youn, and C. Kim, “Automatic photovoltaic panel area extraction from uav thermal infrared images,” Journal of the Korean Society of Surveying Geodesy Photogrammetry and Cartography, vol. 34, no. 6, pp. 559–568, 2016.
[6] 張峰瑜, “電腦視覺的應用: 機艙儀表板讀取與太陽能板辨識,” 淡江大學航空太空工程學系碩士班學位論文, pp. 1–99, 2020.
[7] M. Aghaei, F. Grimaccia, C. A. Gonano, and S. Leva, “Innovative automated control system for pv fields inspection and remote control,” IEEE Transactions on Industrial Electronics, vol. 62, no. 11, pp. 7287–7296, 2015.
[8] S. H. Han, T. Rahim, and S. Y. Shin, “Detection of faults in solar panels using deep learning,” in 2021 International Conference on Electronics, Information, and Communication (ICEIC), pp. 1–4, 2021.