系統識別號 | U0002-2206202016480000 |
---|---|
DOI | 10.6846/TKU.2020.00636 |
論文名稱(中文) | 以深度學習方式進行機艙儀表板指針讀數判讀 |
論文名稱(英文) | Reading Detection of Cockpit Needle-type Instruments Using Deep Learning Algorithms |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 航空太空工程學系碩士班 |
系所名稱(英文) | Department of Aerospace Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 108 |
學期 | 2 |
出版年 | 109 |
研究生(中文) | 陳冠華 |
研究生(英文) | Guan-Hua Chen |
學號 | 607430294 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | 英文 |
口試日期 | 2020-06-16 |
論文頁數 | 65頁 |
口試委員 |
指導教授
-
蕭富元
委員 - 郭嘉偉 委員 - 蕭照焜 |
關鍵字(中) |
深度學習 Faster R-CNN 物件偵測 影像辨識 儀表 |
關鍵字(英) |
Deep learning Faster R-CNN object detection image processing instrument board |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本論文旨在以深度學習之演算法,處理航空系之指針型儀表之指針判讀問題。深度學習之應用在近幾年越來越廣泛,但在本論文中所探討的主題較為罕見。由於我國之民航法規並未強制要求特定類別之飛行器掛載飛行紀錄器,因此當發生飛安意外時,要對事件進行還原較為困難。因此國家安全運輸委員會建議在駕駛艙裝置攝影機,拍攝儀表板以紀錄飛航過程的方式,作為替代方案,而本研究主要探討利用深度學習的演算法,讓電腦學習判讀儀表指針讀數以及其變化。 在本論文中,內容主要分為三部分:首先針對本研究所使用之深度學習演算法進行介紹,再來將訓練結果進行模型實測,最後將結果與GPS數據以及與傳統電腦視覺演算法進行比較,本研究中主要針對指針型儀表之速度計作為研究範例,因為研究結果可以與GPS之對地速度相互比對,以驗證其正確性。本研究與國家安全運輸委員會合作,使用其提供的Bell 206型直升機拍攝影片做為學習素材。在本研究中,使用Faster R-CNN之演算法成功偵測影片中之指針讀數,再將其與傳統影像處理演算法與GPS之對地速度進行比對,以確定本演算法之有效性與精確度。 |
英文摘要 |
The purpose of this thesis is to use deep learning algorithms to solve the problem of needle-type instruments in cockpit. The application of deep learning has become more and more widespread in recent years, but the topics discussed in this field are relatively rare. As my country’s civil aviation regulations do not require every types of aircraft to mount flight recorders. Therefore, when a flight safety accident occurs, it is more difficult to restore the incident. Taiwan Transportation Safety Board(TTSB) uses a camera in the cockpit to record the flight process on the dashboard as an alternative. This research mainly explores the use of deep learning algorithms to let computer learn the changes in the indicator readings, In this thesis, the content is mainly divided into three parts. First, to introduce deep learning algorithm used in this research, secondly, to test the training results on the model, and thirdly, to compare the results with GPS data and traditional computer vision algorithm. For comparison, this research mainly focuses on the airspeed indicator, because the research results can be compared with the GPS ground speed to verify its correctness. In this case, in cooperation with TTSB, the flying data of Bell 206 was provided by TTSB. In this study, the Faster R-CNN algorithm was used to successfully detect the pointer readings in the film, and then it was compared with the traditional image processing algorithm and GPS ground speed to determine the effectiveness and accuracy of this algorithm. |
第三語言摘要 | |
論文目次 |
目錄 1 緒論 1.1 背景與研究動機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 文獻回顧. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 研究方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 深度學習 4 2.1 架構介紹. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 數據蒐集. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 卷積處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4 類神經網路. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.4.1 多層感知器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.4.2 反向傳播算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 Faster R-CNN 13 3.1 演算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.2 預處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.3 訓練. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4 模型實測 23 4.1 模型實測I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.2 模型實測II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.2.1 結果比較. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.2.2 準確率統計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 結果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.3 模型實測III 失敗經驗. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.4 模型實測IV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.4.1 結果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5 結論與未來工作 55 5.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.2 未來工作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 參考文獻 57 圖目錄 圖2.1 深度學習架構流程圖。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 圖2.2 池化示意圖[1]。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 圖2.3 卷積運算方式[1]。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 圖2.4 多層感知器流程。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 圖2.5 Sigmoid 函數。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 圖2.6 ReLU 函數。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 圖3.1 RPN 網路流程。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 圖3.2 Faster R-CNN 流程。. . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . 16 圖3.3 RoI pooling 流程。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 圖3.4 以LabelImg 進行圖像標記。. . . . . . . . . . . . . . . . . . . . . . . . . . . 18 圖3.5 標記後生成之XML。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 圖3.6 整批資料標記流程。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 圖3.7 csv 檔內容。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 圖3.8 訓練過程。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 圖3.9 LOSS。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 圖4.1 輕航機之深度學習預測結果與GPS 比較。. . . . . . . . . . . . . . . . . . . 25 圖4.2 起飛狀態預測結果(vel 所指為速度,單位: 節)。. . . . . . . . . . . . . . . . 26 圖4.3 起飛狀態連續錯誤判斷. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 圖4.4 巡航預測結果(vel 所指為速度,單位: 節)。. . . . . . . . . . . . . . . . . . 28 圖4.5 巡航狀態下之連續辨識結果. . . . . . . . . . . . . . . . . . . . . . . . . . . 29 圖4.6 預測結果,重複預測(vel 所指為速度,單位: 節)。. . . . . . . . . . . . . . 30 圖4.7 Bell 206 機型辨識結果。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 圖4.8 傳統影像處理與深度學習結果比較。. . . . . . . . . . . . . . . . . . . . . . 32 圖4.9 LOSS。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 圖4.10 預測結果,取自[2]。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 圖4.11 全航程預測。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 圖4.12 數據比重。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 圖4.13 數據比重。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 圖4.14 LOSS。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 圖4.15 Bell206 型辨識結果。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 圖4.16 Robinson R44 型辨識結果。. . . . . . . . . . . . . . . . . . . . . . . . . . . 40 圖4.17 Enstrom 280C 辨識結果,取自[3]。. . . . . . . . . . . . . . . . . . . . . . . 41 圖4.18 Robinson R66 型辨識結果,取自[4]。. . . . . . . . . . . . . . . . . . . . . . 41 圖4.19 Schweizer 300 型辨識結果。. . . . . . . . . . . . . . . . . . . . . . . . . . . 42 圖4.20 輕航機辨識結果,取自飛安會提供之素材。. . . . . . . . . . . . . . . . . . 43 圖4.21 辨識結果局部放大圖1。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 圖4.22 辨識結果局部放大圖2。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 圖4.23 辨識結果局部放大圖3。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 圖4.24 深度學習對Bell 206 實機預測。. . . . . . . . . . . . . . . . . . . . . . . . . 48 圖4.25 預測可靠度出現比例。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 圖4.26 深度學習預測結果與GPS 之比較。. . . . . . . . . . . . . . . . . . . . . . . 50 圖4.27 傳統影像處理與GPS 之誤差。. . . . . . . . . . . . . . . . . . . . . . . . . . 50 圖4.28 深度學習結果與GPS 之誤差。. . . . . . . . . . . . . . . . . . . . . . . . . . 51 圖4.29 解析度7knot 之誤差呈現。. . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 圖4.30 深度學習預測與傳統影像處理比較。. . . . . . . . . . . . . . . . . . . . . . 52 圖4.31 深度學習結果與傳統影像處理誤差。. . . . . . . . . . . . . . . . . . . . . . 53 圖4.32 解析度7knot 之誤差呈現。. . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 表目錄 表3.1 演算法比較表。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 表4.1 模型參數。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 表4.2 誤差容忍率。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 |
參考文獻 |
[1] 林大貴, TensorFlow+Keras 深度學習人工智慧實務應用. 博碩, 2017. [2] Y. Häußermann, “Bell 206 jetranger, first flight part 2 of 3.” https://www.youtube.com/watch?v=ag7yxjKvn8o&t=632s, 2019. [3] M. Muzio, “Helicopter startup and takeoff enstrom 280c.” https://www.youtube.com/watch?v=RI4AUTGlegI&t=3s, 2016. [4] Vicopter, “Flying r66 to a new helipad in atlanta (colony square).” https://www.youtube.com/watch?v=69FbQU_pJYw&t=458s, 2016. [5] C. FungYu, “Applications of computer vision: Reading of gauges in the cockpit and identification of solar panels,” no. 17–28, 2019. [6] S. Russell and P. Norvig, “Artificial intelligence: a modern approach,” 2002. [7] Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” nature, vol. 521, no. 7553, p. 436, 2015. [8] J. Zeng, Z. Lin, C. Qi, X. Zhao, and F. Wang, “An improved object detection method based on deep convolution neural network for smoke detection,” in 2018 International Conference on Machine Learning and Cybernetics(ICMLC), vol. 1, pp. 184–189, IEEE, 2018. [9] C. Szegedy, A. Toshev, and D. Erhan, “Deep neural networks for object detection,” in Advances in neural information processing systems, pp. 2553–2561, 2013. [10] S. Ren, K. He, R. Girshick, and J. Sun, “Faster rcnn: Towards realtime object detection with region proposal networks,” in Advances in neural information processing systems, pp. 91–99, 2015. [11] I. Goodfellow, Y. Bengio, and A. Courville, Deep learning. MIT press, 2016. [12] 3Blue1Brown, “Backpropagation calculus | deep learning, chapter 4.” https://www.youtube.com/watch?v=tIeHLnjs5U8&t=1s, 2017. [13] T. Loens, “Autorotation practice bell 206 jet ranger.” https://www.youtube.com/watch?v=bSP87feoVBw, 2013. [14] L. Crosswind Aviation Services, “Crop dusting in a helicopter.” https://www.youtube.com/watch?v=bSP87feoVBw, 2017. [15] FlyingMAir, “Helicopter landing at hood river.” https://www.youtube.com/watch?v=bSP87feoVBw, 2019. [16] FlyingMAir, “Helicopter landing, special vfr, at hillsboro (again).” https://www.youtube.com/watch?v=FwWplI11iMo&t=3s, 2019. [17] FlyingMAir, “Home to airport, by helicopter.” https://www.youtube.com/watch?v=xIWQuAja2x4&t=1s, 2016. [18] FlyingMAir, “Narrated helicopter flight with takeoff and landing.” https://www.youtube.com/watch?v=3uZbGFElfz4&t=868s, 2019. [19] T. Gilbert, “R44 helicopter cockpit view take off from private site with instructorexplanations.” https://www.youtube.com/watch?v=LYXJgcoBqI8&t=1s, 2013. [20] Wolli, “Solo flight in schweizer 300cbi helicopter.” https://www.youtube.com/watch?v=bKU_8vMRg58&t=382s, 2011. [21] RescueShrek1, “Gopro: Helicopter ppl training flight 38 second solo schwietzer 300 cbi gopro hd.” https://www.youtube.com/watch?v=KhOVna-KCWY&t=709s, 2011. [22] Captainhelicopter, “Schweizer 300 startup and hover exercises.” https://www.youtube.com/watch?v=4CWKXmwraXo&t=304s, 2012. [23] JJ, “Suprise autorotations.” https://www.youtube.com/watch?v=yNWjW6yORyg, 2012. [24] I. J. Goodfellow, J. Shlens, and C. Szegedy, “Explaining and harnessing adversarial examples,” arXiv preprint arXiv:1412.6572, 2014. [25] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.Y.Fu, and A. C. Berg,“Ssd: Single shot multibox detector,” in European conference on computer vision, pp. 21–37, Springer, 2016. [26] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, realtime object detection,” in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779–788, 2016. [27] K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask rcnn,” in Proceedings of the IEEE international conference on computer vision, pp. 2961–2969, 2017. |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信