| 系統識別號 | U0002-1707202316224300 |
|---|---|
| DOI | 10.6846/tku202300399 |
| 論文名稱(中文) | 運用深度學習辨識行車影像車牌之探討 |
| 論文名稱(英文) | A Study on Traffic Video Recognition Using Deep Learning |
| 第三語言論文名稱 | |
| 校院名稱 | 淡江大學 |
| 系所名稱(中文) | 資訊工程學系碩士在職專班 |
| 系所名稱(英文) | Department of Computer Science and Information Engineering |
| 外國學位學校名稱 | |
| 外國學位學院名稱 | |
| 外國學位研究所名稱 | |
| 學年度 | 112 |
| 學期 | 2 |
| 出版年 | 113 |
| 研究生(中文) | 賀華立 |
| 研究生(英文) | Hua-Li Ho |
| 學號 | 710410076 |
| 學位類別 | 碩士 |
| 語言別 | 繁體中文 |
| 第二語言別 | |
| 口試日期 | 2024-06-25 |
| 論文頁數 | 48頁 |
| 口試委員 |
指導教授
-
洪文斌(horng@mail.tku.edu.tw)
口試委員 - 范俊海 口試委員 - 彭建文 |
| 關鍵字(中) |
車牌辨識 CNN OpenCV U-Net |
| 關鍵字(英) |
Plate Recognition CNN OpenCV U-Net |
| 第三語言關鍵字 | |
| 學科別分類 | |
| 中文摘要 |
隨著城市化和行車安全意識的提升,精準的車牌辨識在車輛追蹤和交通管理中變得越來越重要。然而,傳統的車牌辨識系統通常設置在固定位置且光線充足的環境中,對於行車紀錄器的應用則較少且辨識率有待提高。因此,本研究旨在通過深度學習技術提升車牌辨識的準確性,並將其應用於行車影片中。研究目標包括提升車牌辨識率和實現行車紀錄器影片中的車輛追蹤。 本論文使用U-Net影像分割技術搭配OpenCV和Labelme,對行車影片中收集的車牌樣本進行影像前處理。經過灰階處理、邊緣偵測、二值化等步驟後,定位車牌並標註其對應的字元,作為訓練樣本。這些訓練樣本被輸入卷積神經網路(CNN)進行多次訓練,改進訓練模型和樣本內容,使神經網路模型達到最佳化,訓練出的模型可應用於行車影片,進行即時車牌影像辨識。 |
| 英文摘要 |
With the advancement of urbanization and increased awareness of driving safety, precise license plate recognition has become increasingly important in vehicle tracking and traffic management. However, traditional license plate recognition systems are usually set up in fixed locations with sufficient lighting and are rarely applied to dashcam footage, where the recognition rate needs improvement. Therefore, this study aims to enhance the accuracy of license plate recognition through deep learning technology and apply it to dashcam videos. The research objectives include improving the recognition rate and achieving vehicle tracking in dashcam footage. This study uses U-Net image segmentation technology combined with OpenCV and Labelme for image preprocessing of license plate samples collected from dashcam videos. After steps such as grayscale processing, edge detection, and binarization, license plates are located and their corresponding characters are labeled as training samples. These training samples are input into a convolutional neural network (CNN) for multiple training sessions to improve the training model and sample content, optimizing the neural network model. The trained model can be applied to dashcam videos for real-time license plate image recognition. |
| 第三語言摘要 | |
| 論文目次 |
目錄 第一章 緒論--------------------------------------------------------1 1.1 研究動機與研究目的-------------------------------------1 1.2 論文架構-----------------------------------------------3 1.3 研究流程-----------------------------------------------4 第二章 文獻探討----------------------------------------------------6 2.1 偵測車牌區塊-------------------------------------------6 2.2 定位車牌角點-------------------------------------------7 2.3 多車牌辨識系統之研究-----------------------------------8 2.4 基於樹莓派與深度學習實現車牌辨識系統之研究------------9 2.5 可適應於不同照度下之車牌辨識系統----------------------10 2.6 台灣車牌的規格----------------------------------------11 2.7 CNN卷積神經網路---------------------------------------13 2.8 U-Net模型介紹-----------------------------------------15 第三章 研究方法---------------------------------------------------18 3.1 汽車車牌資料的收集------------------------------------19 3.1.1 手機鏡頭拍攝-------------------------------19 3.1.2 行車影像擷取--------------------------------20 3.1.3 車牌程式產生--------------------------------20 3.2 U-Net 車牌偵測與擷取----------------------------------22 3.2.1 Labelme-------------------------------------22 3.2.2 U-Net模型訓練-------------------------------24 3.2.3使用U-Net辨識車牌----------------------------27 3.3 OCR模型訓練------------------------------------------28 3.4 車牌辨識系統--------------------------------------30 第四章 實驗結果與討論---------------------------------------------33 4.1 實驗設備與環境------------------------------------33 4.2 實驗資料集----------------------------------------35 4.3 評估指標------------------------------------------37 4.4 實驗結果------------------------------------------40 4.4.1 U-Net模型預測車牌位置-----------------------40 4.4.2 OCR模型辨識車牌字元辨識---------------------42 4.4.3 測試行車影像辨識----------------------------43 第五章 結論與未來展望---------------------------------------------46 5.1 結論----------------------------------------------------------46 5.2 未來展望------------------------------------------------------46 參考文獻----------------------------------------------------------47 圖目錄 圖1-1 研究流程圖-------------------------------------------------5 圖2-1 OpenCV將圖片二質化-----------------------------------------6 圖2-2 使用霍夫直線方法檢測車牌角點-------------------------------7 圖2-3 輪廓演算法標示出車牌位置-----------------------------------8 圖2-4 轉換函數方程式---------------------------------------------9 圖2-5 台灣公路車牌規格表------------------------------------------12 圖2-6 LeNet網路架構---------------------------------------------14 圖2-7 U-Ne卷積神經網路模型--------------------------------------15 圖3-1 車牌辨識系統流程圖----------------------------------------18 圖3-2 手機拍攝影像----------------------------------------------19 圖3-3 行車影像分割適意圖----------------------------------------20 圖3-4 六碼車牌產生樣式------------------------------------------21 圖3-5 七碼車牌產生樣式------------------------------------------21 圖3-6 labelme定位車牌範例---------------------------------------22 圖3-7 labelme標註資料夾-----------------------------------------23 圖3-8 Json檔案位置圖示------------------------------------------23 圖3-9 原始影像與影像的遮罩(mask)位置----------------------------24 圖3-10 尚未辨識的原始檔案----------------------------------------27 圖3-11 辨識後的車牌檔案------------------------------------------27 圖3-12 使用U-Net模型辨識車牌-------------------------------------30 圖3-13 行車影像辨識車牌圖----------------------------------------32 圖4-1 準確率公式------------------------------------------------38 圖4-2 精準率公式------------------------------------------------38 圖4-3 招回率公式------------------------------------------------38 圖4-4 F1-Score公式----------------------------------------------39 圖4-5 G-Mean公式------------------------------------------------39 圖4-6 行車影像預測圖示------------------------------------------40 圖4-7 影像切割展示圖--------------------------------------------41 圖4-7 十秒行車影像----------------------------------------------44 圖4-7 十二秒行車影像--------------------------------------------44 圖4-7 二十秒行車影像--------------------------------------------44 表目錄 表3-1 台灣汽車車牌規格表----------------------------------------21 表3.2.2-1 U-Net模型參數表格---------------------------------25 表3.3-1 CNN網路模型參數-----------------------------------39 表4.1-1 軟體規格------------------------------------------33 表4.1-2 軟體版本------------------------------------------34 表4.1-3 訓練環境設置--------------------------------------34 表4.2-1 U-Net實驗資料集-----------------------------------35 表4.2-2 OCR訓練資料集-------------------------------------35 表4.2-3 車牌字元個別統計----------------------------------36 表4.3-1 混淆矩陣------------------------------------------37 表4.4.1-1 U-Net訓練結果-------------------------------------40 表4.4.2-1 OCR辨識測試結果表---------------------------------42 表4.4.3-3 行車影像辨識結果表--------------------------------45 |
| 參考文獻 |
中文論文: [1] 吳悠,基於樹梅派與深度學習實現車牌辨識系統之研究,淡江大學資訊工程研究所碩士論文,2019。 [2] 梁智凱,多車牌辨識系統之研究,淡江大學電機工程研究所碩士論文,2004。 [3] 林明慧,可適應於不同照度下之車牌辨識系統,淡江大學資訊工程研究所碩士論文,2012。 [4] 翁宥爵,基於深度學習的歪斜機車車牌定位與辨識之研究,淡江大學資訊工程研究所碩士論文,2023。 英文論文: [5] A. Gangal, P. Kumar, and S. Kumari, "Complete scanning application using OpenCV," International Journal of Computer Science and Information Technologies, vol. 8, no. 4, 2021. [6] H. Deng, Q. Zhu, J. Tao, and H. Feng, "Rectification of license plate images based on Hough Transform and projection," TELKOMNIKA Indonesian Journal of Electrical Engineering, vol. 12, no. 1, 2013. [7] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998. [8] O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015, pp. 234-241. 其他: [9] 霍夫變換檢測直線。參考網址: https://rocky69.pixnet.net/blog/post/218271099 [10] 中華民國交通部公路局規格表。參考網址: https://ws.thb.gov.tw/001/Upload/OldFile/resource/html/doc/%E7%9B%A3%E7%90%86%E6%A5%AD%E5%8B%99/%E7%89%8C%E7%85%A7/1.%E5%8E%9F%E5%9E%8B%E5%BC%8F%E3%80%81%E6%96%B0%E5%BC%8F%E3%80%81%E3%80%8C%E4%B8%80%E8%BB%8A%E4%B8%80%E8%99%9F%E3%80%8D%E6%96%B0%E7%B7%A8%E7%A2%BC%E6%96%B9%E5%BC%8F%E8%99%9F%E7%89%8C%E5%8D%80%E5%88%86%E5%B0%8D%E7%85%A7%E8%A1%A8.pdf [11] 基於u-net,cv2以及cnn的中文車牌定位,矯正和端到端識別軟件。參考網址: https://blog.csdn.net/qq_32194791/article/details/106748685 [12] Tensorflow 。參考網址:https://kozyrk.medium.com/chinese-all-about-tensorflow-f1e2ab1b89b1 |
| 論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信