系統識別號 | U0002-0107202120372600 |
---|---|
DOI | 10.6846/TKU.2021.00024 |
論文名稱(中文) | 樂團佈景中椅子和樂譜架輔助定位系統 |
論文名稱(英文) | Assistive Locating System for Setting Chairs and Music Stands in Music Ensemble Setup |
第三語言論文名稱 | |
校院名稱 | 淡江大學 |
系所名稱(中文) | 電機工程學系碩士班 |
系所名稱(英文) | Department of Electrical and Computer Engineering |
外國學位學校名稱 | |
外國學位學院名稱 | |
外國學位研究所名稱 | |
學年度 | 109 |
學期 | 2 |
出版年 | 110 |
研究生(中文) | 黃翊恩 |
研究生(英文) | Yi-En Huang |
學號 | 608450234 |
學位類別 | 碩士 |
語言別 | 繁體中文 |
第二語言別 | |
口試日期 | 2021-07-05 |
論文頁數 | 52頁 |
口試委員 |
指導教授
-
楊淳良
委員 - 周肇基 委員 - 李三良 |
關鍵字(中) |
YOLOv3 機器視覺 Colab 定位系統 圖像辨識 物聯網 |
關鍵字(英) |
YOLOv3 Machine Vision Colab Locating system Image Recognition Internetofthings |
第三語言關鍵字 | |
學科別分類 | |
中文摘要 |
本研究主要討論將機器學習 (YOLOv3) 模塊應用於音樂合奏設置中的實時輔助定位系統。在表演輪換中,為下一組建立新的音樂合奏隊形往往需要很多時間。希望通過機器視覺和距離判斷,所提出的系統可以加速每次音樂合奏的設置,減少觀眾的等待時間。此外,未來機器人技術還可以與此系統進行結合,讓所需的椅子和譜架自動定位,實現全自動化、便捷的產品。 系統過程包括投影儀投影每個物體的位置標記,並確定每個物體的位置和方位是否正確。然後系統將識別結果傳遞給LINE Notify,實現實時確認,讓椅子和樂譜架的定位更快、更準確。實驗中,採用了Google Colaboratory平台獲取免費GPU來訓練識別模型,並能夠將訓練的檔案儲存至Google Drive,若是不幸的訓練中斷了,也能夠從中斷的地方重新開始訓練。 最後,我們成功展示了一把椅子和一個樂譜架的基本設置,讓系統識別物體,計算每個未對齊物體與先前獲取每個物體的位置標記的距離,並會在照片上方顯示椅子的方位判斷結果。同時,處理後的照片和相應的消息發送到 LINE Notify上,以期能夠幫助設置流程順利進行。 |
英文摘要 |
In the performance turn change, it often takes much time to set up a new music ensemble for the next group. This research mainly applies the YOLOv3 network to real-time assistive locating systems in music ensemble setups. It is hopeful that through machine vision and distance judgment, the proposed approach can accelerate each music ensemble setup, and the waiting time for the audience can reduce. Furthermore, in the future, robot technology may combine with this system and let the required chairs and music stands automatically position themselves to achieve fully automated and convenient products. The Google Colaboratory platform was adopted in the experiments to obtain free GPU to train the recognition models. It can upload the prepared files to Google Drive. To prevent the disconnection, it helps me not worry about the loss of training results and makes me capable of restarting the training at the interrupt point. The system process includes that the projector projects each object's position mark, and it determines whether each object's location and orientation are correct. Then the system delivers the recognized results to LINE Notify to achieve real-time confirmation, making the positioning of chairs and music stands faster and more accurate. We successfully demonstrated the basic setup with one chair and one music stand to let the system recognize these objects and calculate the distance difference between each misaligned object and each position mark obtained before. The recognized result of the direction of chairs displays at the top of the frame. Simultaneously, the processed photo and its corresponding message deliver to LINE Notify in hopes of helping the setup process be well advanced. |
第三語言摘要 | |
論文目次 |
致謝 I 中文摘要 II Abstract III 目錄 IV 圖目錄 VII 表目錄 X 第一章 緒論 1 1.1 前言 1 1.2 研究動機 2 1.3 論文架構 2 第二章 樂團佈景介紹 3 2.1 樂團佈景 3 2.2改善方案 4 第三章 關鍵元件與平台 6 3.1 攝影機 6 3.2 便攜式投影機 7 3.3 Google Colabatory 8 3.4 LINE Notify 9 3.5 YOLOv3 10 3.5.1 YOLOv3與YOLOv2&YOLO比較 12 3.5.2 LabelImg 16 3.6 卷積類神經網路 17 3.6.1 CNN的優點 19 3.6.2 感受野 20 3.6.3 參數共享 21 3.6.4 池化 23 3.6.5 CNN架構 24 第四章 系統架構及實驗 25 4.1 系統架構 25 4.2 實驗設置與結果 26 4.2.1 Colab上訓練模型 26 4.2.2 系統操作流程圖 33 4.2.3 距離容忍度探討 35 4.2.4 信心分數與物體個數影響的探討 39 4.3 最多數量物體辨識實驗 43 4.4 LINE Notify訊息類別 44 第五章 結論與未來展望 46 5.1 結論 46 5.2 未來展望 47 參考文獻 48 附錄 50 圖目錄 圖2.1 樂團位置設計圖 3 圖2.2 可移動之懸掛架 5 圖3.1 E-books W10 Webcam 6 圖3.2 Optoma EP721 7 圖3.3 LINE 9 圖3.4 LINE Developers 網頁 9 圖3.5 YOLOv3 網路架構圖 11 圖3.6 Darknet-53 13 圖3.7 FPN架構圖 14 圖3.8 LabelImg 16 圖3.9 CNN概念圖 17 圖3.10 CNN概念圖 18 圖3.11 可能導致CNN辨識錯誤之圖片 18 圖3.12 卷積層的優點 19 圖3.13 感受野 20 圖3.14 參數共享 21 圖3.15 參數共享結構圖1 22 圖3.16 參數共享結構圖2 22 圖3.17 池化 23 圖3.18 CNN架構 24 圖4.1 系統架構 25 圖4.2(a) Colab上訓練模型 27 圖4.2(b) Colab上訓練模型 28 圖4.3 認證完成之顯示卡 29 圖4.4 雲端權狀認證 30 圖4.5 Colab程式運行 31 圖4.6 訓練完成儲存至雲端 32 圖4.7 系統操作流程圖 33 圖4.8 投影在設計圖上的座標點 34 圖4.9 將座標點框出判斷內容物 34 圖4.10 距離容忍度探討 35 圖4.11 偏差的物品在LINE Notify上顯示正確 36 圖4.12 dc、dm示意圖 37 圖4.13 測試至dc = 150pixel偏差 37 圖4.14 LINE Notify 提示訊息 38 圖4.15 物體個數與信心分數的探討 40 圖4.16 物體個數3範例 41 圖4.17 物體個數4範例 42 圖4.18 物體個數5範例 42 圖4.19 最大辨識數量 43 圖4.20 傳送至LINE Notify的訊息1與4 44 圖4.21 傳送至LINE Notify的訊息2與3 45 附錄 圖1 拍攝當前圖像的程式碼 50 附錄 圖2 對拍攝圖像進行辨識、預框出擺設位置 51 附錄 圖3 LINE Notify判斷標準 52 表目錄 表1 YOLOv3與YOLOv2比較表 12 表2 YOLOv3與YOLO比較表 15 |
參考文獻 |
[1]同音國際,“樂團位置圖,” Available link:http://meimimusic.blogspot.com /2015/01/mei-mi-lan-game-for-quartets-for.html [2]維基百科, “LINE,” Available link: https://zh.wikipedia.org/wiki/LINE [3]J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” University of Washington. [4]M. Mahendru and S. K. Dubey, “Real Time Object Detection with Audio Feedback using Yolo vs. Yolo_v3,” IEEE, International Conference on Cloud Computing, Data Science & Engineering,pages 734-740,2021 [5]S. Cherian and C. Singh, “Real Time Implementation of Object Tracking Through webcam,” International Journal of Research in Engineering and Technology, 128-132, 2014. [6]A. Kathuria, “What’s New In YOLOv3,” Available link: https://towardsda tascience.com/yolo-v3-object-detection-53fb7d3bfe6b [7]G.T. Wang, “LabelImg影像標註工具使用教學,” Available link: https:// blog.gtwang.org/useful-tools/labelimg-graphical-image-annotation-tool-tutorial/ [8]K. He, X. Zhang, S. Ren, and J. Sun. “Deep residual learning for image recognition”. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [9]O. Russakovsky, L.-J. Li, and L. Fei-Fei. “Best of both worlds: human-machine collaboration for object annotation”. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2121–2131, 2015. [10]H.-Y. LEE, “CNN,” Available link: https://speech.ee.ntu.edu.tw/~hylee/ ml/ml2021-course-data/cnn_v4.pdf [11]A. Severyn, “Training Deep Convolutional Neural Network for Twitter Sentiment Classification,’’ University of Trento 38123 Povo (TN), Italy& Alessandro Moschitti Qatar Computing Research Institue 5825 Doha, Qatar. [12]J. Redmon and A. Farhadi. “Yolo9000: Better, faster, stronger. In Computer Vision and Pattern Recognition (CVPR)”, 2017 IEEE Conference on, pages 6517–6525. IEEE, 2017. [13]言有三(2020),“深度學習之人臉影像處理:核心演算法與案例實戰,” 機械工業出版社。 [14]朱克剛(2021), “AIOT與OpenCV實戰應用”,碁峯出版社。 [15]qqwweee, “A Keras implementation of YOLOv3 (Tensorflow backend)”Available link : https://github.com/qqwweee/keras-yolo3 [16]Y5“氣壓投影儀吊架”.Available link: https://www.y5.hk/ |
論文全文使用權限 |
如有問題,歡迎洽詢!
圖書館數位資訊組 (02)2621-5656 轉 2487 或 來信