如今的資料數據量龐大，同時資料的複雜性也激增，對於處理資料時經常耗時過長的問題，近年來逐漸興起的機器學習技術成為了主流的解決方式，同樣，在土木工程領域，使用機器學習，也就是人工智慧化的方式來對資料進行分析處理，是未來的必經之路。 

本研究目的為利用循環神經網路(RNN)中可預測時間序列及長短期記憶(LSTM)模型具有長期記憶的特性，將之應用在颱風領域上，以模擬一個颱風生成後的移動路徑。 

本研究以颱風聯合警報中心（JTWC）觀測之颱風資料為時間序資料來源，首先對所有資料標準化處理，然後以循環神經網路來訓練學習所有資料，找出他們的特徵與關聯性，以此來預測颱風移動路徑中時間步上颱風移動速度、方位角、氣壓差的變化，最後以 RMSE 與 loss 值作為模型準確程度的判斷依據，進而建立一套可以在颱風領域應用的模擬模型。 

本模型主要由輸入層、3 層 LSTM 層、全連接層（Dense 層）、融合層（Merge 層）及輸出層所構成，原始颱風資料經過標準化處理後進入輸入層，接著進入 LSTM 層，通多 LSTM 的輸入閥、遺忘閥、輸出閥的運算後，即得到了 LSTM 層的輸出值以及記憶在 LSTM 層中的長短期記憶矩陣，這個長短期記憶矩陣會持續的影響後面的 LSTM 層，一直到最後的一層 LSTM 輸出到全連接層，重新擬合後輸出到融合層，最後到輸出層，完成模擬。 

本模型在透過 RMSE 比較後，得出以 RNN 模型預測單個颱風移動路徑數據中，模擬方位角與模擬颱風移動速度的結果都較為優秀，而颱風氣壓差數據較差。對於完全模擬颱風移動速度與方位角有優秀的結果，颱風氣壓差的結果則比較差。綜上所述，本模型在颱風模擬領域具有一定的潛力，可用於西太平洋生成的颱風之路徑模擬、對於台灣耐風規範研究起到助力。

Nowadays, the amount of data is huge, and the complexity of data is also surging. For the problem of time-consuming data processing, machine learning technology has become the mainstream solution in recent years. Similarly, in the field of civil engineering, use of machine learning, which is the artificial intelligence way of data analysis and processing, is the only way in the future.
The purpose of this study is to use Long Short Term Memory (LSTM) model of Recurrent Neural Network (RNN), which has the ability to predict time series data and preserve long term memory, to simulate the moving path of typhoon.
In this study, we used the typhoon data observed by JTWC as the source of time series data. Firstly, we standardized all the data, and then RNNs were trained using the standardized data to find out their characteristics and correlations, so as to predict the changes of typhoon speed, azimuth and pressure difference at every time steps along typhoon paths, Finally, the RMSE and loss values were used to judge the accuracy of the model, and then a set of simulation models that can be applied in the field of typhoon was established.
This model is mainly composed of an input layer, three LSTM layers, a fully-connected layer, a merge layer and an output layer. The original typhoon data enters the input layer after standardized processing, and then enters the LSTM layer. After calculating, the input valve, forgetting valve and output valve of LSTM, the output values of LSTM layer and the long-term and short-term memory matrix in LSTM layer are obtained. This long-short-term memory matrix will continue to affect the later LSTM layer until the last LSTM layer is output to the fully connected layer. From there values output to the fusion layer after refitting, and finally to the output layer to complete the simulation.
Three RNNs were trained individually to simulate the three subject values mentioned previously and their accuracies were compared according to their RMSEs. The results of the simulated azimuth angle and the simulated typhoon movement speed are better, while the typhoon air pressure difference data is poor. For the complete simulation, the typhoon movement speed and azimuth angle have good results, and the air pressure difference results are slightly worse. In summary, this model has certain potential in the field of typhoon simulation. It can be used to simulate the path of typhoons generated in the western Pacific Ocean, and contribute to the study of Taiwan's wind resistant design regulations.

目錄
第一章 緒論	1
1.1 研究動機與目的	1
1.2 研究方法	2
1.3 研究範圍	2
1.4 論文架構	3
第二章 文獻回顧	4
2.1 文獻探討	4
2.2 深度學習介紹	6
2.2.1 研究軟體設備	7
2.2.2 類神經網路	9
2.2.3 深度神經網路	11
2.2.4 循環神經網路	12
2.2.5 長短期記憶網路	14
第三章 研究架構	16
3.1 問題描述	16
3.2 研究架構	16
3.3 模型架構	18
3.3.1 評估方式	20
3.4 系統架構	21
3.4.1 資料前處理	21
3.4.1.1 颱風移動速度輸入值探討	23
3.4.1.2 颱風方位角輸入值探討	24
3.4.1.3 颱風氣壓差輸入值探討	25
3.4.2 網路設置	27
第四章 案例說明與模擬結果分析	29
4.1 模型超參數設定	29
4.1.1 Batch Size的設定	29
4.1.2 LSTM層數設定	33
4.2 三種颱風數據輸入的模型準確率	35
4.2.1颱風方位角模擬模型	36
4.2.2颱風移動速度模擬模型	38
4.2.3颱風氣壓差模擬模型	39
4.3 颱風完全模擬模型	43
4.3.1 綜合探討epoch與timestamp對模擬結果的影響 	44
4.3.2 確定超參數後的模擬結果	52
第五章 結論與建議	55
5.1 結論	55
5.2 建議	56
參考文獻	58
附錄A : 資料處理探討	61
附錄B : 超參數探討	75
附錄C : 測試與驗證	82
附錄D : 完全模擬	86


表目錄
表 3-1 不同颱風資料筆數分佈	22
表 3-2 颱風移動速度不同輸入	23
表 3-3 颱風方位角不同輸入	24
表 3-4 颱風氣壓差不同輸入	25
表 4-1 探討最佳 Batch_Size 設定	30
表 4-2 探討最佳 Num_Layers 設定	34
表 4-3 颱風方位角測試與驗證組	36
表 4-4 颱風移動速度測試與驗證組	38
表 4-5 颱風氣壓差測試與驗證組	40
表 4-6 方位角不同 epoch 與 timestamp 值獲得結果之 RMSE 與 r2	47
表 4-7 氣壓差不同 epoch 與 timestamp 值獲得結果之 RMSE 與 r2	49
表 4-8 移動速度不同 epoch 與 timestamp 值獲得結果之 RMSE 與 r2	51
表 4-9 輸入集不同颱風資料筆數分佈	52
表 4-10 颱風移動數據模擬結果之 RMSE 與 R2	54


圖 2-1 循環神經網路結構	13
圖 2-2 LSTM 網絡結構	15
圖 3-1 研究架構圖	17
圖 3-2 模型架構圖	18
圖 3-3 Dropout 層示意圖	19
圖 3-4 不同 Dropout 的 RMSE 比較圖	20
圖 3-5 JTWC 記錄之歷史數據	21
圖 3-6 颱風移動速度四種處理方式之 RMSE 比較	23
圖 3-7 颱風方位角五種處理方式 RMSE 比較	25
圖 3-8 颱風氣壓差五種處理方式 RMSE 比較	26
圖 3-9 LSTM 架構圖	27
圖 4-1 Batch Size 設 50 時部分模擬結果與歷史數據對比圖	30
圖 4-2 Batch Size 設 50 時部分模擬結果與歷史數據放大對比圖	30
圖 4-3 Batch Size 設 50 模擬結果與歷史數據之 RMSE 變化圖	31
圖 4-4 Batch Size 設 100 時部分模擬結果與歷史數據對比圖	31
圖 4-5 Batch Size 設 100 時部分模擬結果與歷史數據放大對比圖	32
圖 4-6 Batch Size 設 100 模擬結果與歷史數據之 RMSE 變化圖	32
圖 4-7 比較兩個對照組之 RMSE 值變化圖	33
圖 4-8 比較各個 LSTM 層數對照組之 RMSE 值變化圖組	34
圖 4-9 取部分 RMSE 值變化圖放大比較	35
圖 4-10 颱風方位角測試组部分攫取	37
圖 4-11 颱風方位角驗證組部分攫取放大	37
圖 4-12 颱風方位角两组 RMSE 比較	37
圖 4-13 颱風移動速度測試组部分攫取	39
圖 4-14 颱風移動速度驗證组部分攫取放大	39
圖 4-15 颱風移動速度两组 RMSE 比較	39
圖 4-16 颱風氣壓差測試组部分攫取	41
圖 4-17 颱風氣壓差驗證组部分攫取放大	41
圖 4-18 颱風氣壓差两组 RMSE 比較	41
圖 4-19 新模型超參數設定	44
圖 4-20 epoch 為 10，timestamp 為 10 時的方位角模擬結果	45
圖 4-21 epoch 為 20，timestamp 為 10 時的方位角模擬結果	46
圖 4-22 epoch 為 20，timestamp 為 20 時的氣壓差模擬結果	48
圖 4-23 epoch 為 20，timestamp 為 20 時的移動速度模擬結果	50
圖 4-24 颱風方位角完全模擬結果	53
圖 4-25 颱風氣壓差完全模擬結果	53
圖 4-26 颱風移動速度完全模擬結果	54

參考文獻

[1]  徐高揚，劉姚，「LSTM 网络在台风路径预测中的应用」,計算機與現代化，2019。
[2]  王國松，王喜冬，侯敏3，齊義泉，宋軍，劉克修，吳新榮，白志鵬，「基於觀測和再分析數據的 LSTM 深度神經網絡沿海風速預報應用研究」，海洋學報，2020。
[3]  P. P. Prabha, V. Vanitha, R. Resmi, “Wind Speed Forecasting using 
Long Short Term Memory Networks,” ICICICT-2019, pp. 1310- 1314, 2019. 
[4] Jih-Sheng Chang, Wei-Chih Su, Hsiu-Mei Chou, Fang-Pang Lin, “An Intelligent Wind Forecast System for Offshore Wind Farms Based on Bidirectional LSTM Neural Networks,” TANET-2019, 2019. 
[5]Chia-Ren Chu，Shin-Liang Lo，“MONTE CARLO SIMULATION OF THE PATHS AND WIND FIELDS OF TYPHOONS LANDFALL TAIWAN，”2019.
[6] 馬瑞貽，「基於循環神經網路的風力風速歷時資料預測模型」，淡江大學土木工程學習碩士班論文，2020。
[7] 周笑天 ，張豐，杜震洪，劉仁義，「基於神經網絡集合預報的颱風路徑預報優化」，浙江大學學報（理學版），2020。
[8]  Andreas Kaplan，Michael Haenlein，On the Interpretations, Illustrations and Implications of Artificial Intelligence, Business Horizons,  2018.
[9]  Mitchel. L. T. , 「機器學習」, McGraw Hill. ISBN 0-07-042807-7,1997.
[10]  G. E. Hinton, S. Osindero, Y.-W. Teh, “A fast learning algorithm for deep belief nets,” Neural Computation. Vol. 18, No. 7, 2006.
[11]  Abadi M., Barham P., Chen J., Chen Z., Davis A., Dean J., et al. ,Tensorflow: a system for large-scale machine learning. In OSDI ,Vol. 16, pp. 265-283，2016.
[12]  Tensorflow，檢自: https://www.tensorflow.org/?hl=zh-tw.
[13]  Python 教程-Python 3.9.1文檔，Python官方，2020。
[14]  Python 3破冰人工智能-從入門到實戰(豆瓣)，2019。
[15]  人工神經網絡簡介，科學網，2013。
[16]  D. E. Rumelhart, G. E. Hinton, R. J. Williams, “Learning representations by back-propagating errors,” Nature. 8 October 1986.
[17]  百度百科，深度神經網路,檢自：https://baike.baidu.com/item/深度神經網絡/6424200?fr=aladdin.
[18]  Z. C. Lipton, J. Berkowitz, C. Elkan, “A Critical Review of Recurrent Neural Networks for Sequence Learning,” arXiv preprint arXiv: 1506.00019, 2015.
[19]  S. Hochreiter, J. Schmidhuber, “Long Short-Term Memory,” Neural Computation. Vol. 9, No. 8, pp. 1735-1780, 1997.
[20]  TimsonShi，神經翻譯正筆記4擴展—RNN的正則化方法，
檢自：https://blog.csdn.net/xacecaSK2/article/details/104687881.
[21]  CAVE education,使用長短期記憶模型(LSTM)預測天氣,
檢自：https://www.rs-online.com/designspark/lstm-cn.