本論文提出一以FPGA(Field programmable gate arrays)實現類神經網路設計方法，此方法可以在FPGA晶片的有限資源下實現多層類神經網路，最後應用於手寫數字辨識系統中，驗證此系統確實可以加快辨識速度。本論文實現手寫數字辨識神經網路主要分成兩個步驟：(1)將手寫影像與神經元權重輸入的浮點數格式轉化為IEEE754資料格式，讓電路可以進行浮點數的運算，(2)神經元計算會以迭代的方式來設計電路以減少設計資源，並且用Pipeline方式設計電路，以提高類神經網路的計算速度。在實際驗證上，本論文在DE2-70多媒體開發平台上用觸控面板當手寫輸入，透過類神經網路硬體電路做運算。從實驗結果可知所提之類神經網路架構與方法，確實可以提高辨識手寫數字的速度。

This paper proposes a method for implementing neural network-like design using FPGA (Field programmable gate arrays). This method can implement multi-layer neural networks under the limited resources of FPGA chips. Finally applied to handwritten digit recognition system. Verify that this system can indeed speed up identification The realization of handwritten digit recognition neural network in this paper is mainly divided into two steps: (1) Input handwritten images and neuron weights into floating point format and convert to IEEE754 data format, (2) Neuron computing will reduce design resources by iteration, and design in Pipeline method to improve the calculation speed of neural network. In actual verification, this thesis uses the touch panel as a handwriting input on the DE2-70 multimedia development platform to perform operations through neural network hardware circuits. From the experimental results, we can see that the proposed neural network architecture and methods can indeed improve the speed of identifying handwritten digits.

中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	VII
符號對照表	VIII
中英文對照表	IX
第一章緒論	1
1.1 研究背景	1
1.2 研究動機	2
1.3 論文組織	2
第二章實驗平台與環境	3
2.1 DE2-70 多媒體開發板	3
2.2 4.3英吋數位 LCD 觸碰面板	6
2.3 MNIST手寫數字資料集	12
2.4 PyTroch	13
第三章軟硬體共同設計之系統架構	15
3.1 多主從系統架構	15
3.2 Master端與Slave端設計介紹	17
3.3 突發傳輸( Burst Transfers )	21
第四章系統流程及類神經網路介紹	25
4.1 系統架構	25
4.2 完全連接前饋式網路	26
4.3 系統流程	29
4.4 硬體網路架構	31
第五章實驗結果	40
5.1 手寫數字辨識類神經網路之實驗結果	40
5.2 處理效能	45
第六章結論與未來展望	50
參考文獻	51
圖目錄
圖 2.1 DE2-70開發板	5
圖 2.2 DE2-70開發板搭配DVD多媒體平台	5
圖 2.3 DE2-70開發板搭配數位相機與LTM顯示模組平台	6
圖 2.4 LTM顯示模組實體圖	6
圖 2.5 TRDB_LTM顯示模組之接腳連接圖	8
圖 2.6 LTM之內部控制方塊圖	10
圖 2.7 LCD面板水平時序訊號說明	11
圖 2.8 LCD面板垂直時序訊號說明	12
圖 2.9 MNIST手寫數字	13
圖 3.1傳統匯流排的傳輸方式	16
圖 3.2 Avalon Bus的傳輸方式	16
圖 3.3 Slave端的讀取與寫入時序圖	19
圖 3.4 Master端的讀取與寫入時序圖	21
圖 3.5 寫入突發傳輸時序圖	23
圖 3.6 讀取突發傳輸時序圖	24
圖 4.1 系統架構圖	25
圖 4.2 神經元之架構圖	26
圖 4.3 單層感知器示意圖	27
圖 4.4 多層感知器示意圖	28
圖 4.5 系統流程圖	30
圖 4.6 IEEE-754浮點數表示法	31
圖 4.7 類神經網路	32
圖 4.8 類神經網路輸入	33
圖 4.9 類神經網路示意圖	34
圖 4.10 類神經網路電路架構	34
圖 4.11 控制電路	35
圖 4.12 FIFO示意圖	35
圖 4.13 神經元電路架構	36
圖 4.14 pipeline示意圖	37
圖 4.15 乘法電路流程圖	37
圖 4.16 加法電路流程圖	39
圖 4.17 累加電路架構圖	39
圖 5.1 數字0的辨識結果	40
圖 5.2 數字1的辨識結果	41
圖 5.3 數字2的辨識結果	41
圖 5.4 數字3的辨識結果	42
圖 5.5 數字4的辨識結果	42
圖 5.6 數字5的辨識結果	43
圖 5.7 數字6的辨識結果	43
圖 5.8 數字7的辨識結果	44
圖 5.9 數字8的辨識結果	44
圖 5.10 數字9的辨識結果	45
圖 5.11 類神經網路測試架構	48
 
表目錄
表 2.1 LTM規格參數表	7
表 2.2 LTM顯示模組訊號說明	8
表 3.1 Slave端常用訊號表	18
表 3.2 Master端常用訊號表	20
表 4.1 FIFO常用腳位	36
表 4.2 乘法電路常用腳位	38
表 4.3 加法電路常用腳位	39
表 5.1 電路資源使用量	45
表 5.2 不同平台手寫數字辨識類神經網路執行時間(毫秒)	46
表 5.3不同神經元數手寫數字辨識類神經網路執行時間(毫秒)	47
表 5.4 不同神經元數手寫數字辨識類神經網路FPGA資源使用量	47
表 5.5不同架構手寫數字辨識類神經網路執行時間(毫秒)	48
表 5.6不同神經元數手寫數字辨識類神經網路資源使用量	49

[1]	L. Boxun, Z. Erjin, H. Bo, D. Jiayi, W. Yu, X. Ningyi, Z. Jiaxing, and Y. Huazhong, ”Large scale recurrent neural network on GPU,“ 2014 International Joint Conference on Neural Networks (IJCNN), pp.  4062-4069, 2014.
[2]	P. Ferreira, P. Ribeiro, A. Antunes, “Artificial neural networks processor: a hardware implementation using a FPGA,” Proceedings of the 4th International Conference on Field-Programmable Logic and Applications, pp. 1084-1086, 2004. 
[3]	MNIST Database, URL: http://yann.lecun.com/exdb/mnist/.
[4] 	Altera多媒體發展平台DE2-70網址，
	URL: http://university.altera.com/materials/boards/
[5]	友晶科技網址，URL: http://www.terasic.com.tw/
[6]	Terasic, TRDB_LTM_UserGuide, Document Version 1.22, 2007.
[7]	李世安，即時目標影像追蹤之SOPC設計，淡江大學電機工程學系博士論文，2008。
[8] 	Altera Corporation, Avalon Interface Specifications, March 2008
[9]	Z. Chaoyue, W. Yu, G. Jinxu, and Z. Hao, “Digital Recognition Based on Neural Network and FPGA Implementation,” 2017 9th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), pp. 280-283, 2017.
[10] 	T.V. Huynh, “Deep neural network accelerator based on FPGA,” 2017 4th NAFOSTED Conference on Information and Computer Science,  pp. 254-257, 2017.