本論文主要提出一個Q學習模糊PID控制方法來控制馬達，使其能適應不同的安裝環境而達到期望的控制效果。本論文使用模糊控制方法來調變PID控制器之參數KP、KI及KD，使其具有自適應性，然後加入Q學習演算法，使原先仰賴專家法則的模糊規則庫及模糊變數的歸屬函數可以經過反覆學習而得到，並於Q學習演算法及模糊控制中加入滑動模式，以降低學習過程中所需要的系統參數數量，進而提升學習的效率，其學習過程是先以初始的模糊規則庫及初始的模糊變數的歸屬函數，學習出新的模糊變數的歸屬函數，再以初始的模糊規則庫及新的模糊變數的歸屬函數，學習出新的模糊規則庫。模糊控制為一輸入與三輸出形式，輸入變數為誤差e及誤差變化量Δe經滑動模式處理後的輸出s，三組輸出變數為PID控制器之參數變化量ΔKP、ΔKI及ΔKD。Q學習演算法為二輸入三輸出，輸入變數為誤差e及誤差變化量Δe，在學習模糊變數的歸屬函數時，輸出變數為三個2×7的Q表；而在學習模規則庫時，輸出變數為三個5×5的Q表。在實驗結果方面，本論文利用自行設計的Q學習模糊PID控制方法，在模擬與實驗結果中皆可以看出，本論文提出的方法確實可以有效提升控制器的效能。

In this dissertation, a Q-Learning fuzzy PID control method is proposed to control motor so that it can adapt to different environments and meet the expectations of the request. First, a fuzzy control method is proposed to modify and improve the parameters KP, KI and KD of the PID controller so that it has adaptability. Then the Q-learning algorithm is applied so that the fuzzy rule base and the membership function of the fuzzy variable that originally relied on the expert rule can be obtained through iterated learning. In addition, the concept of the sliding mode is applied to reduce the number of system parameters required in the learning process and improve the learning efficiency. The learning process is to learn new membership functions of the fuzzy variables with an initial fuzzy rule base and initial membership functions of the fuzzy variables, and then learn a new fuzzy rule base with an initial fuzzy rule base and the new the membership functions of the fuzzy variables. Fuzzy controller is in the form of one input and three outputs. The input variable is the output of the sliding mode that processed by using the error e and the error change Δe. Three output variables are the parameter change ΔKP, ΔKI, and ΔKD of the PID controller. The Q-learning algorithm is in the form of two inputs and three outputs. The input variables are the error e and the error change Δe. When learning the membership functions of the fuzzy variable, the output variables are three 2 × 7 Q tables. When learning the modular rule base, the output variables are three 5 × 5 Q tables. It can be seen from the simulation and experimental results that the proposed method can indeed effectively improve the performance of the controller.

目錄
中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	XI
專有名詞(學術名詞名稱)之中英文對照表	XV
符號對照表	XVIII
第 1 章 緒論	1
1.1 研究動機與目的	1
1.2 文獻回顧	2
1.3 論文架構	4
第 2 章 系統架構與軟硬體設備	5
2.1彈性送料機	5
2.2 音圈馬達實驗平台	11
2.3 直流無刷馬達實驗平台	16
2.4 兩輪自平衡車	19
第 3 章 系統模型與馬達驅動波形	25
3.1 四款馬達結構原理	25
3.2馬達數學模型	28
3.3 馬達驅動波形	30
第 4 章 Q學習模糊PID控制器	60
4.1 PID控制器	60
4.2 模糊PID控制器	63
4.3 Q學習模糊PID控制器	71
第 5 章 實驗結果與討論	82
5.1音圈馬達實驗平台的馬達位置控制	82
5.2直流無刷馬達實驗平台的馬達轉速控制	89
5.3兩輪自平衡車的馬達轉速控制	95
第 6 章 結論與未來展望	104
6.1 結論	104
6.2 未來展望	105
參考文獻	106
 
圖目錄
圖 2.1、二款彈性送料機：(a) 直震彈性送料機、(b) 圓轉彈性送料機	6
圖 2.2、直震彈性送料機硬體控制架構圖	8
圖 2.3、圓轉彈性送料機硬體控制架構圖	9
圖 2.4、音圈馬達實驗平台實體圖	12
圖 2.5、音圈馬達實驗平台之硬體系統架構圖	13
圖 2.6、直流無刷馬達實驗平台實體圖	16
圖 2.7、直流無刷馬達實驗平台之硬體系統架構圖	17
圖 2.8、兩輪自平衡車實體圖	19
圖 2.9、兩輪自平衡車之硬體系統架構圖	21
圖 2.10、慣性測量單元	24
圖 2.11、重量感測器	24
圖 3.1、音圈馬達與其結構原理圖	26
圖 3.2、步進馬達與其結構原理圖	26
圖 3.3、直流有刷馬達與其結構原理圖	27
圖 3.4、直流無刷馬達與其結構原理圖	28
圖 3.5、馬達的等效電路模型	29
圖 3.6、音圈馬達驅動電路	31
圖 3.7、音圈馬達正方向運動驅動波形	31
圖 3.8、音圈馬達反方向運動驅動波形	32
圖 3.9、步進馬達驅動電路	32
圖 3.10、單相位激磁全步進驅動轉動方式	33
圖 3.11、單相激磁全步進驅動的開關元件與相位的驅動波形	33
圖 3.12、兩相位激磁全步進驅動轉動方式	34
圖 3.13、兩相激磁全步進驅動的開關元件與相位的驅動波形	34
圖 3.14、半步進驅動轉動方式	35
圖 3.15、半步進驅動的開關元件與相位的驅動波形	35
圖 3.16、馬達旋轉時的電流向量軌跡	36
圖 3.17、微步進驅動的開關元件與相位的驅動波形	37
圖 3.18、直流有刷馬達驅動電路	38
圖 3.19、直流有刷馬達正方向運動驅動波形	38
圖 3.20、直流有刷馬達反方向運動驅動波形	39
圖 3.21、直流無刷馬達驅動電路	39
圖 3.22、六步方波驅動直流無刷馬達	40
圖 3.23、PhaseA為S極，PhaseB為N極時的電流方向圖	41
圖 3.24、六步方波驅動波形	41
圖 3.25、SPWM輸出原理圖	42
圖 3.26、SPWM等效正弦波驅動波形	42
圖 3.27、標準正交軸α與β軸	44
圖 3.28、三相合成電壓圖	47
圖 3.29、直流無刷馬達的等效電路圖	47
圖 3.30、電流由相位A流入，相位B與相位C流出示意圖	48
圖 3.31、扇區順序示意圖	50
圖 3.32、電壓向量合成示意圖	51
圖 3.33、開關順序方式導致Sb的開關變化多2次示意圖	52
圖 3.34、第一扇區輸出的波形圖	52
圖 3.35、Uout扇區在上半部示意圖	53
圖 3.36、Uout扇區在左下半部示意圖	54
圖 3.37、Uout扇區在右下半部示意圖	54
圖 3.38、扇區對應的示意圖	55
圖 3.39、扇區I的示意圖	56
圖 3.40、扇區II的示意圖	57
圖 3.41、Ta, Tb, Tc於作用時間的關係圖	59
圖 3.42、各扇區的輸出波型	59
圖 4.1、PID控制器架構圖	61
圖 4.2、在音圈馬達實驗平台的馬達位置控制中的PID控制器架構圖	62
圖 4.3、在直流無刷馬達實驗平台的馬達轉速控制中的PID控制器架構圖	62
圖 4.4、在兩輪自平衡車的馬達轉速控制中的PID控制器架構圖	63
圖 4.5、模糊控制系統的基本架構圖	64
圖 4.6、輸入模糊變數e的歸屬函數	66
圖 4.7、輸入模糊變數Δe的歸屬函數	66
圖 4.8、輸出模糊變數ΔKP的歸屬函數	66
圖 4.9、輸出模糊變數ΔKI的歸屬函數	67
圖 4.10、輸出模糊變數ΔKD的歸屬函數	67
圖 4.11、在音圈馬達實驗平台的馬達位置控制中的模糊PID控制器架構圖	70
圖 4.12、在直流無刷馬達實驗平台的馬達轉速控制中的模糊PID控制器架構圖	70
圖 4.13、在兩輪自平衡車系統之馬達轉速控制中的模糊PID控制器架構圖	70
圖 4.14、Q學習演算法架構圖	71
圖 4.15、輸入模糊變數s的歸屬函數	74
圖 4.16、動作與歸屬函數的調整值α與β關係圖	76
圖 4.17、在音圈馬達實驗平台的馬達位置控制中的Q學習模糊PID控制器架構圖	80
圖 4.18、在直流無刷馬達實驗平台的馬達轉速控制中的Q學習模糊PID控制器架構圖	80
圖 4.19、在兩輪自平衡車系統之馬達轉速控制中的Q學習模糊PID控制器架構圖	81
圖 5.1、學習前後之模糊變數的歸屬函數	83
圖 5.2、單一轉速控制命令響應圖	87
圖 5.3、連續多個轉速控制命令響應圖	88
圖 5.4、學習前後之模糊變數的歸屬函數	90
圖 5.5、單一轉速控制命令響應圖	93
圖 5.6、連續多個轉速控制命令響應圖	95
圖 5.7、學習前後之模糊變數的歸屬函數	97
圖 5.8、單一轉速控制命令響應圖	100
圖 5.9、連續多個轉速控制命令響應圖	102
圖 5.10、兩輪自平衡車傾角控制命令響應圖	103
 
表目錄
表 2.1、直震彈性送料機硬體與系統規格表	7
表 2.2、圓轉彈性送料機硬體與系統規格表	7
表 2.3、音圈馬達規格表	14
表 2.4、馬達驅動器規格表	15
表 2.5、光學尺規格表	15
表 2.6、直流無刷馬達規格表	18
表 2.7、馬達驅動器規格表	18
表 2.8、兩輪自平衡車規格表	20
表 2.9、直流有刷馬達規格表	22
表 2.10、馬達驅動器規格表	23
表 3.1、Sa、Sb、Sc與S1~S6開關關係表	48
表 3.2、各種導通模式下的電壓關係	49
表 3.3、七段式開關切換順序	52
表 3.4、五段式開關切換順序	53
表 3.5、扇區對應表	55
表 3.6、各扇區使用的數學式對應表	58
表 3.7、Ta, Tb, Tc所屬的相位關係表	59
表 4.1、ΔKP模糊規則庫	68
表 4.2、ΔKI模糊規則庫	68
表 4.3、ΔKD模糊規則庫	69
表 4.4、ΔKP模糊規則庫對稱軸的模糊規則	74
表 4.5、ΔKI模糊規則庫對稱軸的模糊規則	75
表 4.6、ΔKD模糊規則庫對稱軸的模糊規則	75
表 4.7、單一輸入s的ΔKP模糊規則庫	75
表 4.8、單一輸入s的ΔKI模糊規則庫	75
表 4.9、單一輸入s的ΔKD模糊規則庫	76
表 4.10、狀態與輸入變數滑動平面輸出量s關係表	76
表 4.11、Q-Learning對模糊變數的歸屬函數進行學習之Q表	77
表 4.12、狀態與輸入變數滑動平面輸出量s關係表	78
表 4.13、動作與ΔKP模糊規則庫調整值γP關係表	78
表 4.14、動作與ΔKI模糊規則庫調整值γI關係表	78
表 4.15、動作與ΔKD模糊規則庫調整值γD關係表	78
表 4.16、Q-Learning對ΔKP模糊規則庫進行學習之Q表	78
表 4.17、Q-Learning對ΔKI模糊規則庫進行學習之Q表	79
表 4.18、Q-Learning對ΔKD模糊規則庫進行學習之Q表	79
表 5.1、經過Q學習後之歸屬函數的Q表	83
表 5.2、經過Q學習後之ΔKP的模糊規則庫之Q表	84
表 5.3、經過Q學習後之ΔKI的模糊規則庫之Q表	84
表 5.4、經過Q學習後之ΔKD的模糊規則庫之Q表	85
表 5.5、經過Q學習後之ΔKP的最終模糊規則庫	85
表 5.6、經過Q學習後之ΔKI的最終模糊規則庫	85
表 5.7、經過Q學習後之ΔKD的最終模糊規則庫	85
表 5.8、單一轉速控制命令之誤差平方積分與穩定時間的比較表	87
表 5.9、連續多個轉速控制命令誤差平方積分比較表	88
表 5.10、經過Q學習後之歸屬函數的Q表	89
表 5.11、經過Q學習後之ΔKP的模糊規則庫之Q表	91
表 5.12、經過Q學習後之ΔKI的模糊規則庫之Q表	91
表 5.13、經過Q學習後之ΔKD的模糊規則庫之Q表	91
表 5.14、經過Q學習後之ΔKP的最終模糊規則庫	92
表 5.15、經過Q學習後之ΔKI的最終模糊規則庫	92
表 5.16、經過Q學習後之ΔKD的最終模糊規則庫	92
表 5.17、單一轉速控制命令之誤差平方積分與穩定時間的比較表	93
表 5.18、連續多個轉速控制命令誤差平方積分比較表	95
表 5.19、經過Q學習後之歸屬函數的Q表	96
表 5.20、經過Q學習後之ΔKP的模糊規則庫之Q表	98
表 5.21、經過Q學習後之ΔKI的模糊規則庫之Q表	98
表 5.22、經過Q學習後之ΔKD的模糊規則庫之Q表	98
表 5.23、經過Q學習後之ΔKP的最終模糊規則庫	99
表 5.24、經過Q學習後之ΔKI的最終模糊規則庫	99
表 5.25、經過Q學習後之ΔKD的最終模糊規則庫	99
表 5.26、單一轉速控制命令之誤差平方積分與穩定時間的比較表	100
表 5.27、連續多個轉速控制命令誤差平方積分比較表	102
表 5.28、兩輪自平衡車傾角控制命令誤差平方積分比較表	103

[1]	K. J. Astrom and T. Hagglund, PID Controllers: Theory, Design, And Tuning, Research Triangle Park, NC: Instrument Society of America, 1995.
[2]	E. H. Mamdani, “Application of fuzzy algorithms for control of simple dynamic plant,” Proceedings of the Institution of Electrical Engineers, vol. 121, no. 12, pp. 1585-1588, 1974.
[3]	R. R. Yager and P. Dimitar, “Essentials of fuzzy modeling and control,” SIGART Bulletin, vol. 6, no. 4, pp. 22-23, 1994.
[4]	J. X. Xu, C. C. Hang, and C. Liu, “Parallel structure and tuning of a fuzzy PID controller,” Automatica, vol. 36, no. 5, pp. 673-684, 2000.
[5]	M. Mizumoto, “Realization of PID controls by fuzzy control methods,” Fuzzy Sets and Systems, vol. 70, no. 2-3, pp. 171-182, 1995.
[6]	S. J. Qin and G. Borders, “A multiregion fuzzy logic controller for nonlinear process control,” IEEE Transactions on Fuzzy Systems, vol. 2, no. 1, pp. 74-81, 1994.
[7]	J. X. Xu, Y. M. Pok, C. Liu, and C. C. Hang, “Tuning and analysis of a fuzzy PI controller based on gain and phase margins,” IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, vol. 28, no. 5, pp. 685-691, 1998.
[8]	S. Z. He, S. Tan, F. L. Xu, and P. Z. Wang, “Fuzzy self-tuning of PID controllers,” Fuzzy Sets and Systems, vol. 56, no. 1, pp. 37-46, 1993.
[9]	Z. Y. Zhao, M. Tomizuka, and S. Isaka, “Fuzzy gain scheduling of PID controllers,” IEEE Transactions on Systems, Man, and Cybernetics, vol. 23, no. 5, pp. 1392-1398, 1993.
[10]	李學偉、馬立新、袁滄虎，模糊伸縮因子優化變論域的模糊PID矢量控制研究，電力科學與工程，vol. 35, no. 2, pp. 14-19, 2019。
[11]	R. S. Sutton, A. G. Barto, and R. J. Williams, “Reinforcement learning is direct adaptive optimal control,” IEEE Control Systems Magazine, vol. 12, no. 2, pp. 19-22, 1992.
[12]	R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction. MIT press, 2018.
[13]	A. Bonarini, “Evolutionary learning of fuzzy rules: Competition and cooperation,” Fuzzy Modelling, vol. 7, pp. 265-283, 1996.
[14]	T. Kawabe, T. Tagami, and T. Katayama, “A genetic algorithm based minimax optimal design of robust I-PD controller,” UKACC International Conference on Control. Control '96, pp. 436-441, 1996.
[15]	C. K. Chiang, H. Y. Chung, and J. J. Lin, “A self-learning fuzzy logic controller using genetic algorithms with reinforcements,” IEEE Transactions on Fuzzy Systems, vol. 5, no. 3, pp. 460-467, 1997.
[16]	E. S. Low, P. Ong, and K. C. Cheah, “Solving the optimal path planning of a mobile robot using improved Q-learning,” Robotics and Autonomous Systems, vol. 115, pp. 143-161, 2019.
[17]	V. T. Aghaei, A. Onat, I. Eksin, and M. Guzelkaya, “Fuzzy PID controller design using Q-learning algorithm with a manipulated reward function,” 2015 European control conference (ECC), IEEE, pp. 2502-2507, 2015.
[18]	李昭莹，基於Q學習-變論域模糊PID算法在柴油機調速系統中的設計研究，哈爾濱工程大學動力工程及工程熱物理碩士論文，(指導教授：李學民)，2016。
[19]	P. Kofinas and A.I. Dounis, “Online tuning of a PID controller with a fuzzy reinforcement learning MAS for flowrate control of a desalination unit,” Electronics, vol. 8, no. 231, pp. 1-16, 2019.
[20]	普動股份有限公司, URL: https://puton.business.site/
[21]	Texas Instruments, URL: http://www.ti.com/
[22]	Atmel, URL: https://www.mouser.cl/manufacturer/atmel/
[23]	Arduino, URL: https://www.arduino.cc/
[24]	PBA Systems, URL: http://www.pbasystems.com.tw/zh-tw/?lang=zh-tw
[25]	STMicroelectronics, URL: https://www.st.com/content/st_com/en.html
[26]	Renishaw ATOM, URL: https://www.renishaw.com.tw/tw/atom-encoder-series--37564
[27]	KEIL, URL: http://www.keil.com/
[28]	DJI大疆創新科技有限公司, URL: https://www.dji.com/tw
[29]	Maxon, URL: https://www.maxongroup.com.tw/
[30]	TDK InvenSense, URL: 	https://www.edomtech.com/tw/manufacturers/ins.php?index_id=190
[31]	MOTIONCONTROLTIPS, URL: https://www.motioncontroltips.com/how-do-rotary-voice-coil-actuators-work/
[32]	台灣東方馬達技術研討會, URL: https://www.orientalmotor.com.tw/seminar/seminar_top/
[33] CVEL, URL: https://cecas.clemson.edu/cvel/auto/actuators/motors-dc-brushed.html	
[34]	MICROCHIP AN822, URL: https://www.microchip.com/wwwAppNotes/AppNotes.aspx?appnote=en011997
[35]	李政翰，模糊滑動模式控制器之設計及其在機電整合系統上之應用，國立成功大學電機工程學系博士論文，(指導教授：孫育義，李祖聖)，2003。
[36]	吳書瑋，具模糊滑動模式控制器之無感測器感應馬達 V/f 控制系統設計，清雲科技大學電機工程系所碩士論文，(指導教授：蘇仲清)，2011。