淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-0209202014480500
中文論文名稱 以對抗式生成網路建立中文歌詞風格分類器
英文論文名稱 Build a style of Chinese Lyrics Discriminator using Generative Adversarial Network
校院名稱 淡江大學
系所名稱(中) 資訊工程學系碩士班
系所名稱(英) Department of Computer Science and Information Engineering
學年度 108
學期 2
出版年 109
研究生中文姓名 黃恩祈
研究生英文姓名 En-Gi Hwang
學號 606410834
學位類別 碩士
語文別 中文
第二語文別 英文
口試日期 2020-07-15
論文頁數 35頁
口試委員 指導教授-陳建彰
委員-陳建彰
委員-林其誼
委員-楊權輝
中文關鍵字 GAN  SeqGAN  文本生成  詞曲生成 
英文關鍵字 GAN  SeqGAN  Text generate  Lyric generate 
學科別分類 學科別應用科學資訊工程
中文摘要 詞曲詩詞等文本生成類型的應用在近期越來越多人開始研究,然而關於這方面研究通常使用人力評估,這樣的做法難免會出現量化標準不一情形,因為當使用同一方法研究卻用不同人力評估時,結果很可能不盡相同,就算是同一批人的調查結果,根據調查時的各種變因都有可能會影響結果。
本論文國內流行歌曲歌詞網中,幾位風格較具特色的作詞家之歌詞作品,將其作品資料使用SeqGAN進行訓練,並於訓練過程中,取出訓練程度不同的判別器,並將五個不同訓練次數(20, 40, 60, 80, 100)組合建立文本相似度評分器,以此作為歌詞與歌詞之間的評量方式。實驗結果顯示,詞風相似的作詞家,有較高的評分。
英文摘要 The research of text generative network has been widely studied recently. However, the evaluation of this kind of research always adopts human assessment. In generally, the human assessment is determined by the people we choose, and the assessments may lack of fairness and objectivity. Furthermore, the same group of people may have different opinion under various conditions. Therefore, a fair lyrics discriminator merits our study.
This thesis collects several representatively pop song writes’ works in Taiwan. The W. S. Fang’s lyrics are trained to build the discriminator in SeqGAN, which is a sequence generation framework of Generative Adversarial Nets (GAN). The discriminators trained under different epochs, which include 20, 40, 60, 80, and 100, to form the five-degree discriminator. Experimental results show that the proposed discriminator can efficiently distinguish different types of lyric writers’ works.
論文目次 目錄
第一章、 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 研究目的 2
1.4 研究問題 3
1.5 論文架構 4
第二章、 相關文獻探討 5
2.1 CNN(CONVOLUTION NEURAL NETWORK) 5
2.2 RNN (RECURRENT NEURAL NETWORK) 7
2.2.1 LSTM (Long Short-Term Memory) 9
2.2.2 Seq2Seq 10
2.3 GAN(對抗式生成網路) 11
2.4 TEXTGAN 12
2.5 SEQGAN 14
第三章、 研究方法 16
3.1 研究架構 16
3.2 資料收集與預處理 17
3.3 模型訓練 19
3.3.1 預訓練模型 19
3.3.2 對抗式訓練與建立文本相似度評分器 21
第四章、 實驗分析與結果 23
4.1 循環訓練實驗 23
4.2 評分器實驗 23
4.3 實驗小結 25
第五章、 結論與建議 26
參考文獻 27
附錄一 英文論文 29


圖目錄
圖一、判別器組合後的評分方式 3
圖二、CNN文本分類模型[14] 5
圖三、CNN分類器全連結層示意圖 7
圖四、RNN架構示意圖[3] 8
圖五、RNN面對的問題示意圖 8
圖六、LSTM網路示意圖 9
圖七、對抗式生成網路架構 11
圖八、SEQGAN架構圖[4] 14
圖九、本研究流程架構圖 16
圖十、對歌詞進行分詞以及字向量轉換 18
圖十一、切分資料示意圖 19
圖十二、預訓練三百次以下(A)D的預訓練LOSS(B)D的預訓練準確度 20
圖十三、預訓練五百次(A)D的預訓練LOSS (B)D的預訓練準確度 20
圖十四、對抗式循環訓練流程圖 21
圖十五、預訓練G五百次與D二以及三次 (A) 對抗式循環D的LOSS(B) 對抗式循環D的準確度 23
圖十六、李聖傑與方文山的歌詞相似度評分 (A)各評分器給分的次數(B)每一首歌的總評分 24
圖十七、MC HOTDOG與方文山的歌詞相似度評分 (A)各評分器給分的次數(B)每一首歌的總評分 24
圖十八、李聖傑與MCHOTDOG歌曲得分統計 25

參考文獻 參考文獻
[1] https://github.com/williamSYSU/TextGAN-PyTorch
[2] https://mojim.com/twzhot-song.html
[3] https://colah.github.io/posts/2015-08-Understanding-LSTMs
[4] https://leonardoaraujosantos.gitbooks.io/artificialinteligence/content/image_segmentation.html
[5] G. Chaslot, S. Bakkes, I. Szita, P. Spronck, “Monte-Carlo Tree Search: A New Framework for Game AI,” Artificial Intelligence and Interactive Digital Entertainment Conference(AIIDE), California USA, 2008
[6] I. Sutskever, J. Martens, G. Hinton, “Generating text with recurrent neural networks”, International Conference on Machine Learning(ICML), Washington USA, 2011.
[7] I. Goodfellow, “Generative Adversarial Networks,” Conference on Neural Information Processing Systems(NIPS), Barcelona Spain, 2016.
[8] I. Sutskever, O. Vinyals, QV. Le, “Sequence to Sequence Learning with Neural Networks,” Conference on Neural Information Processing Systems(NIPS), Montréal Canada, 2014.
[9] L. Yu, W. Zhang, J. Wang, Y. Yu, “Seqgan: Sequence generative adversarial nets with policy gradient,” Thirty-First AAAI Conference on Artificial Intelligence(AAAI), San Francisco USA, 2017.
[10] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R Salakhutdinov, “Dropout: A Simple Way to Prevent Neural Networks from Overfitting,” The Journal of Machine Learning Research(JMLR), Vol. 15, page.1929–1958, 2014.
[11] S. Hochreiter and J. Schmidhuber,” Long short-term memory,” Neural Computation, Vol. 9, page.1735-1780, 1997.
[12] S. Lai, L. Xu, K. Liu, J. Zhao, “Recurrent convolutional neural networks for text classification,” Twenty-Ninth AAAI Conference on Artificial Intelligence(AAAI), Texas USA, 2015.
[13] T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, X. Chen, “Improved techniques for training gans,” Conference on Neural Information Processing Systems(NIPS), Barcelona Spain, 2016.
[14] Y. Kim, “Convolutional Neural Networks for Sentence Classification,” Association for Computational Linguistics(ACL), Maryland USA, 2014.
[15] Y. Zhang, Z. Gan, L. Carin, “Generating Text via Adversarial Training, “Conference on Neural Information Processing Systems(NIPS), Barcelona Spain, 2016.
[16] Y. Zhang, Z. Gan, K. Fan, Z. Chen, R. Henao, D. Shen, L. Carin, “Adversarial Feature Matching for Text Generation,” International Conference on Machine Learning(ICML), Sydney Australia, 2017.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2020-09-10公開。
  • 同意授權瀏覽/列印電子全文服務,於2020-09-10起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2487 或 來信