本論文提出一種透過深度神經網路用於機器人的自我定位方法，其主要利用卷積神經網路、循環神經網路及混合密度網路等神經網路相互組合與搭配。卷積神經網路主要用途為提取影像資訊的特徵，在本論文中作用為提取足球場上白色線的特徵；循環神經網路主要用途為連結時間之間的關係，由於機器足球員是一種剛體，其運動軌跡能夠利用循環神經網路有效的推測；混合密度網路的主要用途為最後的機器足球員位置預測。本論文所提出的方法能夠在FIRA足球場上自由的定位，當機器人遭到綁架時也能快速地找回定位。本論文提出的方法依賴影像資訊而不依靠機器足球員的速度資訊，在有障礙物的環境下依然夠準確定位。在實驗結果的部分，本論文所提出的自主定位網路能夠在模擬環境中得到良好的成果，在障礙物干擾的情境下仍然能夠準確定位，顯示該網路的強健性。本論文提出的自主定位網路在模擬環境中訓練後即可成功使用於真實環境中，並不需要蒐集真實環境的資料，大大降低訓練的神經網路的成本。

This paper proposes a self-localization method for robot through deep learning which called self-localization network. The self-localization network consists of convolution neural network, recurrent neural network and mixture density network. The main purpose of convolution neural network is to extract the characteristics from image. In this paper, It use to extract the characteristics of white lines from soccer field. The main purpose of recurrent neural network is to process the relationship of time series. Because soccer robot is a rigid body, its trajectory can be predicted by recurrent neural network effectively. The main purpose of mixture density networks is to predict the position of soccer robot. The method proposed in this paper can let soccer robot self-localization on FIRA soccer field and quickly re-localization when it is kidnapped. The method proposed in this paper relies on vision of soccer robot instead of velocity. In the part of the experimental results, the self-localization network proposed in this paper achieve great result in the simulation environment and still be able to accurately self-localization when some obstacles on the soccer field. The self-localization network proposed in this paper reduce the time cost because the training result from simulator can be used immediately without any data that collected from real world.

目錄

中文摘要	I
英文摘要	II
目錄	III
圖目錄	V
表目錄	IX
符號對照表	X
中英文對照表	XIII
第一章 緒論	1
1.1 研究背景	1
1.2 研究動機	3
1.3 相關研究	4
1.4 論文組織	4
第二章 實驗環境	5
2.1 實驗平台	5
2.2 模擬環境	8
2.3 整體架構	10
第三章 神經網路介紹	11
3.1 完全連接前饋式網絡	11
3.2 混合密度網路	15
3.3 卷積神經網路	16
3.4 循環神經網路	20
第四章 實驗方法	26
4.1 資料前處理	26
4.2 自主定位網路v1	32
4.3 自主定位網路v2	37
4.4 訓練資料的收集	44
第五章 實驗結果	48
5.1 訓練資料收集	48
5.2 訓練技巧與超參數	52
5.3 實驗結果呈現	53
第六章 結論與未來展望	68
6.1 結論	68
6.2 未來展望	70
參考文獻	71

圖目錄

圖1.1、機器人三大領域示意圖	2
圖2.1、第六代中型機器足球員(a)與其模型(b)	5
圖2.2、全方位輪	6
圖2.3、機器足球員底盤	6
圖2.4、全方位視覺影像	7
圖2.5、FIRA足球場地圖	9
圖2.6、FIRA足球場地模擬環境	9
圖2.7、模擬器系統架構圖	10
圖2.8、真實環境系統架構圖	10
圖3.1、神經元之架構圖	11
圖3.2、單層感知器示意圖	12
圖3.3、多層感知器示意圖	13
圖3.4、卷積內部流程圖	17
圖3.5、卷積運算之示意圖	17
圖3.6、線性整流函數之示意圖	19
圖3.7、扁平層之示意圖	19
圖3.8、簡單循環神經網路之示意圖	20
圖3.9、長短期記憶網路之示意圖	21
圖3.10、長短期記憶網路之架構圖	22
圖3.11、S型函數之示意圖	23
圖3.12、雙曲正切函數之示意圖	23
圖3.13、簡單循環單元之加速示意圖	24
圖3.14、簡單循環單元之架構圖	25
圖4.1、模擬光學雷達示意圖	27
圖4.2、掃描線的圖	27
圖4.3、模擬掃白線示意圖	28
圖4.4、(a)掃描線v1與(b)其二維視覺化	29
圖4.5、對稱示意圖	29
圖4.6、(a)半圓內掃白線v1與其(b)二維視覺化	30
圖4.7、(a)掃白線v2與其(b)二維視覺化	30
圖4.8、半場指標示意圖	31
圖4.9、自主定位網路v1架構圖	32
圖4.10、卷積單元	33
圖4.11、深度卷積神經網路v1	33
圖4.12、特徵提取示意圖	34
圖4.13、完全連接前饋式網路架構圖	36
圖4.14、完全連接前饋式網路推論定位示意圖	36
圖4.15、自主定位網路v2架構圖	37
圖4.16、深度卷積網路v2	38
圖4.17、輪盤算法範例圖	41
圖4.18、高斯分布取樣示意圖	41
圖4.19、混合密度網路	42
圖4.20、多機器人環境	43
圖4.21、無干擾的白色線資訊	43
圖4.22、受干擾的白色線資訊	43
圖4.23、資料收集流程圖	45
圖4.24、隨機擺放障礙物流程圖	46
圖4.25、放置障礙物於機器人周圍流程圖	47
圖5.1、一般環境蒐集資料	48
圖5.2、理想掃白線實際資料(a)與其可視化(b)	49
圖5.3、加入雜訊後的掃白線之實際資料(c)與其可視化(d)	49
圖5.4、隨意放置分鏡圖	50
圖5.5、放置於機器人周圍分鏡圖	51
圖5.6、模擬器測試範圍示意圖	53
圖5.7、一般環境自主定位網路v1誤差可視化	55
圖5.8、一般環境自主定位網路v2誤差可視化	56
圖5.9、一般環境適應性蒙地卡羅定位法誤差可視化	56
圖5.10、標準差5的高斯雜訊環境自主定位網路v1誤差可視化	58
圖5.11、標準差5的高斯雜訊環境自主定位網路v2誤差可視化	58
圖5.12、標準差5的高斯雜訊環境適應性蒙地卡羅定位法誤差可視化	58
圖5.13、標準差10的高斯雜訊環境自主定位網路v1誤差可視化	60
圖5.14、標準差10的高斯雜訊環境自主定位網路v2誤差可視化	60
圖5.15、標準差10的高斯雜訊環境適應性蒙地卡羅定位法誤差可視化	60
圖5.16、單一障礙物環境示意圖	61
圖5.17、單一障礙物環境自主定位網路v1誤差可視化	63
圖5.18、單一障礙物環境自主定位網路v2誤差可視化	63
圖5.19、單一障礙物環境適應性蒙地卡羅定位法誤差可視化	63
圖5.20、五個障礙物環境自主定位網路v1誤差可視化	65
圖5.21、五個障礙物環境自主定位網路v2誤差可視化	65
圖5.22、五個障礙物環境適應性蒙地卡羅定位法誤差可視化	66
圖5.23、真實環境定位取樣點示意圖	66

表目錄

表2.1、第六代中型機器足球員規格	6
表2.2、神經網路訓練硬體設備	8
表2.3、使用軟體	8
表4.1、深度卷積神經網路架構v1參數表	34
表4.2、循環神經網路架構v1參數表	35
表4.3、完全連接前饋式網路架構參數表	36
表4.4、深度卷積網路架構v2參數表	38
表4.5、循環神經網路架構v2參數表	40
表4.6、混合密度網路架構參數表	42
表5.1、訓練網路之超參數	52
表5.2、一般環境的距離誤差	54
表5.3、一般環境的角度誤差	55
表5.4、標準差5的高斯雜訊環境距離誤差	57
表5.5、標準差5的高斯雜訊環境角度誤差	57
表5.6、標準差10的高斯雜訊環境距離誤差	59
表5.7、標準差10的高斯雜訊環境角度誤差	59
表5.8、單一障礙物環境距離誤差	62
表5.9、單一障礙物環境角度誤差	62
表5.10、五個障礙物環境的距離誤差	64
表5.11、五個障礙物環境的角度誤差	65
表5.12、真實環境的距離誤差	67

[1]	Shakey, URL: http://www.ai.sri.com/shakey
[2]	FIRA, URL: http://www.fira.net
[3]	C. Stachniss, “Exploration and mapping with mobile robots,” Ph.D. Thesis, University of Freiburg, Department of Computer Science, pp. 1-244, 2006.
[4]	Rumelhart, E. David, E. Hinton, and J. Ronald, “Learning representations by back-propagating errors,” Cognitive modeling, pp. 533–536, 1988.
[5]	A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks," Neural Information Processing Systems (NIPS), pp.1097-1105, 2012.
[6]	T. N. Sainath, 	R. J. Weiss, A. Senior, K. W. Wilson, and O. Vinyals, “Learning the Speech Front-end With Raw Waveform CLDNNs,” Sixteenth Annual Conference of the International Speech Communication Association. pp. 1-5, 2015.
[7]	T. N. Sainath, O. Vinyals, A. Sensor, and H. Sak, “Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks,” IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4580-4584, 2015.
[8]	D. Fox, W. Burgard, F. Dellaert, and S. Thrun, “Monte Carlo Localization: Efficient Position Estimation for Mobile Robots,” Association for the Advancement of Artificial Intelligence (AAAI), pp.343-349, 1999.
[9]	D. Fox, “KLD-Sampling: Adaptive Particle Filters,” Neural Information Processing Systems (NIPS), pp. 713-720, 2002.
[10]	K. Konda and R. Memisevic, “Learning Visual Odometry with a Convolutional Network,” VISPP, pp. 486-490, 2015.
[11]	V. Mohanty, et al. “DeepVO: A Deep Learning approach for Monocular Visual Odometry,” arXiv preprint arXiv:1611.06069, pp. 1-9, 2016.
[12]	R. Clark, S. Wang, H. Wen, A. Markham, and N. Trigoni, “VINet: Visual-Inertial Odometry as A Sequence-to-Sequence Learning Problem,” Association for the Advancement of Artificial Intelligence (IAAA), pp. 3995–4001, 2016.
[13]	S. Wang, R. Clark, H. Wen, and N. Trigoni, “End-to-End, Sequence-to-Sequence Probabilistic Visual Odometry through Deep Neural Networks,” The Internation Journal of Robotics Research (IJRR), pp.513-542, 2017.
[14]	K. Konda and R. Memisevic, “Learning visual odometry with a convolutional network,” VISAPP, pp.486-490, 2015. [15]	Gazebo, URL: http://gazebosim.org
[16]	Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard, and L. D. Kackel, “Deep Learning,” Jornal of Neural Computation, vol. 1, pp.541-551, 1989.
[17]	F. Rosenblatt, “The perceptron: a probabilistic model for information storage and organization in the brain,” Psychological review, vol. 65, pp. 386, 1958.
[18]	S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” International Conference on Machine Learning (ICML), pp. 448–456, 2015.
[19]	X. Glorot, A. Bordes, and Y. Bengio, “Deep Sparse Rectifier Neural Networks,” International Conference on Artificial Intelligence and Statistics, vol. 15, pp.315-323, 2011.
[20]	J. L. Elman, “Find Structure in Time,” Cognitive science, pp.179-211, 1990.
[21]	S. Hochreiter and J. Schmidhuber, “Long Short-term Memory,” Neural Computation, pp.1735-1780, 1997.
[22]	T. Lei, Y. Zhang, S. I. Wang, H. Dai, and Y. Artzi, “Simple recurrent units for highly parallelizable recurrence,” EMNLP Conference on Empirical Methods in Natural Language Processing, pp. 4470-4481, 2018.
[23]	連振宇，基於全方位影像的距離測量之移動機器人避障，淡江大學電機工程學系碩士論文，2017。
[24]	C. M. Bishop, “Mixture Density Network,” Technical Report NCRG, pp. 1-26, 1994.
[25]	S. M. A. Eslami, et al. “Neural scene representation and rendering,” Science, vol. 360, no. 6394, pp. 1204-1210, 2018.
[26]	K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” IEEE conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-780, 2016.
[27]	E. A. Orhan and X. Pitkow, “Skip Connections Eliminate Singularities,” arXiv preprint arXiv:1701.09175, pp. 1-22, 2017.
[28]	D. P. Kingma and J. L. Ba, “Adam: A Method for Stochastic Optimization,” International Conference for Learning Representations (ICLR), pp.1-15, 2015.