本論文設計與實現一個基於影像之人形機器人姿態辨識系統，主要分為五個部分：(1)影像擷取模組、(2)顏色辨識模組、(3)運動目標檢測模組、(4)特徵匹配模組、(5)測距模組。在Linux環境下，以機器人作業系統(Robot Operating System, ROS)建構影像辨識系統的軟體開發架構，本論文使用顏色辨識模組將影像中感興趣的顏色，以人工標記的方式標記作為特徵。使用運動目標檢測模組找出畫面中的動態物體並設為感興趣區域(Region Of Interest , ROI)，以此做為事先建立好的機器人數據圖庫特徵匹配的依據。在測距模組中利用邊界檢測與物件分割兩種方法找出物體在畫面中的資訊，並利用逆透視映射法(Inverse Perspective Mapping, IPM)計算出物體與高速攝影機間的距離。由實驗結果可得知，本論文所設計的影像辨識系統，可以同時辨識出不同種類的目標物，並成功判斷機器人目前的位置與姿態。

In this thesis, an Image-Based Humanoid Robot Pose Recognition System is designed and implemented.There are five parts:(1)model of image capture, (2)model of color recognition, (3) model of the moving target detection, (4) model of features matching, (5) model of odometry. In the Linux environment, ROS is used to establish the software development framework for the image recognition system, some interested color blocks in the image are marked as featuress by using color recognition model. Region of moving target is chosen as Region Of Interest(ROI) which is used to match the features with robtic image database by features matching model. In the odometry model, finding object data on the screen is done by two different method which are edge detection and object segmentation, and Inverse Perspective Mapping (IPM) is used to calculate the distance between the object and High-speed camera. From the experimental results, we can see that proposed image recognition system really let the different target and robot pose and position to be recognized successfully at the same time.

目錄

目錄	I
圖目錄	IV
表目錄	VII
第一章　緒論	1
1.2　研究動機與目的	3
1.3　論文架構	4
第二章　外部觀測平台之實現	5
2.1　前言	5
2.2　外部觀測平台介紹	5
2.2.1　實驗空間概略	5
2.2.2　高速攝影機架機構介紹	7
2.2.3　高速攝影機介紹(High-Speed Camera)	7
2.2.4　運算處理核心	9
2.2.5　ROS系統介紹	10
第三章　影像系統的設計與實現	12
3.1　前言	12
3.2　顏色辨識模組	13
3.2.1　高斯模糊	14
3.2.2　RGB色彩模型	16
3.2.3　HSV色彩模型	17
3.2.4　色彩空間轉換	18
3.2.5　影像二值化	18
3.3　運動目標檢測模組	21
3.3.1　灰階處理	22
3.3.2　背景減去法	23
3.3.3　二值化	23
3.3.4　畫面累加器	24
3.4　特徵匹配模組	25
3.4.1　特徵點介紹	26
3.4.2　ORB特徵點擷取	28
3.4.3　漢明距離之特徵匹配	31
3.4.4　離群點移除演算法	31
3.5　姿態辨識之策略設計	33
第四章　測距系統設計與實現	35
4.1　前言	35
4.2　物件分割	35
4.3　Canny邊緣檢測	39
4.4　輪廓標記與追蹤	42
4.5　觀測模型	43
第五章　實驗結果	47
5.1　圖像資料庫	47
5.2　機器人辨識之實驗結果	48
5.3　機器人姿態辨識之實驗結果	49
5.4　影像辨識系統的實現	54
第六章　結論與未來展望	56
參考文獻	57


 
圖目錄
圖1.1、足球場攝影機位置示意圖	1
圖2.1、外部觀測平台實體圖	5
圖2.2、實驗空間俯視示意圖(單位:公分)	6
圖2.3、實驗空間側視示意圖(單位:公分)	6
圖2.4、高速攝影機架示意圖	7
圖2.5、高速攝影機架設計與尺寸圖	7
圖2.6、高速攝影機與鏡頭實體圖	8
圖2.7、筆記型電腦實體圖	9
圖2.8、PR2機器人示意圖	10
圖2.9、ROS節點示意圖	11
圖3.1、系統方塊圖	13
圖3.2、顏色辨識流程圖	14
圖3.3、高斯核計算過程示意圖	15
圖3.4、高斯模糊數值結果示意圖	15
圖3.5、高斯模糊實驗圖	15
圖3.6、RGB色彩模型圖	16
圖3.7、HSV色彩模型圖	17
圖3.8、色彩空間轉換實驗圖	18
圖3.9、影像建模實驗圖	20
圖3.10、運動目標檢測流程圖	21
圖3.11、灰階處理實驗圖	22
圖3.12、背景減除法實驗圖	23
圖3.13、二值化追蹤實驗圖	24
圖3.14、背景模型更新實驗圖	25
圖3.15、ORB特徵匹配流程圖	26
圖3.16、圖像特徵示意圖	27
圖3.17、FAST特徵示意圖	28
圖3.18、計算特徵描述子示意圖	30
圖3.19、ORB特徵點實驗圖	31
圖3.20、漢明距離計算示意圖	31
圖3.21、離群點移除計算示意圖	32
圖3.22、特徵匹配實驗圖	33
圖3.23、機器人姿態示意圖	34
圖3.24、姿態辨識之策略流程圖	34
圖4.1、影像遮罩示意圖	36
圖4.2、連通物件標記標籤示意圖	37
圖4.3、連通物件標記合併標籤示意圖	38
圖4.4、物件分割實驗圖	39
圖4.5、非極大值抑制示意圖	41
圖4.6、邊界處理實驗圖	42
圖4.7、輪廓標記示意圖	43
圖4.8、儲存輪廓點比較圖	43
圖4.9、相機與地面幾何關係示意圖	44
圖4.10、地面與影像平面投影關係示意圖	44
圖4.11、x軸地面與影像平面幾何關係示意圖	45
圖4.12、實際測距誤差圖	46
圖5.1、十代小型人形機器人辨識實驗結果圖	49
圖5.2、十代小型人形機器人背面姿態辨識之辨識結果圖	50
圖5.3、十代小型人形機器人右抬手姿態辨識之辨識結果圖	51
圖5.4、十代小型人形機器人左抬手姿態辨識之辨識結果圖	52
圖5.5、十代小型人形機器人姿態辨識之數據圖(背面)	53
圖5.6、十代小型人形機器人姿態辨識之數據圖(左抬手)	53
圖5.7、十代小型人形機器人姿態辨識之數據圖(右抬手)	54
圖5.8、十代小型人形機器人動態影像辨識過程	55
 
表目錄
表2.1、鏡頭規格表	8
表2.2、高速攝影機規格表	8
表2.3、筆記型電腦(LAPTOP)規格表	9
表3.1、顏色追蹤的OpenCV函式列表	14
表3.2、顏色模型之色彩代碼	20
表3.3、運動目標檢測OpenCV函式列表	22
表3.4、ORB特徵匹配的OpenCV函式列表	26
表4.1、連通物件標籤統整表	37
表4.2、物件分割的OpenCV函式列表	38
表4.3、邊緣檢測的OpenCV函式列表	41
表4.4、輪廓標記與追蹤的OpenCV函式列表	42
表5.1、實驗用之參考圖像資料庫	47
表5.2、十代小型人形機器人辨識結果	49
表5.3、十代小型人形機器人背面姿態辨識之辨識結果	50
表5.4、十代小型人形機器人右抬手姿態辨識之辨識結果	51
表5.5、十代小型人形機器人左抬手姿態辨識之辨識結果	52

[1]	“FIRA Robot Competitions” 
URL: http://www.firaworldcup.org/VisitorPages/default.aspx?itemid=3.
[2]	“RoboCup Competitions” URL: https://www.robocup.org/.
[3]	“Open Source Computer Vision Library, OpenCV”, URL: https://opencv.org/.
[4]	Y. Wu, Y. Shan, Y. Xu, S. Wang, and Y. Zhuang, “The implementation of lane detective based on OpenCV,” IEEE Second WRI Global Congress on Intelligent Systems, Wuhan, China, 2010.
[5]	曹毓、馮瑩、雷兵、楊雲濤、趙立雙，逆透視映射公式的誤差分析及準確度驗證，國防科學技術大學光電科學與工程學院，2011。
[6]	“Point Grey 高速攝影機 FLIR系列” URL: https://www.ptgrey.com/
[7]	“工業鏡頭”, URL: https://computar.com/
[8]	M. Quigley, K. Conley, B. Gerkey, J. Faust, T. Foote, J. Leibs, R. Wheeler, and A. Y. Ng, “ROS: An open-source Robot Operating System,” ICRA Workshop on Open Source Software, 2009.
[9]	“PR2 機器人” URL: https://www.willowgarage.com/pages/pr2/overview.
[10]	K. Cameron and M.S. Islam, “Multiple objects detection using HSV,” IEEE National Aerospace and Electronics Conference, Dayton, OH, USA, pp. 270-273, 2018.
[11]	R.S. Deepthi and S. Sankaraiah, “Implementation of mobile platform using QT and OpenCV for image processing applications,” IEEE Conference on Open System, Langkawi, Malaysia, pp. 284-289, 2011.
[12]	R.R. Palekar, S.U. Parab, D.P. Parikh, “Real time license plate detection using OpenCV and Tesseract,” IEEE International Conference on Communication and Signal Processing, Chennai, India, pp. 2111-2115, 2017.
[13]	P. Shopa, N. Sumitha, and P.S.K Patra, “Traffic sign detection and recognition using OpenCV,” IEEE International Conference on Communication and Embedded Systems, Chennai, India, 2014.
[14]	簡瑜萱，基於ROS之人形機器人的影像定位與導航，淡江大學電機工程學系碩士論文，(指導教授：翁慶昌)，2017。
[15]	M. Li, H. Wang, X. Yan, and L. Xu, “An extraction method of moving object based on visual cognition mechanism,” IEEE International Conference on Computer and Information Technology, Bradford, UK, pp. 544-551, 2010.
[16]	D. Li, B. Liang, and W. Zhang, “Real-time moving vehicle detection, tracking, and counting system implemented with OpenCV,” IEEE International Conference on Information Science and Technology, Shenzhen, China, pp. 631-634, 2014.
[17]	賴裕宏，基於影像處理之人體姿態辨識，交通大學電機學院電機產業研發碩士論文，(指導教授：宋開泰、陳福川)，2009。
[18]	陳啟城，影像特徵點選取與描述方法於影像匹配應用之研究，高雄應用科技大學土木工程與防災科技研究所碩士論文，(指導教授：李良輝)，2013。
[19]	F.K. Noble, “Comparison of OpenCV’s feature detectors and feature matchers,” IEEE International Conference on Mechatronics and Machine Vision in Practice, Nanjing, China, 2016.
[20]	朱永豐、朱述龍、張靜靜、朱永康，基于 ORB 特徵的單目視覺定位算法研究，信息工程大學導航與空天目標工程學院、河南大學環境與規劃學院、佛山市高明區技工學校，2016。

[21]	E. Rublee, V. Rabaud, K. Konolige, and G.R. Bradski, “ORB: an efficient alternative to SIFT or SURF,” IEEE International Conference on Computer Vision, Barcelona, Spain, pp. 1-8, 2011.
[22]	F. Meng and F. You, “A Tracking Algorithm Based on ORB,” IEEE International Conference on Mechatronic Sciences, Electric Engineering and Computer, Shengyang, China, pp. 1187-1190, 2013.
[23]	C. Ma, X. Hu, L. Fu, and G. Zhang, “An improved ORB algorithm based on multi-feature fusion,” IEEE 27th International Symposium on Industrial Electronics, Cairns, QLD, Australia, pp. 729-734, 2018.
[24]	“漢明距離”
URL:https://zh.wikipedia.org/wiki/%E6%B1%89%E6%98%8E%E8%B7%9D%E7%A6%BB
[25]	S. Zhang, C. Li, and L. Li, “An Improved Method for Eliminating False Matches,” IEEE International Conference on Image, Vision and Computing, Chengdu, China, pp. 133-137, 2017
[26]	施博仁，使用模板追蹤技術之及時模型式三維物體姿態估測方法與實現，淡江大學電機工程學系碩士論文，(指導教授：蔡奇謚)，2016。
[27]	W. Premchaiswadi and P. Sutheebanjard, “Compact scan mask for 3-D connected components labeling,” IEEE Ninth International Conference on ICT and Knowledge Engineering, Bangkok, Thailand, pp. 145-149, 2012.
[28]	C. Topal, C. Akınlar, and Y. Genç, “Edge Drawing: A Heuristic Approach to Robust Real-Time Edge Detection,” IEEE International Conference on Pattern Recongnition, Istanbul, Turkey, pp. 2424-2427, 2010.
[29]	J. Canny, “A computational approach to edge detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 6, pp. 679-698,  1986.
[30]	劉得志，基於IMU之人形機器人行走影像校正，淡江大學電機工程學系碩士論文，(指導教授：鄭吉泰)，2015。