本論文發展人類與機器人之間的非言語互動行為，分為四個部份：首先利用膚色與動態的樣板橢圓偵測法，可以定位人臉在距離機器人不同距離的影像中區域位置；第二，從人臉區域中萃取包括瞳孔與眉毛兩端等共六個特徵點，並依據六個特徵點的幾何位置關係，設計模糊推論控制器判斷操作人員是否凝視機器人。第三，針對凝視機器人的操作人員，辨識其所指示的手勢命令。最後，根據操作人員凝視的狀態以及手勢命令的辨識，結合機器人的兩輪運動控制，執行操作人員所給予的動作命令，完成人類與機器人之間非語言的互動行為。

In this thesis, a non-verbal interaction system is developed for a robot to interact with human. The research project is composed of four parts: First, we detect human face in difference distance using the methods of skin color matching and ellipse template matching. Second, from the detected human face, we extract six face features, including two center points of pupils and four extreme points of two eyebrows. Furthermore, a fuzzy system is designed, according to the relative positions of six features, to determine whether the operator gazes at the robot. Third, if the operator turns his gaze to the robot, the robot system will recognize the gesture performed by the operator as a command. Finally, after the robot system obtains the command from the gaze recognition and gesture recognition, it will implement the command according to an algorithm of two-wheeled motion control, and complete the non-verbal interaction with human.

中文摘要	I
英文摘要	II
目錄	III
圖目錄	VI
表目錄	XI
第一章 序論	1
1.1 研究動機與目的	1
1.2 文獻探討	1
1.3 研究範圍	2
1.4 論文架構	3
第二章 雙眼視覺輔助伺服控制	4
2.1 雙眼視覺座標轉換	5
2.2 兩輪機器人運動控制	7
2.3 位置式視覺伺服控制	10
2.4 機體座標運動控制	11
2.5 機體座標追蹤控制	13
第三章 人臉偵測與手勢辨識	16
3.1人臉偵測	16
3.1.1 膚色分割	16
3.1.2 斷開運算	19
3.1.3 膚色物件聯結	20
3.1.4 影像邊緣與橢圓樣板比對	23
3.2 人臉資料萃取與呈現	29
3.2.1 瞳孔特徵擷取	30
3.2.2 眉毛特徵擷取	33
3.3 凝視辨識	36
3.3.1 模糊邏輯控制器	36
3.3.2 模糊化介面	37
3.3.3 模糊推論引擎與模糊規則庫	39
3.4 手勢辨識	41
第四章 系統設備	44
4.1雙眼視覺機器人系統	44
4.2雙眼視覺兩輪機器移動平台人機構設計	44
4.3 影像處理軟體與控制程式	47
4.4 雙眼視覺機器人電路系統	48
4.4.1 兩輪機器人控制晶片及雙眼伺服馬達控制電路	50
4.4.2 18F4331微處理晶片周邊電路	51
4.4.3 降壓電路與邏輯閘	52
4.4.4 串列通訊電路	53
4.4.5 正交編碼器(QEI模組)	54
4.4.6 兩輪移動平台驅動電路	55
第五章 實測範例	57
5.1 攝影機參數 測試	58
5.2 Fuzzy歸屬函數測定	62
5.3 人臉偵測實測	67
5.4 凝視實測	72
5.5 雙眼機器人執行手勢命令與物件追蹤控制	76
第六章 結論	79
6.1 研究成果	79
6.2 未來展望	79
參考文獻	80
附錄A 兩輪機器人機體座標動態方程式	83
附錄B 兩輪移動機器人系統參數	84
附錄C Heron 公式推導證明	85
附錄D 機器人視覺裝置與伺服馬達硬體規格	87
附錄E Maxon馬達與回授編碼器規格	91


 
圖目錄
圖2.1  具備雙眼視覺的行動機器人	4
圖2.2  行動機器人座標的設定	4
圖2.3  空間中的點成像於攝影機的影像平面	6
圖2.4  目標點與兩部攝影機的幾何關係	6
圖2.5  目標點與攝影座標系統的關係	7
圖2.6  馬達驅動兩輪機器人	9
圖2.7  Lyapunov控制方塊圖	9
圖2.8  兩輪機器人逆動力學控制	9
圖2.9  兩輪機器人機體座標Lyapunov控制	13
圖2.10 兩輪機器人機體座標逆動力學控制	13
圖2.11 機體控制路徑規劃	14
圖2.12 機體在場地座標系中的移動軌跡	14
圖2.13 目標物在機體座標系中的移動軌跡	15
圖3.1  人臉偵測與手勢辨識流程	16
圖3.2  膚色在RGB色彩空間中的分佈	17
圖3.3  膚色在HSV色彩空間中的分佈	18
圖3.4  膚色在YCrCb色彩空間中的分佈	18
圖3.5  膚色在Cr-Cb色彩平面上的分佈	19
圖3.6  膚色偵測	19
   (a)  原始影像	19
   (b)  二值化後的膚色分割影像	19
圖3.7  斷開運算遮罩	20
圖3.8  斷開運算範例	20
   (a)  二值化後的膚色分割影像	20
   (b)  圖3.8 (a)經斷開運算後的結果	20
圖3.9  八連通相鄰元素	21
圖3.10 相鄰物件聯結掃描流程	22
圖3.11 膚色區塊編號	22
圖3.12 Sobel遮罩	23
   (a)  水平遮罩	23
   (b)  垂直遮罩	23
圖3.13 物體邊緣的偵測	23
   (a)  原始影像	23
   (b)  邊緣影像	23
圖3.14 數位橢圓	24
圖3.15 橢圓的四個斷點	25
圖3.16 建構橢圓模型	25
圖3.17 橢圓模型座標系	25
圖3.18 不同距離下的橢圓比對	27
   (a)  距離2.08M	27
   (b)  距離1.54M	27
   (c)  距離1.16M	27
圖3.19 人臉偵測程式流程	27
圖3.20 人臉偵測流程範例	28
   (a)  原始影像	28
   (b)  背景與膚色分割	28
   (c)  物件聯結	28
   (d)  Sobel邊緣與橢圓樣板比對	28
   (e)  最後人臉偵測結果	29
圖3.21 人臉特徵點	29
圖3.22 徑向對稱轉換處理流程	30
圖3.23 p點梯度向量定位	31
圖3.24 徑向對稱轉換流程(n=6)	32
   (a)  原始影像	32
   (b)  強度投射影像 	32
   (c)  方位投射影像 	32
   (d)   	32
   (e)   	32
圖3.25 灰階強度差異的轉換影像	33
   (a)  原始影像	33
   (b)  n=5比對後的影像	33
圖3.26 Sobel轉換影像與灰階強度差異的轉換影像	34
   (a)  Sobel轉換影像	34
   (b)  灰階強度差異的轉換影像	34
圖3.27 搜尋瞳孔與眉毛特徵的範圍	35
圖3.28 各別設定特徵處理範圍範例	35
   (a)  原始影像	35
   (b)  強度投射影像 	35
   (c)  眉毛特徵	35
   (d)  人臉特徵擷取結果	35
圖3.29 Fuzzy邏輯控制器基本架構	36
圖3.30 人臉瞳孔特徵投影	38
圖3.31 人頭旋轉情況	39
圖3.32 四種手勢方向命令表示	41
圖3.33 目標點位置計算YZ平面投影	42
圖3.34 目標點位置XZ平面投影	42
圖4.1  雙眼視覺機器人機構	44
圖4.2  雙眼視覺頭部機構	45
圖4.3  頭部左右旋轉自由度	46
圖4.4  視角上下旋轉自由度	46
圖4.5  嘴巴張開閉合自由度	47
圖4.6  程式流程圖	48
圖4.7  微處理器工作流程	49
圖4.8  命令格式	49
圖4.9  兩輪機器人控制晶片整體電路	50
圖4.10 兩輪機器人控制晶片實體電路	51
圖4.11 微處理晶片周邊電路	52
圖4.12 微處理晶片程式處理流程	52
圖4.13 降壓電路	53
圖4.14 邏輯閘74SL14電路	53
圖4.15 準位轉換示意圖	54
圖4.16 SHARP PC817內部示意圖	54
圖4.17 串列通訊電路	54
圖4.18 QEI功能模組電路	55
圖4.19 LMD18200內部邏輯電路	56
圖4.20 LMD18200腳位接腳	56
圖4.21 LMD18200驅動電路圖	57
圖4.22 LMD18200實體電路	57
圖5.1  測試用方格紙	59
圖5.2  測試格紙在不同距離求算的 值	60
圖5.3  距離誤差測試用方格紙	61
圖5.4  不同距離下之方均根誤差	62
圖5.5  歸屬函數實測環境	63
圖5.6  右眼正視輸入變數分布	64
圖5.7  左眼正視輸入變數分布	64
圖5.8  頭部正向輸入變數分布	65
圖5.9  右眼視線方向歸屬函數集合	65
圖5.10 左眼視線方向歸屬函數集合	66
圖5.11 頭部旋轉方向歸屬函數集合	66
圖5.12 EGD之模糊集合	66
圖5.13 左右眼模糊控制器輸出曲線	67
圖5.14 不同人員人臉偵測與特徵擷取影像流程	68
   (a)  攝影機擷取影像	68
   (b)  膚色分割影像	68
   (c)  膚色物件聯結	68
   (d)  Sobel邊緣影像與橢圓樣板	68
   (e)  徑向對稱轉換 強度投射影像	69
   (f)  徑向對稱轉換 方向投射影像	69
   (g)  徑向對稱轉換 	69
   (h)  眉毛特徵擷取	69
   (i)  人臉特徵擷取結果	70
圖5.15 不同距離的人臉偵測與特徵擷取影像流程	70
   (a)  攝影機擷取影像	70
   (b)  膚色物件聯結	70
   (c)  Sobel邊緣影像與橢圓樣板	71
   (d)  徑向對稱轉換 強度投射影像	71
   (e)  徑向對稱轉換 方向投射影像	71
   (f)  徑向對稱轉換 	71
   (g)  眉毛特徵擷取	72
   (h)  人臉特徵擷取結果	72
圖5.16 凝視與非凝視測試情形(距離1.5m)	73
(a)	 凝視偵測	73
(b)	 非凝視偵測	73
圖5.17 非凝視狀態測試結果	73
圖5.18 凝視狀態測試結果	74
圖5.19 右眼輸入變數所對應的角度關係	74
圖5.20 左眼輸入變數所對應的角度關係	75
圖5.21 頭部輸入變數所對應的角度關係	75
圖5.22 正視角度偵測	75
   (a)  輸入影像	75
   (b)  正視 	75
圖5.23 右視角度偵測	76
   (a)  輸入影像	76
   (b)  右視 	76
圖5.24 左視角度偵測	76
   (a)  輸入影像	76
   (b)  左視 	76
圖5.25 機器人執行手勢向上命令追蹤人員	77
圖5.26 場地座標上機器人運動軌跡圖	78
圖C.1  三角形各個邊長	85
圖D.1  Logitech QuickCam™ Communicate STX	87
圖D.2  S06MG伺服器	88
圖D.3  控制訊號示意圖	88

表目錄
表3.1  眼睛方向模糊規則表	40
表3.2  凝視狀態模糊規則表	40
表5.1  在不同距離下之 值	59
表5.2  在不同距離下之方均根誤差	61
表B.1  兩輪移動機器人系統參數	84
表D.1  伺服機規格	87
表D.2  廣營伺服機工作界線脈寬與轉角規格表	88
表D.3  廣營伺服機脈寬與轉角規格特性表	89

[1]	Barraquand, J. and J.C. Latombe, “Nonholonomic multibody mobile robots: controllability and motion planning in the presence of obstacles”, Proceeding of IEEE International Conference of Robotics and Automation, pp.2328-2335, 1991.
[2]	Backhage, C., Kaster, T., Rotemstein, A. M., Tsotsos, J. K.,” Fast Learning for Customizable Head Pose Recognition in Robotic Wheelchair Control“, Automatic Face and Gesture Recognition, pp.311-316,2006. 
[3]	Birchfield, S., “An Ellipse Head Tracker”, 31st Asilomar Conference on Signals, Systems, and Computers, November 1997.
[4]	Bloch, A. M. and McClamroch, N. H., “Control of mechanical systems with classical nonholonomic constraints”, Proceeding IEEE Conference on Decision and Control, pp.201-205, 1989.
[5]	Brunelli, R. and T. Poggio, “Template Matching: Matched Spatial Filters And Beyond”,  MIT AI Memo 1549, July 1995.
[6]	Campion, G., B. d’Andrea-Novel, and G. Bastin, “Controllability and state feedback stability of nonholonomic mechanical systems”, Proceedings of International Workshop in Adaptive and Nonlinear Control: Issues in Robotics, pp.106-124, Grenoble, 1990.
[7]	Su, C., Haralick, R. M., “Recursive Erosion , Dilation , Opening , and Closing Transforms”. Image Processing, IEEE Transactions on, vol. 4 pp.335-345,1995
[8]	Foresti, G., L. C. Micheloni, L. Snidaro, C. Marchiol, “Face Detection for Visual Surveillance”, Proc. of the 12th International Conference on Image Analysis and Processing, 2003.
[9]	Gonzalez, R. C., Woods, R. E., “Digital Image Processing”, 2nd ed., Prentice-Hall, New Jersey, 2002.
[10]	Gareth. L. and Alexander Z., “Fast Radial Symmetry for Detecting Points of Interest”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 25 No .9, 2003, pp. 959-973.
[11]	Horn, B.K.P., Robot vision. Cambridge, MA: MIT Press, 1986.
[12]	Hutchinson, S., G.D. Hager, and P.I. Corke, “A Tutorial on Visual Servo Control”, IEEE Transactions on Robotics and Automation, vol.12, no.5, pp.651-670, October 1996.
[13]	Ido, J., Yoshio, M., Y. Matsumoto, T. Ogasawara, and R. Nisimura, “Humanoid with Interaction Ability Using Vision and Speech Information ”, IEEE/RSJ International Conference on Intelligent Robots and System, pp.1316-1321, Oct.2006. 
[14]	Shi, H. J., Hong, Y. Y. Mark Liao, Ming. Y. C., and Yao, T. L., “An Efficient Approach for Facial Feature Detection Using Geometrical Face Model”, to appear in Pattern Recognition, 1997.
[15]	Junichi I., Yoshio M., Tsukasa O., Ryuichi N., “Humanoid with Interaction Ability Using Vision and Speech Information”, International Conference on Intelligent Robots and Systems, pp.1316-1321, 2006.
[16]	Kim, K. K., Kwak, K. C., Chi S. Y., “Gesture Analysis for Human-Robot Interaction”, ICACT , The 8th International Conference, vol.3, pp.1824-1827, 2006. 
[17]	Kuo, T. K., 2002, A Robust Visual Servo Based Headtracker with Auto-Zooming in Cluttered Environment, Master Thesis, Department of Electrical Engineering, Notional Taiwan University.
[18]	Kuo, T. K., C. M. Huang, L. C. Fu, P. Y. Chen, “A Robust Visual Servo Based Headtracker with Auto-Zooming in Cluttered Environment”, Proc. of the American Control Conference, Denver, Colorado, June 4-6 2003.
[19]	Kyung-Kim Kye, Kwak Change,Young-Chi Su, “Gesture Analysis for Human-Robot Interaction”, International Conference on Advanced Communication Technology, pp.20-22,2006.
[20]	Laumond, J.P., “Feasible trajectories for mobile robots with kinematic and environment constraints”, International Conference on Intelligent Autonomous Systems, pp.346-354, Amsterdam, 1986.
[21]	Stan, Z. L., Anil, K. J., “Handbook of Face Recognition” Jain, ed., Springer-Verlag, June, 2004.
[22]	Yoshio, M., Zelinsky, A., “ An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement ”, International Conference on Automatic Face and Gesture Recognition, pp.499-504, 2000.
[23]	Sobel, I. E., 1970, Camera Models and Machine Perception, Ph.D. Thesis, Department of Electrical Engineering, Stanford University.
[24]	Sobottka, K. and Pitas, I., “Extraction of Facial Regions and Features Using Color and Shape Information”, in Proc. 13th International Conference on Pattern Recognition, pp.421-425, Vienna, Austria, August 1996.
[25]	Turk, M. and Pentland, A., “Eigenfaces for recognition”, Journal of Cognitive Neuro-science, vol.3, no.1, pp.71-86, 1991.
[26]	Yea, S. H., Hoa, Y. C., Po, F. C. and Cheng, Y. T. “ Face Detection with High Precision Based on Radial-Symmetry Transform and Eye-Pair Checking” , Proceeding of IEEE International Conference on Video and Signal Based Surveillance , 2006.
[27]	林煌山，「利用膚色及區域極小值作人臉特徵是否遮蔽之偵測判斷」，碩士論文，國立中央大學資訊工程研究所，民國九十二年六月。
[28]	黃泰祥，「具備人臉追蹤與辨識功能的一個智慧型數位監視系統」，碩士論文，中原大學電子工程學系，民國九十三年六月。
[29]	許鈞程，「在室內複雜環境下實現自動人頭追蹤系統」，碩士論文，國立台北科技大學電機工程研究所，民國九十四年七月。
[30]	陳添義，「追蹤控制具備全方位視覺之兩輪足球機器人」，碩士論文，淡江大學機械與機電工程學系，九十五年七月。
[31]	陳彥良，「即時立體視覺物體追蹤系統」，碩士論文，中原大學機械工程學系，民國九十二年七月。
[32]	陳俊隆，「以FPGA設計兩輪自主機器人之行為式控制系統」，碩士論文，淡江大學機械與機電工程學系，九十六年七月。
[33]	潘奕安，「低解析度影像序列之自動化表情辨識系統」，碩士論文，成功大學資訊工程學系，民國九十三年七月。
[34]	盧俊宇，「雙眼視覺兩輪移動機器人之追蹤控制」，碩士論文，淡江大學機械與機電工程學系，民國九十五年六月。
[35]	蘇芳生，「人臉表情辨識系統」，碩士論文，中正大學通訊工程研究所，民國九十三年七月。