在人與機器人互動的領域裡，通常透過傳統的互動介面來控制一
台機器人。然而對於某些應用來說，這些傳統的介面並不是最適合
的選擇。因此我們希望能夠以更簡單、更容易學習的介面取代這類
的系統，以提升操作者的使用者體驗。為了解決這種問題，使用自
然使用者介面是一種可行的取代方式，儘管已經有使用自然使用者
介面與機器人互動的相關研究，但這些研究大多專注於探討如何建
立系統內的感測、溝通的方法，缺乏人與機器人間互動的討論。
因此本論文的目的是以人為出發點設計一個人與機器人互動的
自然使用者介面。本研究採用直覺化的手勢來操作機器人，而直覺
的互動方式能夠減少使用者熟悉系統的時間、提供更好的使用者體
驗。在研究中，我們以移動機器人做為主題設計的互動方式，藉由
符合人對於隔空操作機器人的想像，達到人與機器人之間直覺的互
動。最後經過實驗，我們能夠在 1 分鐘的口頭教學與 10 分鐘的測試
中，讓使用者快速熟悉介面，同時有 94%的受測者對此使用介面感到
滿意。

In the human-robot interaction field, a robot is usually controlled via
classic interaction devices such as keyboards, mice and joysticks . These
devices may not be the most suited options for some applications ,we should
be able to use a interface that more simple and easier to learn to replace
such of systems to improve people's user experience. Natural user interface
is a chioce.Although there have been some studies using natural user
interface to interact with the robot, but they are often to provide a method
of sensing, communication ,or how to build a system, and provide a way to
interact with robots. These studies lack of the discussion of human-robot
interaction.
Therefore ,the purpose of this paper is to design a gesture-based natural
user interface that human as the start point. Gesture designed to be
intuitive, intuitive interaction can reduce the time people familiar the
system and improve the user experience.
After the experiment, we were able to let human familiar our system
quickly in a 10 minute test , while 94% of users are satisfied with our user
interface.

目錄
第一章 緒論	1
1.1 前言	1
1.2 研究動機	1
第二章 文獻探討	3
2.1 圖形使用者介面	3
2.2 自然使用者介面	4
2.3 手勢控制機器人的相關研究	4
2.4 可用性	9
第三章 自然使用者介面之設計與方法	10
3.1 手勢動作設計	10
3.2 系統架構	16
第四章 手勢輸入子系統	19
4.1 影像處理模組	19
4.1.1 手掌資訊抓取	20
4.1.2 計算手掌位置	22
4.1.3 靜態手勢辨認	25
4.1.4 動態手勢辨認	26
4.2 手勢命令模組	29
第五章 機器人控制輸出子系統	30
5.1 機器人控制模組	31
5.1.1 機器人定位模組	31
5.1.2 移動控制模組	33
5.1.1 馬達控制模組	35
5.2 全向輪機器人	37
第六章 實驗結果與討論	39
6.1 實驗設計	39
6.1.1 實驗目標	39
6.1.2 任務設計	40
6.2 實驗結果	43
第七章 結論與未來展望	47
參考文獻	48
 
圖目錄
圖 2.1典形圖形使用者人機介面	3
圖 2.2 Shang等人用KINCET辨識手掌影像	5
圖 2.3 Shang等人開發之救援機器人	5
圖 2.4 Choi等人利用手勢控制投影機器人	6
圖 2.5 Katic等人設計之機器人與控制示意圖	7
圖 2.6 Katic等人設計之手勢	7
圖 2.7 Bandeira等人設計之手勢	8
圖 3.1手掌相對位置與機器人座標連結示意圖	11
圖 3.2手掌移動與機器人目標點連結示意圖	11
圖 3.3電影作品隔空移物手掌姿態圖	12
圖 3.4手勢控制流程Step1示意圖	13
圖 3.5手勢控制流程Step2示意圖	14
圖 3.6手勢控制流程Step3示意圖	14
圖 3.7手勢控制流程示意Step4示意圖	15
圖 3.8手勢控制流程Step5示意圖	15
圖 3.9機器人移動途中手掌位置移動示意圖	16
圖 3.10相對位置示意圖	17
圖 3.11系統架構圖	18
圖 4.1手勢輸入子系統架構圖	19
圖 4.2 KINCET所取得之彩色影像	20
圖 4.3 KINCET所取得深度影像及骨架資訊	21
圖 4.4利用手掌節點的深度值抓取手掌並二值化。	21
圖 4.5對長方形物件進行Distance transform的運算	22
圖 4.6 Distance transform示意圖(原圖與結果)	24
圖 4.7掌心偵測圖	24
圖 4.8張手範例圖(5隻手指，判斷為張開)	25
圖 4.9閉合範例圖(2隻手指，判斷為未張開)	26
圖 4.10無法辨識的手勢影像	26
圖 4.11手勢開合切換流程圖	28
圖 4.12手掌移動向量示意圖	29
圖 5.1機器人控制輸出子系統架構圖	30
圖 5.2 KINCET架設圖	32
圖 5.3機器人頂部之30度等腰三角形	32
圖 5.4三角形重心與角度計算	33
圖 5.5機器人目標點示意圖	34
圖 5.6機器人路徑規劃示意圖	34
圖 5.7三輪全向輪機器人基本架構圖	36
圖 5.8三輪全向輪機器人之座標圖	36
圖 5.9全向輪機器人本體圖	37
圖 5.10全向輪機器人(不含頂部)側面圖	38
圖 5.11全向輪機器人(不含頂部)俯視圖	38
圖 6.1任務場地與區塊分布圖	40
圖 6.2操作區提示線圖	41
圖 6.3操作機器人之圖形化介面示意圖	42
圖 6.4測試者與熟練者完成時間比較圖	44
 
表目錄
表 6.1實驗結果	43
表 6.2圖形化介面與本論文介面操作機器人效率比較表	45

參考文獻
[1]	Wigdor, Daniel, and Dennis Wixon. "Brave NUI world: designing natural user interfaces for touch and gesture". Elsevier, 2011。
[2]	Dilman Salih, "Natural User Interfaces. School of Computer Science", University of Birmingham Research Topics in HCI,2014。
[3]	D.Norman , "Natural user interfaces are not natural". Interactions, 17(3),6-10,(2010)。
[4]	"GUI definition". Linux Information Project. October 1, 2004。
[5]	W. Shang, X. Cao, H. Ma, H. Zang, and P. Wei, "Kinectbasedvision system of mine rescue robot for low illuminousenvironment", Journal of Sensors, vol. 2016, Article ID 8252015,9 pages, 2016。
[6]	S. W. Choi, W. J. Kim and C. H. Lee, " Interactive display robot: projector robot with natural user interface", Proceedings of the 8th ACM/IEEE international conference on Human-robot interaction, pp. 109-110. 2013。
[7]	Katić, D., et al. "Advanced Gesture and Pose Recognition Algorithms Using Computational Intelligence and Microsoft KINECT Sensor." New Trends in Medical and Service Robots. Springer International Publishing, 2014. 193-207. 
[8]	Gabriel M. Bandeira , Michaela Carmo , Bianca Ximenes , Judith Kelner ,Using Gesture-Based Interfaces to Control Robots,.Springer International Publishing Switzerland 2015, Human-Computer Interaction, Part II, HCII 2015, LNCS 9170, pp. 3–12, (2015)。
[9]	Nielsen, Jakob. Usability engineering. Elsevier, 1994。
[10]	Nielsen,Jakob. Usability 101:Introduction to Usability ,URL：https://www.nngroup.com/articles/usability-101-introduction-to-usability/。
[11]	X: First Class, Matthew Vaughn,(2011) 。
[12]	StarWars, George Lucas,(1997) 。
[13]	Ren, Zhou, Junsong Yuan, and Zhengyou Zhang. "Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera." Proceedings of the 19th ACM international conference on Multimedia. ACM, 2011。
[14]	R. Kimmel, N. Kiryati, and A. M. Bruckstein. Distance maps and weighted distance transforms. Journal of Mathematical Imaging and Vision, Special Issue on Topology and Geometry in Computer Vision, 6:223-233,(1996)。
[15]	Ghobadi, Seyed Eghbal, et al. "Real time hand based robot control using multimodal images." IAENG International Journal of Computer Science 35.4 (2008): 500-505。
[16]	劉智誠，全方位模糊運動控制器之設計與實現，淡江大學電機工程學系碩士論文，2006。
[17]	Arduino , URL：https://www.arduino.cc/。
[18]	LEGO,URL：http://www.lego.com/en-us/。
[19]	NXShield,URL：http://www.mindsensors.com/content/64-nxshield-documents。