本論文提出一個基於視覺之指向動作辨識的人機互動方法和用於雙臂機器人之基於指向向量的物件夾取方法。所提出的方法使雙臂機器人能夠有效地辨識環境中的使用者，並且依據使用者之指向動作來決定一個桌上的物件，完成這個指定物件的夾取任務。主要有三個部分：(1) 機械手臂之運動學、(2) 人機互動之物件取放策略、以及(3) 實驗結果。在機械手臂之運動學上，本論文將七軸機械手臂拆解為前四軸及後三軸兩個部分。然後藉由正運動學與各關節的幾何關係來獲得機械手臂之逆運動學的解。在人機互動之物件取放策略上，本論文首先將指尖在視角上會與目標物件之中心位置重疊的動作定義為指向動作。然後使用YOLOv4偵測影像中的使用者之手部及頭部，並利用其邊界框內之點雲來計算三維空間中的指向向量。此外，將桌面上之點雲聚類成一個可夾取之物件點雲，根據桌面上之物件與指向向量之間的歐式距離來判斷使用者之指向動作所指定物件。最後，由螢幕顯示其物件的點雲，讓使用者驗證它確實是要夾取的目標物件，並根據獲得的末端執行器的位置與姿態來控制機械手臂完成物件夾取任務。在實驗結果上，設計了一些實驗來分析指向動作辨識方法在不同位置的準確率和指向動作在多個物件中正確選擇所指定物件的成功率。由實驗結果可知，系統確實可以正確判讀使用者之指向動作所要指定的物件，並且讓機械手臂成功地夾取這個目標物件。

In this thesis, a human-robot interaction method using vision-based pointing action recognition and an object grasping method based on the pointing vector for a dual-arm robot are proposed. The proposed methods enable a dual-arm robot to effectively recognize the user in the environment and determine an object on the table according to the user's pointing action to complete a task of grasping this specified object. There are three main parts: (1) kinematics of robot manipulator, (2) human-robot interaction for object picking and placing strategy, and (3) experimental results. In the kinematics of robot manipulator, the seven-axis robot manipulator is disassembled into two parts: the first four axes and the last three axes. Then the solution of the inverse kinematics of the robot manipulator is obtained by the geometric relationship between the positive kinematics and each joint. In the human-robot interaction for object picking and placing strategy, this thesis firstly defines the action where the fingertip overlaps the center position of the target object in the view angle as the pointing action. Then YOLOv4 is used to detect the user's hand and head in the image, and use the point clouds within the bounding box to calculate the pointing vector in the three-dimensional space. In addition, the point clouds on the working table are clustered into an object point cloud that can be grasped, and the object specified by the user's pointing action is determined based on the Euclidean distance between the object on the table and the pointing vector. Finally, the object point cloud is displayed on the screen to let the user verify that it is indeed the target object is to be grasped, and the robot arm is controlled to complete the object grasping task according to the obtained position and pose of the end effector. In the experimental results, some experiments are designed to analyze the accuracy rate of the pointing action recognition method at different positions and the success rate of the pointing action to correctly select the specified object among multiple objects. It can be seen from the experimental results that the system can indeed correctly interpret the object specified by the user's pointing action, and allow the robot arm to successfully grasp the target object.

中文摘要	Ⅰ
英文摘要	Ⅱ
目錄	III
圖目錄	VI
表目錄	VIII
第一章 緒論	1
  1.1 研究背景	1
  1.2 研究動機與目的	3
  1.3 論文架構	5
第二章 系統架構與軟硬體設備	6
  2.1 系統架構	6
  2.2 硬體設備	9
    2.2.1 攝影機	9
    2.2.2 攝影機基座	10
    2.2.3 雙臂機器人	11
    2.2.4 二指夾爪	13
  2.3 機器人操作系統	15
    2.3.1 話題(topic)	15
    2.3.2 服務(service)	16
    2.3.3 系統通訊架構	17
第三章 機械手臂之運動學	22
  3.1 冗餘機械手臂運動學概論	22
  3.2 DH連桿參數表	24
    3.2.1 zi-1 與 zI 互相平行	25
    3.2.2 zi-1 與 zI 相交	25
    3.2.3 zi-1 與 zI 無共平面	26
  3.3 正運動學	28
    3.3.1 機械手臂末端點之位置與方位	28
    3.3.2 機械手臂之冗餘角度	29
  3.4 逆運動學	31
    3.4.1 機械手臂關節分析	31
    3.4.2 位置逆運動學	35
    3.4.3 方位逆運動學	37
  3.5 線性軌跡規劃	38
    3.5.1 方位之四元數表示法	39
    3.5.2 四元數之球面線性插值	40
第四章 人機互動之物件取放策略	41
  4.1 指向動作的定義	41
    4.1.1 頭部與手部的辨識	42
    4.1.2 指向動作的估計	43
  4.2 人機互動的設計	47
  4.3 物件取放策略	49
    4.3.1 點雲聚類	49
    4.3.2 物件姿態估測	51
    4.3.3 物件取放規劃	54
第五章 實驗結果	56
  5.1 指向動作之辨識準確性	56
  5.2 角分辨度	63
  5.3 目標選擇成功率	65
第六章 結論與未來展望	67
6.1 結論	67
6.2 未來展望	68
參考文獻	69
符號對照表	71
學術名詞名稱之中英文對照表	74 
圖 1.1、TRI的gantry robot及soft bubble gripper[9]	3
圖 2.1、整體系統架構圖	7
圖 2.2、Stereo Lab ZED Camera之實體圖	9
圖 2.3、攝影機基座之實體圖	10
圖 2.4、機械手臂之結構與尺寸示意圖	12
圖 2.5、雙臂機器人之工作範圍	12
圖 2.6、ROBOTIQ型號為2F-85的適應性二指夾爪之實體圖	14
圖 2.7、話題(topic)的通訊架構圖	16
圖 2.8、服務(service)的通訊架構圖	16
圖 2.9、基於機器人操作系統之通訊架構圖	18
圖 3.1、冗餘機械手臂之冗餘軸示意圖	23
圖 3.2、本論文之尤拉角示意圖	24
圖 3.3、軸座標系 zi-1 與 zI 互相平行示意圖	25
圖 3.4、軸座標系 zi-1 與 zI 相交示意圖之情況	26
圖 3.5、軸座標系 zi-1 與 zI 無共平面示意圖	26
圖 3.6、機械手臂各軸座標系配置圖	27
圖 3.7、正運動學冗餘角角度計算示意圖	31
圖 3.8、機械手臂關節及連桿參數示意圖	33
圖 3.9、腕關節之球型關節示意圖	33
圖 3.10、逆運動學假設之虛擬三連桿示意圖	35
圖 3.11、四元數旋轉示意圖	39
圖 3.12、二維平面之兩向量線性插值示意圖	40
圖 4.1、手指指向目標物件之手指擺放的示意圖	41
圖 4.2、使用YOLOv4的頭部與手部之辨識結果	43
圖 4.3、含有雜訊之物件點雲示意圖	44
圖 4.4、經過濾波器之頭部與手部的點雲	45
圖 4.5、點雲之上視圖	45
圖 4.6、點雲之頭部中心座標點(白點)與頭部基準點 (黃點)的示意圖	46
圖 4.7、指向向量估測結果	47
圖 4.8、基於視覺之指向動作辨識的物件取放之系統流程圖	48
圖 4.9、使用RANSAC在二維資料估計直線方程式之示意圖	50
圖 4.10、歐式聚類過程之示意圖	51
圖 4.11、指向向量與三個物件中心之歐式距離的示意圖	52
圖 4.12、物件點雲與其特徵向量	54
圖 4.13、手臂夾取物件並拿給使用者之實際移動流程	55
圖 5.1、實驗測試地點的示意圖	56
圖 5.2、指向動作之辨識準確性的距離誤差與角度誤差之示意圖	57
圖 5.3、3種不同指向向量之基準點的定義方法之距離誤差的實驗結果	59
圖 5.4、3種不同指向向量之基準點的定義方法之角度誤差的實驗結果	59
圖 5.5、擺放二個物件在雙臂機器人前方之角分辨度實驗的場景佈置	63
圖 5.6、擺放三個物件在雙臂機器人前方之目標選擇實驗的場景佈置	65
圖 5.7、擺放三個物件在雙臂機器人前方之目標選擇成功的實驗結果	66
表 2.1、系統模組的輸入和輸出	8
表 2.2、Stereo Lab ZED Camera規格表	9
表 2.3、攝影機基座之規格表	10
表 2.4、雙臂機器人之硬體規格	12
表 2.5、機械手臂所使用三款馬達的規格表	13
表 2.6、ROBOTIQ型號為2F-85之適應性二指夾爪的規格表	14
表 2.7、所設計之話題和服務與各節點之間的關係	21
表 3.1、DH參數表	27
表 3.2、機械手臂之DH連桿參數表	27
表 3.3、機械手臂關節及連桿參數對照表	32
表 3.4、逆運動學假設之虛擬三連桿參數對照表	34
表 3.5、虛擬三連桿之連桿參數表	36
表 5.1、指向向量之基準點的定義方法一之距離誤差的實驗數據	60
表 5.2、指向向量之基準點的定義方法二之距離誤差的實驗數據	60
表 5.3、指向向量之基準點的定義方法三之距離誤差的實驗數據	61
表 5.4、指向向量之基準點的定義方法一之角度誤差的實驗數據	61
表 5.5、指向向量之基準點的定義方法二之角度誤差的實驗數據	62
表 5.6、指向向量之基準點的定義方法三之角度誤差的實驗數據	62
表 5.7、擺放二個物件在雙臂機器人前方之角分辨度實驗的實驗數據	64

[1]	“Pepper 情感服務型機器人.” URL: https://www.softbankrobotics.com/emea/en/pepper.
[2]	“Preferred Networks整理房間機器人.” URL: https://robotstart.info/2018/10/15/pfn-tidyup.html.
[3]	J. Pineau, M. Montemerlo, M. Pollack, N. Roy, and S. Thrun, "Towards robotic assistants in nursing homes: Challenges and results" Robotics and autonomous systems vol. 42, no. 3-4, pp. 271-281, 2003.
[4]	T. Fong, I. Nourbakhsh, and K. Dautenhahn, “A Survey of Socially Interactive Robots: Concepts, Design, and Applications,” Robotics and autonomous systems, vol. 42, no. 3-4, pp. 143-166, 2003.
[5]	L. Rozo, S. Calinon, and D. G. Caldwell, “Learning force and position constraints in human-robot cooperative transportation,” In The 23rd IEEE International Symposium on Robot and Human Interactive Communication, pp. 619-624, 2014. 
[6]	R. A. John and S. Varghese, “Assistive Device for Physically Challenged Persons Using Voice Controlled Intelligent Robotic Arm,” IEEE 6th International Conference on Advanced Computing and Communication Systems (ICACCS), pp. 806-810, 2020.
[7]	X. G. Chen, X. S. Huang, and Y. J. Wang, “Combination of Augmented Reality Based Brain- Computer Interface and Computer Vision for High-Level Control of a Robotic Arm,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 28, No. 12, 2020.
[8]	M. Schwarz and S. Behnke, “Semantic RGB-D Perception for Cognitive Service Robots,” In: P. Rosin, Y.K. Lai, L. Shao, and Y. Liu (eds) RGB-D Image Analysis and Processing, Springer, pp.285-308, 2019.
[9]	Toyota Research Institute Showcases Latest Robotics Research Aimed at Amplifying Human Ability in the Home:https://www.tri.global/news/virtual-robotics-event/
[10]	R. R. Itkarkar and A. V. Nandi, “A Survey of 2D and 3D Imaging Used in Hand Gesture Recognition for Human-Computer Interaction (HCI),“ IEEE International WIE Conference on Electrical and Computer Engineering (WIECON-ECE), pp.188-193, 2016.
[11]	S. Saunderson and G. Nejat, “How Robots Infuence Humans: A Survey of Nonverbal Communication in Social Human–Robot Interaction,” International Journal of Social Robotics, vol. 11, no. 4, pp.575-608, 2019.
[12]	A. Bochkovskiy, C. Y. Wang, and H. Y. M. Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection,” arXiv preprint arXiv:2004.10934v1, 2020.
[13]	B. Gromov, Human-Robot Interaction with Pointing Gestures, Doctoral Dissertation (Advisors: L.M. Gambardella and A. Giusti). Università della Svizzera italiana, Switzerland, 2020.
[14]	P. Azagra, J. Civera, and A. C. Murillo, “Incremental Learning of Object Models from Natural Human–Robot Interactions,” IEEE Transactions on Automation Science and Engineering, vol. 17, no. 4, pp.1883-1900, 2020.
[15]	M. Alikhani, B. Khalid, R. Shome, C. Mitash, K. Bekris, and M. Stone, “That and There: Judging the Intent of Pointing Actions with Robotic Arms,” arXiv preprint arXiv:1912.06602v1, 2019.
[16]	B. Azari, A. Lim, and R. T. Vaughan, “Commodifying Pointing in HRI: Simple and Fast Pointing Gesture Detection from RGB-D Images,” arXiv preprint arXiv:1902.02636v1, 2019.
[17]	J. J. Moh, T. Kijima, B. Zhang, and H. O. Lim, “Gesture Recognition and Effective Interaction Based Dining Table Cleaning Robot,” 7th International Conference on Robot Intelligence Technology and Applications (RiTA), pp.72-77, 2019.