本技術報告藉由使用雙目(Stereo)相機拍攝目標物體，以取得2D色彩影像與3D點雲資料，輔佐眼在手機械臂建立影像定位，並使用迭代最近點(Iterative Closest Point, ICP)演算法，讓儲存之標準拍攝模板，與物品經平移旋轉後重新拍攝的影像資料進行點雲配準，分析出物品偏移後的座標差值，重新規劃拍攝路徑。為減少大量配準點計算，利用HSV色彩空間與點雲篩選，將點雲與Yolo深度學習完後生成的目標邊界框(bounding box)對應，分離出物品所屬的特徵點雲資料。點雲噪點處理上，則依賴中值濾波對時域進行過濾，將離群較大與較小的點篩選掉。透過該演算法，手臂姿態將依據配準後點雲與PCA主成分分析，推估出物品被移動後的旋轉矩陣，轉換四元數(Quaternion)座標進行更新，再映射至機械臂更新下一步的夾爪姿態，重複進行該程序，直到配準誤差小於預設閾值為止。當迭代收斂後，所得手臂姿態即近似於原始目標影像拍攝時之相機空間位置，完成即時追蹤及局部路徑重新規劃，最終實現對物品的全方位光學檢測。

This technical report utilizes a stereo camera to capture target objects, acquiring 2D color images and 3D point cloud data to facilitate visual localization for an Eye-in-Hand robotic arm. By employing the Iterative Closest Point (ICP) method, the system performs point cloud registration between the initial target point cloud and the source point cloud captured after the object has been translated or rotated. This process analyzes the coordinate differences caused by the object's displacement to re-plan the local path.
To reduce the computational work of matching points, the system combines HSV color space filtering with Yolo deep learning bounding boxes to isolate the characteristic point cloud data associated with the object. regarding noise reduction, median filtering is applied in the time domain to eliminate outliers (noise).
By this method, the arm pose is updated based on the registered point cloud and Principal Component Analysis (PCA). The system estimates the rotation matrix of the moved object, converts it into Quaternion coordinates, and maps into the robotic arm to update the gripper's pose for the next step. This procedure is repeated until the registration error falls below a preset threshold. Once the iteration converges, the resulting arm pose approximates the camera's spatial position when the original target image was captured. This achieves real-time tracking and local path re-planning, ultimately realizing omnidirectional optical inspection of the object.

目錄
摘要	I
ABSTRACT	III
目錄	VI
圖目錄	IX
表目錄	XIII
第一章	緒論	1
1-1前言	1
1-2實習機構簡介	2
1-3實習內容概述	2
1-4研究背景	3
1-5研究動機	4
1-6研究範圍	5
第二章	文獻探討	14
2-1自動光學檢測	14
2-2迭代最近點演算	15
2-2 3D模型	18
2-3 點雲特徵化	19
2-4相機與機械手臂結合	20
2-5視覺誤差定位	21
2-6 自動控制回授系統	22
2-7研究架構	23
第三章	實驗設計	25
3-1實驗流程	27
3-2系統主架構	32
3-3 手臂控制系統	35
3-4視覺影像辨識與處理	47
3-5 ICP參數介紹與調整	55
3-7測量指標	57
第四章	實驗結果	63
4-1實驗結果	70
4-2應用可行性分析	77
第五章	結論	79
5-1結論	79
5-2未來展望	80
第六章	參考文獻	82

 
圖目錄
圖 1車體載具平台圖	6
圖 2 MyCobot280手臂圖	9
圖 3 Intel Realsense D405實體圖	11
圖 4 NVIDIA Jetson AGX Orin實體圖	12
圖 5 (a)相機3D繪製圖(b)相機固定件實體圖	12
圖 6完整設備圖	13
圖 7 ICP迭代示意圖	17
圖 8 3D模型的呈現種類	18
圖 9研究架構示意圖	23
圖 10設計架構圖	24
圖 11電池盒(a)正視圖(b)側視圖	26
圖 12實驗環境圖	27
圖 13研究流程圖	31
圖 14實驗修正優化	32
圖 15通訊架構圖	33
圖 16 (a)相機修改前(b)相機修改後對比圖	36
圖 17 URDF結構圖	38
圖 18路徑演算法RRTConnect	39
圖 19 MoveIt運動軌跡圖	40
圖 20本實驗之手臂端TF tree視圖	43
圖 21本實驗之相機端之TF tree視圖	44
圖 22 (a)相機TF座標轉換前(b)相機TF座標轉換後	45
圖 23未調整前的點雲座標圖	46
圖 24 PCA主成分分析	46
圖 25透過PCA使手臂座標獲得轉向圖	46
圖 26 Yolo訓練抽樣驗證結果圖	47
圖 27 Yolov7 resault	48
圖 28 Yolo辨識結果圖	48
圖 29雙目立體視覺示意圖	49
圖 30原始拍攝點雲影像圖	53
圖 31透過ROI裁切後的點雲影像圖(上方視角)	53
圖 32透過ROI裁切後的點雲影像圖(側向視角)	53
圖 33 HSV色彩空間示例圖	54
圖 34經過色彩濾鏡得出的點雲圖(上方視角)	55
圖 35經過色彩濾鏡得出的點雲圖(側向視角)	55
圖 36實際運作流程圖	60
圖 37標準位(a)上方視圖(b)正向視圖(c)側向視圖	61
圖 38電池盒移動示意圖	62
圖 39 (a)標準位取像實際圖(b)移動後再次拍攝示意圖	64
圖 40 物品移動後的拍攝結果圖	64
圖 41點雲配準過程畫面圖	65
圖 42 (a)標準位儲存之點雲模板圖(b)當下相機取像	65
圖 43最終匹配結果	66
圖 44拍攝標籤位姿(a)程式介面圖(b)實際拍攝畫面圖	66
圖 45最終移動拍攝標籤圖	66
圖 46每張照片之標籤座標點分佈圖	69
圖 47 (a)x加5cm(b)x減4cm所拍出的結果圖	71
圖 48 (a)y加2cm(b)y加5cm所拍出的結果圖	71
圖 49 (a)逆時針5度(b)順時針20度所拍出的結果圖	72
圖 50旋轉角度示意圖	74
圖 51 (a)3號角逆時針旋轉5度(b)4號角順時針旋轉20度所拍出的結果圖	74
圖 52 (a)高度2cm(b)高度5cm所拍出的結果圖	75
圖 53傾角示意圖	76
圖 54 (a)125張A4紙高(b)175張A4紙高結果圖	77

 
表目錄
表 1 手臂參數表	7
表 2 手臂馬達參數表	8
表 3 手臂運動範圍表	8
表 4 深度相機Realsence參數表	10
表 5 電腦規格表	11
表 6 系統在物品未進行偏移下之重複精度紀錄表	68
表 7 系統針對該辨識物品在定點位下重複精度表	69
表 8 系統針對物品平面移動影響下之實驗記錄表	70
表 9 系統針對物品以中心旋轉影響下之實驗記錄表	72
表 10 系統針對物品平移加旋轉影響下之實驗記錄表	73
表 11 系統針對物品垂直高度影響下之實驗記錄表	75
表 12 系統針對物品傾斜影響下之實驗記錄表	76

[1]	Milan, S., Hlavac, V., & Boyle, R.(2011)。圖像處理、分析與機器視覺(艾海舟、蘇延超 等譯)(第3版)。清華大學出版社。ISBN： 9787302236863
[2]	Besl, P. J., & McKay, N. D. (2017). Method for registration of 3-D shapes. In Sensor fusion IV： Control paradigms and data structures.
[3]	章宇賢(2019)。基於深度學習與3D姿態估測之機械臂抓取系統設計〔碩士論文，國立交通大學電控工程研究所〕。臺灣博碩士論文知識加值系統。
[4]	張凱傑(2020)。基於RGBD-CNN及卷積自編碼之3D物品方位辨識及抓取點生成法則〔碩士論文，國立成功大學電機工程學系〕。臺灣博碩士論文知識加值系統。
[5]	Xing, S., Jing, F., & Tan, M. (2023). Reconstruction-based hand–eye calibration using arbitrary objects. IEEE Transactions on Industrial Informatics, Advance online publication.
[6]	林佳蓁(2015)。以2D影像特徵作為ICP初始估測之3D點雲對位〔碩士論文，國立雲林科技大學〕。臺灣博碩士論文知識加值系統。
[7]	Lin, H.-Y., Liang, S.-C., & Chen, Y.-K. (2021). Robotic grasping with multiview image acquisition and model-based pose estimation. IEEE Robotics and Automation Letters.
[8]	Schwarz, M., Milan, A., Lenz, C., Munoz, A., Periyasamy, A. S., Schreiber, M., Schüller, S., & Behnke, S. (2017). NimbRo picking： Versatile part handling for warehouse automation. In Proceedings of 2017 IEEE International Conference on Robotics and Automation (ICRA) (pp. 3032-3039).
[9]	Prankl, J., Aldoma, A., Svejda, A., & Vincze, M. (2015). RGB-D object modelling for object recognition and tracking. In Proceedings of 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (pp. 96-103). Hamburg, Germany.
[10]	商少瑜(2021)。基於機器學習2D影像辨識與3D物品姿態估測之眼在手機械手臂夾取系統〔碩士論文，國立臺北科技大學〕。臺灣博碩士論文知識加值系統。
[11]	Zeng, A., Yu, K.-T., Song, S., Suo, D., Walker, E., Jr., Rodriguez, A., & Xiao, J. (2017). Multi-view self-supervised deep learning for 6D pose estimation in the Amazon Picking Challenge. In Proceedings of 2017 IEEE International Conference on Robotics and Automation (ICRA) (pp. 1386-1383). Singapore.
[12]	楊皓翔(2025)。使用新型ICP演算法多視角重建實現機器人手臂的噴漆路徑〔碩士論文，國立臺灣師範大學〕。
[13]	施俊麟(2018)。基於點雲特定目標物搜尋與抓取之移動機器人〔碩士論文，國立中正大學〕。
[14]	李至傑(2022)。基於點雲與影像體素特徵深度學習之物品辨識〔碩士論文，國立成功大學〕。臺灣博碩士論文知識加值系統。
[15]	Chen, Y., & Medioni, G. (1992). Object modeling by registration of multiple range images. Image and Vision Computing, 10(3), 145–155.
[16]	Masuda, Y., & Yokoya, N. (1995). A robust method for registration and segmentation of multiple range images. Computer Vision and Image Understanding, 61(3), 295–307.
[17]	Zhong, Z., Xiao, G., Wang, S., Wei, L., & Zhang, X. (2022). PESA-Net： Permutation-equivariant split attention network for correspondence learning. Information Fusion, 77, 81–89.