本研究發展視覺影像建構物件模型之系統，可應用於零售業的倉儲自動化。方式是以影像特徵搭配點雲資料，建構物件的三維模型。本論文的研究議題包括使用ORB(Oriented FAST and Rotated BRIEF)演算法建立影像特徵點，以及利用ICP(Iterative Closest Point)演算法計算物件旋轉與偏移。建立影像特徵點方面，利用三維攝影機擷取多次單張影像資訊，分別對彩色影像與深度影像作處理，使用ORB建立每張影像中物件的特徵，結合彩色影像與深度影像的資訊建立特徵的三維資訊。計算物件旋轉與偏移方面，利用特徵匹配取得前後相同的特徵點，以ICP計算特徵點的旋轉與平移，即為物件的旋轉與偏移。最後，轉換相機座標系與世界座標的關係，使用世界座標疊合深度影像資訊，建立物件模型。本研究以Visual C++程式語言整合Kinect、OpenCV、PCL函式庫，實現影像處理演算法。

This research develops a system for visual image construction object models that can be applied to warehouse automation in the retail industry. The method is to construct a three-dimensional model of the object by using image features with point cloud data. The research topics of this thesis include the use of ORB (Oriented FAST and Rotated BRIEF) algorithm to establish image feature points, and the use of ICP (Iterative Closest Point) algorithm to calculate object rotation and offset. In the aspect of establishing image feature points, three-dimensional cameras are used to capture multiple pieces of image information, and color images and depth images are processed separately. The ORB is used to establish the features of the objects in each image, and the three-dimensional information of the features is established by combining the information of the color image and the depth image. In terms of object rotation and offset, the same feature points are obtained before and after feature matching, and the rotation and translation of the feature points are calculated by ICP, which is the rotation and offset of the object. Finally, convert the relationship between the camera coordinate and the world coordinates, and use the world coordinates to overlay the depth image information to create an object model. In this research, the Kinect, OpenCV, and PCL libraries are integrated in the Visual C++ programming language to implement image processing algorithms.

目錄
	摘要	Ⅰ
	目錄	Ⅲ
	圖目錄	Ⅵ
	表目錄	Ⅶ
	第1章 序論	1
    1.1 研究動機	1
    1.2 研究目的	2
    1.3 文獻探討	2
    1.4 研究範圍	3
第2章 系統規劃	4
2.1 系統架構	4
2.2 影像系統流程	5
2.3 實驗設備	6
2.4 實驗環境	8
第3章 ORB特徵演算法	9
3.1 ORB簡介	9
3.2 ORB特徵建立	9
    3.2.1 FAST特徵點檢測	10
    3.2.2 BRIEF特徵點的描述	11
    3.2.3 理想的特徵描述符應被具備的屬性	13
3.3 特徵點的匹配	15
    3.3.1 Burte-force matcher	15
    3.3.2 Flann-based matcher	16
    3.3.2 訓練匹配器與匹配的方法	16
    3.3.2 匹配實驗與比較	17
第4章 ICP演算法	20
4.1 ICP簡介	20
4.2 ICP演算法之精密剛性比對	20
4.3 PLY圖檔	23
    4.3.1 檔頭	24
    4.3.2 頂點元素列表	26
    4.3.3 面元素列表	26
4.4 YAML文件檔	27
4.4.3 適應場景	27
4.4.3 語言優點	27
4.4.3 YAML語法	28
4.4.3 YAML輸出範例	27
第5章 實驗規劃	29
5.1 實驗規劃	29
5.2 實驗操作介面	31
5.3 實驗流程	32
5.4 物體旋轉-平移矩陣與世界座標下的攝影機關係	36
第6章 實驗結果與分析	39
6.1 建模範例	40
6.2 相機座標修正範例	41
6.3 限制深度之建模	42
6.4 實驗數據與誤差	43
6.5 重複資訊消除雜訊	44
6.6 加入平滑化	46
第7章 結論	47
參考資料	48

圖目錄
圖 1.1 亞馬遜公司的供貨倉儲(fulfillment warehouse)系統	1
圖 2.1 系統架構圖	4
圖 2.2 影像系統流程圖	5
圖 2.3 筆記型電腦	6
圖 2.4 Kinect v2外觀與座標系	7
圖 2.5 實驗環境	8
圖 3.1 建立ORB特徵流程圖	9
圖 3.2 FAST提取示意圖	10
圖 3.3 BRIEF隨機點選擇方法	12
圖 3.4 像素點與質心(世界座標)	14
圖 3.5 像素點與質心(PQ座標)	14
圖 3.6 訓練圖(train image)	17
圖 3.7 查詢圖(query image)	17
圖 3.8 匹配結果	18
圖 4.1 ICP迭代流程圖	21
圖 5.1 實驗流程圖	30
圖 5.2 操作介面	31
圖 5.3 第一次截圖	32
圖 5.4 第二次截圖	32
圖 5.5 兩次截圖匹配到的特徵	33
圖 5.6 點雲資訊(ICP運算前)	34
圖 5.7 點雲資訊(ICP運算後)	34
圖 5.8 特徵旋轉示意圖	36
圖 5.9 相機旋轉	37
圖 5.10 特徵質心重合	38
圖 6.1 攝影機座標錯誤	40
圖 6.2 攝影機座標修正	41
圖 6.3 攝影機座標修正(嚴格限制深度)	42
圖 6.4 餘弦定理示意圖	44
圖 6.5 設置雜訊	45
圖 6.6 重複拍攝移除雜訊	45
圖 6.7 模型平滑化	46

表目錄
表 2.1 筆記型電腦規格	6
表 2.2 Kinect v2 規格	7
表 3.1 FLANN匹配	19
表 3.2 BFMatcher匹配	19
表 6.1 物體在相機中心旋轉之誤差	43

參考文獻

[1]	The unstructured in Amazon fulfillment warehouse, http://amazonpickingchallenge.org/ amazon_pick.png (accessed on December 20, 2015)
[2]	Kiva Robot, http://holeaker.blogspot.tw/2013/12/best-investmet-that-amazon-made.html, December 19, 2013.
[3]	Amazon Robotics, https://www.amazonrobotics.com/#/ (accessed on December 1, 2015)
[4]	Amazon Picking Challenge, http://amazonpickingchallenge.org/ (accessed on December 19, 2015)
[5]	E. Rublee, V. Rabaud, K. Konolige and G. Bradski, "ORB: An efficient alternative to SIFT or SURF," 2011 International Conference on Computer Vision, Barcelona, 2011, pp. 2564-2571.
[6]	Viswanathan, Deepak Geetha. "Features from Accelerated Segment Test (FAST)."
[7]	Calonder M., Lepetit V., Strecha C., Fua P.”BRIEF: Binary Robust Independent Elementary Features.” ECCV 2010 pp.3-6.
[8]	S. Li, J. Wang, Z. Liang, and L. Su, “Tree point clouds registration using an improved ICP algorithm based on kd-tree,” in Proc. of 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Beijing, China, Jul. 2016, pp. 4545–4548.
[9]	R. B. Rusu and S. Cousins, “3D is here: Point cloud library (PCL),” in Proc. of 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, May 2011, pp. 1–4.
[10]	【特征检测】FAST特征点检测算法, https://blog.csdn.net/hujingshuang/article/details/46898007(accessed on December 25, 2018)
[11]	BRIEF - Binary Robust Independent Elementary Features, https://dotblogs.com.tw/dragon229/2014/06/21/145661(accessed on December 25, 2018)
[12]	【特征检测】BRIEF特征点描述算法, https://blog.csdn.net/hujingshuang/article/details/46910259(accessed on December 25, 2018)
[13]	OpenCV特徵匹配及其優化, https://www.cnblogs.com/wangguchangqing/p/4333873.html
(accessed on December 26, 2018)
[14]	KeyPoint Matching 優化方式, https://blog.csdn.net/yangtrees/article/details/19928191
(accessed on December 26, 2018)
[15]	Brute-Force與FLANN匹配器, https://blog.csdn.net/GAN_player/article/details/78285771
(accessed on December 26, 2018)
[16]	陳思貝，”運用幾何特徵之三維點雲比對與瑕疵檢測”，國立臺北科技大學電機工程系碩士論文，2017
[17]	郭朗哲，”地面光達於崩塌地地形製圖之應用”，國立交通大學土木工程系所碩士論文
[18]	Ply_維基百科, https://zh.wikipedia.org/wiki/PLY(accessed on December 30, 2018)
[19]	Yaml官網, http://yaml.org/(accessed on December 30, 2018)
[20]	從xml或yml文件中讀取數據, https://blog.csdn.net/timidsmile/article/details/7606548
(accessed on December 30, 2018)
[21]	Yml文件的讀取與寫入, https://blog.csdn.net/u011430225/article/details/47840717
(accessed on December 30, 2018)