本篇論文旨在探討應用立體視覺觀測微型飛行器(MAVs) 姿態的可行性。由於立體視覺能獲得三維空間中的位置資訊, 使得立體視覺在科學領域中日漸重要。此外, 因為微型的感測器發展還不成熟, 使得測量MAV 的姿態比測量普通飛行器還來得困難, 因此, 利用立體視覺的方式來觀測目標姿態, 可成為解決此一問題的方法。本篇論文展示利用影像處理的方法來辨識有無移動物體, 並計算目標物的位置、速度及姿態。為了降低成本, 本文實驗採用市售便宜的網路攝影機, 而此種攝影機常會導致成像扭曲, 所以我們搭配簡單的影像校正方法, 再利用實驗來驗證本文方法的實用性。因此我們目前的成果, 可以應用到日後MAV 飛行中姿態的獲取與探討。

This thesis studies the potential applications of stereo vision to the acquisition of attitude of micro aerial vehicles (MAVs). Stereo vision is of interests among scientists due to its capability of acquiring three dimensional position. On the other hand, to measure the attitude of an MAV is much more difficult than to measure a normal sized one, because the development of micro sensors is not matured enough. Accordingly, to acquire the attitude using stereo vision must be one of the solutions. In this thesis, we demonstrate our ability of computing objects acceleration and attitude using image processing. In order to lower down the cost, a cheap web-cam is selected for the experiment, which in general always causes image distortion. As a result, simple calibration algorithms are applied, and experiments are performed to demonstrate the validity of our algorithms. We also construct a Graphic User Interface for the convenience. Our current achievement is applicable to the future investigation of MAV attitude determination.

中文摘要I
英文摘要II
致謝III
1 第一章緒論1
1.1 前言. . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 動機. . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 文獻回顧. . . . . . . . . . . . . . . . . . . . . . 2
1.4 研究方法. . . . . . . . . . . . . . . . . . . . . . 2
1.5 研究貢獻. . . . . . . . . . . . . . . . . . . . . . 3
2 第二章數位影像處理  . . . . . . . . . . . . . . . . . 4
2.1 灰階化. . . . . . . . . . . . . . . . . . . . . . . 5
2.2 影像相減. . . . . . . . . . . . . . . . . . . . . . 8
2.3 二值化. . . . . . . . . . . . . . . . . . . . . . . 8
2.4 膨脹和侵蝕. . . . . . . . . . . . . . . . . . . . . 9
2.5 HSI色彩空間 . . . . . . . . . . . . . . . . . . . . 11
2.6 計算座標. . . . . . . . . . . . . . . . . . . . . . 15
3 第三章立體視覺及實驗設備. . . . . . . . . . . . . . . 16
3.1 立體視覺辨識位置. . . . . . . . . . . . . . . . . . 19
3.1.1 水平距離x的導證 . . . . . . . . . . . . . . . . . 20
3.1.2 影像深度L的導證 . . . . . . . . . . . . . . . . . 23
3.1.3 高度Z的導證 . . . . . . . . . . . . . . . . . . . 24
3.2 立體視覺辨識物體速度及加速度. . . . . . . . . . . . 26
3.3 立體視覺辨識物體姿態. . . . . . . . . . . . . . . . 26
3.4 實驗設備. . . . . . . . . . . . . . . . . . . . . . 29
3.5 儀器校正. . . . . . . . . . . . . . . . . . . . . . 35
3.5.1 誤差修正法則. . . . . . . . . . . . . . . . . . . 36
3.5.2 校正實驗. . . . . . . . . . . . . . . . . . . . . 37
3.5.3 最佳觀測距離實驗. . . . . . . . . . . . . . . . . 42
4 第三章實驗及數據分析. . . . . . . . . . . . . . . . . 49
4.1 平移運動觀測. . . . . . . . . . . . . . . . . . . . 49
4.2 物體姿態觀測實驗. . . . . . . . . . . . . . . . . . 59
4.3 分析與討論. . . . . . . . . . . . . . . . . . . . . 82
5 第五章結論. . . . . . . . . . . . . . . . . . . . . . 85
6 第六章未來展望. . . . . . . . . . . . . . . . . . . . 86
6.1 影像處理. . . . . . . . . . . . . . . . . . . . . . 86
6.2 硬體的改進. . . . . . . . . . . . . . . . . . . . . 86
6.3 軟體的改進. . . . . . . . . . . . . . . . . . . . . 87
6.4 攝影機的改進. . . . . . . . . . . . . . . . . . . . 87
6.5 增加輔助測量工具. . . . . . . . . . . . . . . . . . 87
6.6 整合平台功能. . . . . . . . . . . . . . . . . . . . 88
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . 89
附錄. . . . . . . . . . . . . . . . . . . . . . . . . . 92

表目錄
4.1 距離為75公分時+X 方向各姿態角實際值、觀測值、誤差百分比
及標準差. . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2 距離為50公分時-Y 方向各姿態角實際值、觀測值、誤差百分比
及標準差. . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.3 距離為50公分時-X 方向各姿態角實際值、觀測值、誤差百分比
及標準差. . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 距離為50公分時+Y 方向各姿態角實際值、觀測值、誤差百分比
及標準差. . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

圖目錄
2.1 移動目標觀測流程圖. . . . . . . . . . . . . . . . . . . . . . 5
2.2 姿態觀測流程圖. . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 原始背景圖. . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.4 目標物影像圖. . . . . . . . . . . . . . . . . . . . . . . . . 6
2.5 原始背景圖灰階化. . . . . . . . . . . . . . . . . . . . . . . 7
2.6 目標物影像灰階化. . . . . . . . . . . . . . . . . . . . . . . 7
2.7 影像相減結果. . . . . . . . . . . . . . . . . . . . . . . . . 8
2.8 二值化影像. . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.9 目標物侵蝕後的影像. . . . . . . . . . . . . . . . . . . . . . 10
2.10 目標物膨脹後的影像. . . . . . . . . . . . . . . . . . . . . . 11
2.11 色調轉換示意圖. . . . . . . . . . . . . . . . . . . . . . . . 12
2.12 視訊擷圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.13 擷圖以HSI 色彩模型表示. . . . . . . . . . . . . . . . . . . 14
2.14 以紅色色調為閥值過濾的影像. . . . . . . . . . . . . . . . . 14
3.1 交錯判別法. . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 平行判別法. . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3 立體視覺平台(舊) . . . . . . . . . . . . . . . . . . . . . . . 18
3.4 立體視覺平台(新) . . . . . . . . . . . . . . . . . . . . . . . 19
3.5 目標物P與觀測平台的幾何關係. . . . . . . . . . . . . . . . 20
3.6 P與觀測平台中心的幾何關係. . . . . . . . . . . . . . . . . 21
3.7 P1及P2距離畫面中心的關係. . . . . . . . . . . . . . . . . . 22
3.8 X方向最大視角及最大像素的關係. . . . . . . . . . . . . . . 22
3.9 目標物P與攝影機中心的幾何關係. . . . . . . . . . . . . . . 25
3.10 Z方向最大視角及最大像素的關係. . . . . . . . . . . . . . . 25
3.11 定義姿態所用到的機身向量和機翼向量. . . . . . . . . . . . 28
3.12 俯仰角及偏航角定義示意圖. . . . . . . . . . . . . . . . . . 28
3.13 慣性量測元件. . . . . . . . . . . . . . . . . . . . . . . . . 31
3.14 四軸運動平台. . . . . . . . . . . . . . . . . . . . . . . . . 33
3.15 平台軸向定義. . . . . . . . . . . . . . . . . . . . . . . . . 33
3.16 圖形化介面(觀測加速度) . . . . . . . . . . . . . . . . . . . . 34
3.17 圖形化介面(觀測姿態) . . . . . . . . . . . . . . . . . . . . . 34
3.18 視訊拍攝的網點圖. . . . . . . . . . . . . . . . . . . . . . . 35
3.19 校正實驗系統設置. . . . . . . . . . . . . . . . . . . . . . . 38
3.20 三維觀測結果. . . . . . . . . . . . . . . . . . . . . . . . . 39
3.21 固定距離觀測的X − Z平面結果. . . . . . . . . . . . . . . . 39
3.22 固定距離觀測的L − X平面結果. . . . . . . . . . . . . . . . 40
3.23 固定距離觀測的Z − L平面結果. . . . . . . . . . . . . . . . 40
3.24 固定距離觀測的x距離誤差百分比. . . . . . . . . . . . . . . 41
3.25 固定距離觀測的L距離誤差百分比. . . . . . . . . . . . . . . 41
3.26 固定距離觀測的z距離誤差百分比. . . . . . . . . . . . . . . 42
3.27 最佳觀測距離實驗結果. . . . . . . . . . . . . . . . . . . . . 43
3.28 最佳觀測距離實驗的X − Z平面結果. . . . . . . . . . . . . 44
3.29 最佳觀測距離實驗的L − X平面結果. . . . . . . . . . . . . . 44
3.30 最佳觀測距離實驗的L − Z平面結果. . . . . . . . . . . . . . 45
3.31 最佳觀測距離實驗X的誤差百分比. . . . . . . . . . . . . . . 45
3.32 最佳觀測距離實驗L的誤差百分比. . . . . . . . . . . . . . . 46
3.33 最佳觀測距離實驗Z的誤差百分比. . . . . . . . . . . . . . . 46
3.34 距離為40公分時所顯示的左右畫面. . . . . . . . . . . . . . . 47
3.35 距離為120公分時所顯示的左右畫面. . . . . . . . . . . . . . 48
3.36 距離為360公分時所顯示的左右畫面. . . . . . . . . . . . . . 48
4.1 平移運動觀測設備. . . . . . . . . . . . . . . . . . . . . . . 50
4.2 移動物體觀測實驗X的位置結果(cm) . . . . . . . . . . . . . 51
4.3 移動物體觀測實驗L的位置結果(cm) . . . . . . . . . . . . . 51
4.4 移動物體觀測實驗Z的位置結果(cm) . . . . . . . . . . . . . 52
4.5 IMU 測量X的加速度結果(cm/s2) . . . . . . . . . . . . . . . 52
4.6 利用視訊測量X的加速度結果(cm/s2) . . . . . . . . . . . . . 53
4.7 IMU 及視訊量測X的加速度結果比較(cm/s2) . . . . . . . . . 53
4.8 IMU 量測L的加速度結果(cm/s2) . . . . . . . . . . . . . . . 54
4.9 利用視訊測量L的加速度結果(cm/s2) . . . . . . . . . . . . . 54
4.10 IMU 及視訊測量L的加速度結果比較(cm/s2) . . . . . . . . . 55
4.11 IMU 測量Z的加速度結果(cm/s2) . . . . . . . . . . . . . . . 55
4.12 利用視訊測量Z的加速度結果(cm/s2) . . . . . . . . . . . . . 56
4.13 IMU 及視訊量測Z的加速度結果比較(cm/s2) . . . . . . . . . 56
4.14 X方向IMU 為2Hz 時與視訊平台的比較圖(cm/s2) . . . . . . 58
4.15 Y方向IMU 為2Hz 時與視訊平台的比較圖(cm/s2) . . . . . . 58
4.16 Z方向IMU 為2Hz 時與視訊平台的比較圖(cm/s2) . . . . . . 59
4.17 標註特殊點的飛機模型. . . . . . . . . . . . . . . . . . . . . 60
4.18 姿態觀測實驗設備. . . . . . . . . . . . . . . . . . . . . . . 60
4.19 姿態實驗結果顯示. . . . . . . . . . . . . . . . . . . . . . . 61
4.20 偏航角0o, 滾轉角20o, 俯仰角0o時的偏航角資料及平均. . . . 62
4.21 偏航角0o, 滾轉角20o, 俯仰角0o時的滾轉角資料及平均. . . . 62
4.22 偏航角0o, 滾轉角20o, 俯仰角0o時的俯仰角資料及平均. . . . 63
4.23 偏航角0o, 滾轉角25o, 俯仰角0o時的偏航角資料及平均. . . . 63
4.24 偏航角0o, 滾轉角25o, 俯仰角0o時的滾轉角資料及平均. . . . 64
4.25 偏航角0o, 滾轉角25o, 俯仰角0o時的俯仰角資料及平均. . . . 64
4.26 偏航角0o, 滾轉角30o, 俯仰角0o時的偏航角資料及平均. . . . 65
4.27 偏航角0o, 滾轉角30o, 俯仰角0o時的滾轉角資料及平均. . . . 65
4.28 偏航角0o, 滾轉角30o, 俯仰角0o時的俯仰角資料及平均. . . . 66
4.29 偏航角90o, 滾轉角0o, 俯仰角−20o時的偏航角資料及平均. . . 67
4.30 偏航角90o, 滾轉角0o, 俯仰角−20o時的滾轉角資料及平均. . . 67
4.31 偏航角90o, 滾轉角0o, 俯仰角−20o時的俯仰角資料及平均. . . 68
4.32 偏航角90o, 滾轉角0o, 俯仰角−25o時的偏航角資料及平均. . . 68
4.33 偏航角90o, 滾轉角0o, 俯仰角−25o時的滾轉角資料及平均. . . 69
4.34 偏航角90o, 滾轉角0o, 俯仰角−25o時的俯仰角資料及平均. . . 69
4.35 偏航角90o, 滾轉角0o, 俯仰角−30o時的偏航角資料及平均. . . 70
4.36 偏航角90o, 滾轉角0o, 俯仰角−30o時的滾轉角資料及平均. . . 70
4.37 偏航角90o, 滾轉角0o, 俯仰角−30o時的俯仰角資料及平均. . . 71
4.38 偏航角180o, 滾轉角−20o, 俯仰角−0o時的偏航角資料及平均. 72
4.39 偏航角180o, 滾轉角−20o, 俯仰角−0o時的滾轉角資料及平均. 72
4.40 偏航角180o, 滾轉角−20o, 俯仰角−0o時的俯仰角資料及平均. 73
4.41 偏航角180o, 滾轉角−25o, 俯仰角−0o時的偏航角資料及平均. 73
4.42 偏航角180o, 滾轉角−25o, 俯仰角−0o時的滾轉角資料及平均. 74
4.43 偏航角180o, 滾轉角−25o, 俯仰角−0o時的俯仰角資料及平均. 74
4.44 偏航角180o, 滾轉角−30o, 俯仰角−0o時的偏航角資料及平均. 75
4.45 偏航角180o, 滾轉角−30o, 俯仰角−0o時的滾轉角資料及平均. 75
4.46 偏航角180o, 滾轉角−30o, 俯仰角−0o時的俯仰角資料及平均. 76
4.47 偏航角−90o, 滾轉角0o, 俯仰角20o時的偏航角資料及平均. . . 77
4.48 偏航角−90o, 滾轉角0o, 俯仰角20o時的滾轉角資料及平均. . . 77
4.49 偏航角−90o, 滾轉角0o, 俯仰角20o時的俯仰角資料及平均. . . 78
4.50 偏航角−90o, 滾轉角0o, 俯仰角25o時的偏航角資料及平均. . . 78
4.51 偏航角−90o, 滾轉角0o, 俯仰角25o時的滾轉角資料及平均. . . 79
4.52 偏航角−90o, 滾轉角0o, 俯仰角25o時的俯仰角資料及平均. . . 79
4.53 偏航角−90o, 滾轉角0o, 俯仰角30o時的偏航角資料及平均. . . 80
4.54 偏航角−90o, 滾轉角0o, 俯仰角30o時的滾轉角資料及平均. . . 80
4.55 偏航角−90o, 滾轉角0o, 俯仰角30o時的俯仰角資料及平均. . . 81

[1] D. Arun. “Computer vision and fuzzy-neural systems”. Prentice Hall, Inc.,　2001.

[2] V. Carbone, M. Carocci, E. Savio, G. Sansoni, and L. Chiffre. “Combination of a vision system and a coordinate measuring machine for the reverse engineering of
freeform surfaces”. Advanced Manufacturing Technology, Vol. 17, Pages 263-271, 2001.

[3] J. Franco, M. Lapierre, and E. Boyer. “Visual shapes of silhouette sets”. Proceedings of the Third International Symposium on 3D Data Processing, Visualization, and Transmission , pages 397–404, 2006.

[4] Y.L. Chen. A real-time object tracking system using the stereo vision. Master Thesis, Chung Yuan Christian University, 2003.

[5] C.I. Cheng. Obstacle detection and distance estimation by computer vision for indoor corridor environment. Master Thesis, National Chiao Tung University, 2002.

[6] C.Y. Lin. Path tracking controller design based on stereo computer vision. Master Thesis, National Chiao Tung University, 2002.

[7] J.K. Oh and C.H. Lee. “Development of a stereo vision system for industrial robots”. Proceedings of International Conference on Control, Automation and Systems, 2007. ICCAS ’07, pages 659–663, 2007.

[8] S.H. Han, W.H. Seo, K.S. Yoon, and M.H. Lee. “Real-time control of an industrial robot using image-base visual servoing” . Proceeding of the 1999 IEEE/RSJ International Confrence on Intelligent Robots and Systems, pages 1762–1767, 1999.

[9] F.Y. Hsiao. “Autonomous flight control of rotorcraft UAV using vision based navigation”. 17th Defense Technology Conference, 2008.

[10] I.H. Kim, D.E. Kim, Y.S. Cha, K.H. Lee, and T.Y. Kuc. “An embodiment of stereo vision system for mobile robot for real-time measuring distance and object tracking”. Proceedings of International Conference on Control, Automation and Systems, 2007. ICCAS ’07, pages 1029–1033, October, 2007.

[11] J. Yan, R.J. Wood, S. Avadhanula, M. Sitti, and R.S. Fearing. “Towards flapping wing control for a micromechanical flying insect”. Robotics and Automation,
2001. Proceedings 2001 ICRA, IEEE International Conference, Vol. 4, Pages 3901-3908, 2001.

[12] W.Y. Yau and H. Wang. “Fast relative depth computation for an active stereo vision system”. Real-Time Imaging, Vol. 5, Issue 3, Pages 189-202, 1999.

[13] G. Rafael, W. Richard, and E. Steven. “Digital image processing using MATLAB”. Addison Wesley Publishing, 2003.

[14] J.S. Lee, C.W. Seo, and E.S. Kim. “Implementation of opto-digital stereo object tracking system”. Optics Communications, Vol. 200, Pages 73-85, 2001.

[15] D. Marr and T. Poggio. “Cooperative computation of stereo disparity”. Science, Vol. 194, Pages 283-287, 1976.

[16] W.F.Phillips. “Mechanics of flight”. Wiley and Sons, 2004.

[17] T.H. Wu. Design and implementation of a MEMS-based flight information unit. Master Thesis, Tankang University, 2008.