本實驗針對待修補物體的邊緣進行修補，在以前的研究中，對於物體邊緣的修補都是先手動將物體邊緣找出來，再利用提出的演算法去修補。本實驗所提出的是一種自動預測物體邊緣的方法，將有可能的物體邊緣預測出來，再利用我們提出的修補演算法，其對於物體邊緣之修補有不錯的結果。
	本實驗主要是先對待修補圖片進行前處理，前處理包括，R.G.B轉H.S.I顏色空間模型，對比伸張(Contrast Strength)，Sobel邊緣偵測，Otsu 二值化，封閉運算(Closing)，細化(Thining)，將前處理過後的圖片去做毀損邊緣的預測，最後利用我們出的修補演算法去修補。

In this thesis, a new approach is presented for restoration of damaged portions of images. The algorithm first locates several feature points on the boundary of the damaged region of a given image. Missing curves are then automatically predicted and reconstructed by using the B-spline technique. Finally, a method that combines the advantages of texture synthesis and image inpainting is applied to restore the remaining damaged portion. Our experimental results are good for object’s edge.
	Our method focuses on only one-curve/edge prediction. However, there might be more than one missing curve/edge in a damage image. Recently, we are focusing on detection of more than one missing curve/edge in damage images and hoping to accomplish a more applicable and effective restoration scheme.

目   錄
第一章 緒論	1
1.1 研究動機與目的	1
1.2 相關研究	1
1.2.1紋理合成	2
1.2.2 Inpainting	6
1.2.3 近期方法	11
1.3 流程圖	15
1.4	論文架構	16
第二章 前處理	17
2.1 顏色空間模型	17
2.2 對比伸張(Contrast Strength)	22
2.3 Sobel邊緣偵測	24
2.4 Otsu 二值化	25
2.6 封閉運算(Closing)	29
2.7 細化(Thining)	32
第三章 提出方法	34
3.1 預測曲線	34
3.2 修補破損區域	45
3.2.1 曲線片條以外區域之修補	45
3.2.2 預測曲線片條區域之修補	48
第四章	實驗結果與比較	52
4.1 實驗結果	52
4.2結果比較	57
第五章 結論與未來研究	60
5.1結論	60
5.2 未來研究	60
參考文獻	62
英文論文 64

圖目錄
圖1- 1 樣本比對	2
圖1- 2 (a) 樣本 (b)隨機的雜訊 (c) 修補結果	3
圖1- 3 (a) 真實影像的樣本 (b) 待修補區域	4
圖1- 4 (a) 黑色部分為修補部份 (b) A. A. Efroset al. 方法之修補結果	5
圖1- 5 兩個遮罩圖(a) a = 0.073235, b = 0.176765，(b) c = 0.125	7
圖1- 6 (a) 毀損照片 (b) M. M. Oliveira et al. 方法之修補結果	7
圖1- 7 (a) 原圖 (b) 隨機雜訊 (c) Tony F. Chan et al. 方法之修補結果	8
圖1- 8 Isophote line	8
圖1- 9 (a), (c) 為毀損照片，(b), (d)為利用Image Inpainting演算法修補過後的結果。	9
圖1- 10 TV方法修補過後的圖	10
圖1- 11 (a) 雜訊圖 (b) CDD的方法修補後的結果	10
圖1- 12 紋理跟樣本比對及修補圖	11
圖1- 13 (a) 原影像 (b) 將(a)中影像的人整個移除掉後，用提出的Exemplar為基礎的演算法修補過後的結果	12
圖1- 14 (a)原圖 (b)預修補的區域 (c)找出紋理走向 (d)修補過後的圖	13
圖1- 15 紋理走向重建圖	14
圖1- 16 (a) 待修補的影像 (b) 修補過後的影像 (c)修補後局部放大影像 (d) 修補頭髮部份 (e) 原圖放大 (f) 修補過後的放大圖	14

圖1- 16 (a) 待修補的影像 (b) 修補過後的影像 (c)修補後局部放大影像 (d) 修補頭髮部份 (e) 原圖放大 (f) 修補過後的放大圖14
圖2- 1 原圖.............................................................................................17
圖2- 2 R.G.B. 顏色空間模型.................................................................18
圖2- 3 H.S.I. 顏色空間模型...................................................................19
圖2- 4 對比伸張的圖例.........................................................................23
圖2- 5 圖2- 4(b)做Sobel邊緣偵測後的結果........................................24
圖2- 6 圖2- 5做Otsu二值化後的結果.................................................27
圖2- 7 圖2- 6做中間值濾波後的結果.................................................28
圖2- 8 擴張示意圖 (a)為結構元素SE (b)黑色部分為物件本身 (c)紅色部分為擴張的範圍。.................................................................29
圖2- 9 浸蝕示意圖 (a)為結構元素SE，(b)黑色部分為物件本身，(c)的紅色部分為浸蝕後的效果。.....................................................30
圖2- 10 封閉運算示意圖 (a)為結構元素SE ，(b)為黑色部分為物件本身，(c)紅色加黑色部分為封閉運算後的結果。.....................31
圖2- 11 圖2- 7做封閉運算後的結果...................................................31
圖2- 12 圖2- 11細化後的結果.............................................................33
圖3- 1 紅色區塊為待修補區域.............................................................34
IV
圖3- 2 影像做完前處理之結果.............................................................35
圖3- 3 找到邊界點P1和P2......................................................................35
圖3- 4 兩切線之交點b...........................................................................36
圖3- 5 不同階層示意圖.........................................................................39
圖3- 6 階層為2時之B-spline圖形.......................................................40
圖3- 7 階層為3時之B-spline圖形.......................................................40
圖3- 8 階層為4時之B-spline圖形.......................................................41
圖3- 9 共線圖.........................................................................................42
圖3- 10 三角形定理...............................................................................43
圖3- 11 (a)曲率較小之預測曲線 (b) 曲率較大之預測曲線...............43
圖3- 12 B-spline預測出來的圖..............................................................44
圖3- 13 寬度約為7的曲線片條...........................................................45
圖3- 14 修補樣本示意圖.......................................................................46
圖3- 15 修補過後剩下預測曲線片條之影像.......................................47
圖3- 16 六種走向示意圖 (a)由上到下 (b)由左到右 (c)由上到左 (d)由上到右 (e)由左到下 (f)由右到下.............................................48
圖3- 17 曲線片條之修補樣本與待修補片段示意圖...........................49
圖3- 18 計算向量...................................................................................51

圖4- 1 (a) 原始圖片，(b) 待修補圖片，(c)本方法修補後的結果	53
圖4- 2 (a) 原始圖片，(b) 待修補圖片，(c)本方法修補後的結果	55
圖4- 3 第一行為原始圖片，第二行為待修補圖片，第三行為本方法修補後的結果	56
圖4- 4  第一行為本方法修補後的結果，第二行為M. M. Oliveira et al.方法修補後的結果	57
圖4- 5 第一行為本方法修補後的結果，第二行為M. M. Oliveira et al.方法修補後的結果	58
圖4- 6 第一行為本方法修補後的結果，第二行為M. M. Oliveira et al.方法修補後的結果	59

[1] Li-Yi Wei and Marc Levoy, “Fast Texture Synthesis Using Tree-Structured Vector Quantization”, SIGGRAPH 2000, New Orleans, LA USA© ACM 2000 1-58113-208-5/00/07

[2] Alexei A. Efros and Thomas K. Leung , “Texture Synthesis by Non-parametric Sampling”, IEEE International Conference on Computer Vision (ICCV'99), Corfu, Greece, September 1999 

[3] Manuel M. Oliveira, Brian Bowen, Richard McKenna, and Yu-Sung Chang, “Fast Digital Image Inpainting,” in Proceedings of the International Conference on Visualization, Imaging and Image Processing, (VIIP2001), 2001, pp. 261-266.

[4] Tony F. Chan, Jianhong Shen,“Inpainting Based on Nonlinear Transport and Diffusion”Contemporary Mathematics, 2002, vol. 313, pp.53-66

[5] M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, “Image Inpainting,” in Proceedings of the ACM SIGGRAPH Conference on Computer Graphics, SIGGRAPH 2000, 2000, pp. 417-424.



[6] T. F. Chan and J. Shen, “Nontexture Inpainting by Curvature-Driven Diffusions,” Journal of Visual Communication and Image Representation, vol. 12, no. 4, 2001, pp. 436-449

[7] Antonio Criminisi, Patrick Pérez, and Kentaro Toyama, “Region Filling and Object Removal by Exemplar-Based Image Inpainting,” IEEE Transactions Image Processing, vol. 13, 2004, pp. 1200-1212.

[8] Hasimoto Beltran Rogelio, "Spatial Error Conecealment Based on Bezier Curves",International Conference on Multimedia and Expo, Julio 6-10, Holanda, HOLANDA, (2005)

[9] Andrei Rares, Marcel J. T. Reinders, and Jan Biemond,” Edge-Based Image Restoration”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 14, NO. 10, OCTOBER 2005

[10] L. Wei. “Deterministic texture analysis and synthesis using tree structure vector quantization.” In XII Brazilian Symposium on Computer Graphics and Image Processing, pages 207-213, October 1999.