本論文提出一套具偵測並修復毀損邊緣之影像修補系統。首先找出可能的邊緣線端點，再根據顏色與切線斜率資訊，執行邊緣點配對。進而進行影像修補工作，包含毀損邊緣軌跡外圍區域與其它毀損區域之修補。由於不同影像具其個別特性，一個修補法無法針對所有影像做完美修補。因而我們根據不同的影像特性，針對邊線區域與非邊線區域提出四個不同修補方法。
修補法之一，以邊線為基準之條狀剪貼，即對兩邊邊緣點利用附近相關的非毀損區域資訊進行差異比對，將最小差異的條狀區段依序的貼至受損區域完成修補。
修補法之二，以邊線為基準之區塊剪貼，以兩端點邊線的延伸，找出適當的區塊，利用座標的平移與旋轉，將對應的座標點之內容資料填回受損區域完成修補。以上兩個修補法都執行相同的後處裡工作，即對修補區域邊緣的顏色差異，以區域變化平滑化(local variation smoothing)將之消除。
修補法之三，比較顏色差異之修補法，在受損區域由外至內一層一層的修補。對每一個待修補點，與其鄰近未受損點，比較其變異數，將變異數最接近之未受損點，將其相關資訊填入該受損點完成修補。
修補法之四，方向與顏色資訊之內插法，即對每一對邊緣點利用B-spline恢復並描繪出受損邊緣的軌跡。待所有的受損邊緣軌跡描繪出後，再以線性內插法來修補受損邊緣軌跡的外圍區域。對其它受損區域兩階段之修補法，則從最靠近非受損區域的待修補點開始，根據其鄰近非受損區域的特徵決定其修補的顏色。
對以上每個修補法，我們分析其特性並描述其所適合修補的影像，最後以實驗結果驗證之。

This paper proposes an image repairing system that can detect and restored damaged edges. First possible  damaged edge endpoints are determined and then paired in accordance with their characteristics such as color information and slopes of tangent lines. The damaged region to be repaired is divided into two parts including the subregion around the predicted edge trajectory and the remaining. There does not exist an image repairing system well suit to all kinds of images. Based on different characteristics of edge regions and non-edge regions, we proposed four different repairing methods, including strip-wise cut-and-paste with adjustment, block-wise cut-and-paste with adjustment, inpainting based on color variation, and inpainting using interpolation on color information and direction. For each of these methods, 
we analyze and describe its individual characteristics and the images it is suitable to repair.

第1章 緒論 1 
1.1 研究動機與目的 1 
1.2 相關研究 2 
1.2.1 基於偏微分方程之修補法 2 
1.2.2 基於邊緣草圖建立之修補法 3 
1.2.3 基於旋積與濾波器之修補法 4 
1.2.4 基於紋理走向之修補法 4 
1.3 系統流程 6 
1.4 組織章節 7 
第2章 前處理 8 
2.1 顏色空間模型 8 
2.2 平滑與對比伸張(Contrast Strength)  9 
2.3 邊緣偵測 11 
2.4 中間值濾波 13 
2.5 閉運算(Closing) 13 
2.6 細化(Thining) 15 
第3章 邊點配對與影像修補 17 
3.1 邊點配對 17 
3.2 曲線預測 21 
3.3 受損區塊修補 22 
3.3.1 修補方法一 22 
3.3.2 修補方法二 27 
3.3.3 修補方法三 30 
3.3.4 修補方法四 32 
第4章 實驗結果與比較 35 
4.1 實驗結果 35 
4.2 結果比較 39 
第五章 結論與未來研究 41 
5.1 結論 41 
5.2 未來研究 42 
參考文獻: 43 
附錄—英文論文 45
 
圖目錄 
圖1- 1 (a)原圖，(b)隨機雜訊，(c) Tony F. Chan et al. 方法之修補結果 2
圖1- 2 (a)毀損照片，(b) M. M. Oliveira et al. 方法之修補結果 3
圖1- 3 預測sketch重建圖 3
圖1- 4 (a)原圖，(b)預修補的區域，(c)找出sketch，(d)修補過後的圖 4
圖1- 5 樣本比對(a)L型視窗，(b)樣本區，(c)待修補區，(d)、(e)不同階段的修補結果 5
圖1- 6 影像修補流程圖 6
圖2- 1 原圖 8
圖2- 2 受損圖 8
圖2- 3 圖2-2之灰階影像經平滑與對比處理結果 9
圖2- 4 圖2-3經Sobel運算後的結果 11
圖2- 5 圖2-4經Otsu二值化後的結果 13
圖2- 6 擴張示意圖 (a)為結構元素SE (b)黑色部分為物件本身 (c)紅色部分為擴張的範圍。 14
圖2- 7 浸蝕示意圖 (a)為結構元素SE，(b)黑色部分為物件本身，(c)的紅色部分為浸蝕後的效果。 14
圖2- 8 封閉運算示意圖 (a)為結構元素SE ，(b)為黑色部分為物件本身，(c)紅色加黑色部分為封閉運算後的結果。 15
圖2- 9 圖2-5經閉運算與細化處理後的結果 16
圖3- 1 前處理後所得到的邊緣圖，其中藍色點為端點，紅色點為端點附近的非受損區域邊緣資料。 17
圖3- 2 (a)、(b)兩邊點之切線交點落在兩端點連線之下方，(c)兩邊點之切線無交點，(d)兩邊點之切線交點落在兩端點連線之上方 18
圖3- 3 周圍顏色說明範例，配對端點為A、B、D、E四點時其分別的周圍顏色值為何 19
圖3- 4 顏色比對說明範例 20
圖3- 5 預測線型的說明 (a)兩對配對點，(b)紅色為修補邊線 21
圖3- 6 方法示意圖 22
圖3- 7 方法一之步驟1說明 24
圖3- 8 方法一之步驟4說明 25
圖3- 9 方法二之示意圖 27
圖3- 10 平滑化說明 28
圖3- 11 方法三之示意 30
圖3- 12 方法三修補說明 31
圖3- 13 內、外側點之區分圖示說明 32
圖3- 14 方法四之點向量算法圖示說明 33
圖3- 15 方法四的內側點圖示說明 34
圖4- 1 (a)原始圖片，(b)待修補圖片，(c)修補過後的圖片 36
圖4- 2 (a)原始圖片，(b)待修補圖片，(c)修補過後的圖片 37
圖4- 3 (a)原始圖片，(b)待修補圖片，(c)修補過後的圖片 37
圖4- 4 (a)原始圖片，(b)待修補圖片，(c)修補過後的圖片 38
圖4- 5 (a)原始圖片，(b)待修補圖片，(c)修補過後的圖片 38
圖4- 6 (a)受損圖片，(b)使用提出之方法修補結果，(c)使用M. M. Oliveira et al修補結果 39
圖4- 7 (a)受損圖片，(b)使用提出之方法修補結果，(c)使用M. M. Oliveira et al修補結果 40
 
表目錄
表4- 1 點配對之正確率 36

[1] S. Masnou, “Disocclusion: A variational approach using level lines, “IEEE Trans. Image Processing, vol. 11, no. 2, pp. 68-76, Feb. 2002.
[2] Tony F. Chan and Jianhong Shen, “Inpainting based on nonlinear transport and diffusion,” Contemporary Mathematics, vol. 313, pp. 53-66, 2002.
[3] Manuel M. Oliveira, Brian Bowen, Richard McKenna, and Yu-Sung Chang, “Fast digital image inpainting,” in Proceedings of the International Conference on Visualization, Imaging and Image Processing,  (VIIP2001), pp. 261-266, 2001.
[4] L. Atzori and F. G. B. De Natale, “Error concealment in video transmission over packet networks by a sketch-based approach,” Signal Process. Image Commun., vol. 15, no. 1-2, pp. 57-76, Sep. 1999.
[5] A. Rares, M. J. T. Reinders, and J. Biemond, “Image sequence restoration in the presence of pathological motion and severe,” in Proceedings of the IEEE ICASSP conference, Orlando, FL, USA, pp. 13-17, May 2002.
[6] Luigi Atzori  and Francesco G. B. De Natale, “Reconstruction of missing or occluded contour segments using Bezier interpolations” Signal Processing, vol. 80, no. 8 pp. 1691-1694, Aug. 2000.
[7] L. Khriji, M. Gabbouj, G. Ramponi, and E. D. Ferrandiere, “Old movie restoration using rational spatial interpolators,” in Proceedings of the 6th IEEE Int. Conf. Electronics, Circuits, Systems, pp. 1-4, Sep. 1999.
[8] A. A. Efros and T. K. Leung, “Texture synthesis by nonparametric sampling,” in Proceedings of the ICCV, pp. 125-142, 1999.
[9] Anil Kokaram,“Practical MCMC for missing data treatment in degraded video,” in Proceedings of the ECCV Workshop on Statistical Methods for Time Varying Image Sequences, Copenhagen, Denmark, pp.  85-90, 2002
[10] A. C. Kokaram and S. Godsill, “MCMC for joint noise reduction and missing data treatment in degraded video,” IEEE Trans. Signal Process., vol. 50, no. 2, pp. 189-205, Feb. 2002.
[11] A. C. Kokaram, “Parametric texture synthesis using stochastic sampling,” in Proceedings of the IEEE Int. Conf. Image Processing, New York, Sep. 2002.
[12] Li-Yi Wei and Marc Levoy, “Fast texture synthesis using tree-structured vector quantization”, New Orleans, 2000. 
[13] L. Wei, “Deterministic texture analysis and synthesis using tree structure vector quantization,” In XII Brazilian Symposium on Computer Graphics and Image Processing, pp. 207-213, October 1999.