對於以內容為基礎的影像搜尋系統而言，常使用到的特徵有形狀(Sharp)、紋理(Texture)、以及顏色(Color)。所以，為了提升以內容為基礎的影像搜尋系統的正確性，找出更好的影像特徵描述方式是必要的。
    本論文則是著重於紋理特徵的研究。對於過去已被學者提出幾種不錯的紋理描述方式，我們做了完整的分析與實驗。
過去對影像分析的研究有空間域的分析以及頻率域的分析兩方面，而本論文則是改進在空間域分析的方法–利用小波轉換(Wavelet Transform)之後所得到的高頻資訊的能量(Energy)；以及空間域分析的方法–利用Local Binary Pattern (LBP)可以統計紋理影像結構的特性，結合兩者的優點，提出另一個特徵–Local Energy Binary Pattern (LEBP)。
在實驗中，我們發現只有使用Local Energy Binary Pattern這個特徵時，由於分析的只有高頻資訊的影像，實驗結果沒有明顯的效果。但是，這個特徵若是結合過去學者提出在一般空間域分析的特徵Local Binary Pattern (LBP)或是Local Edge Pattern (LEP)，實驗後發現可以得到更好、更明顯的效果。
    本論文實驗的資料庫有兩個紋理資料庫：Bordatz Textures以及Vision Texture(Vistex)。實驗後可以看出我們提出的LBP結合LEBP的特徵與LEP結合LEBP的特徵都有很好的結果。
    最後使用兩種不同的距離量測方法–city block distance metric以及Euclidean distance metric，測試不同距離量測的方法得到的效果。

The major features for content-based image retrieval systems are shape, color, spatial relationship, and texture. For developing an effective content-based image retrieval system, it is desired to find good features to describe images.
   
  In this thesis, we concentrate on texture features. Through complete experiments, we analyze and compare some other well-known texture features, such as local binary pattern (LBP), local edge pattern (LEP), wavelet energy, and gradient indexing, and also test and compare the distance measures, City Block distance and Euclidean distance, to measure the distance between two texture images. Finally we propose a texture image retrieval system with higher performance than all the compared ones. 

  After performing wavelet transform on images, the high frequency information and its energy can be obtained. Each such high frequency information possesses its own spatial property. Since the feature of “local binary pattern” (LBP) possesses the structure information of the texture images, we use the LBP operator to hold this spatial property of image after performing wavelet transform. We call this feature the “local energy binary pattern” (LEBP). We combine this feature of high frequency information, LEBP, with the other features, “local binary pattern” (LBP) and “local edge pattern” (LEP), as to be the feature for our system. The experimental results show that the proposed system has good performance when testing on both the databases of the Brodatz Textures and the Vision Textures (Vistex).

目    錄
第 1 章 緒論..........................................1
1.1     研究動機與目的................................1
1.2     相關研究......................................2
第 2 章 相關理論......................................6
2.1     彩色模型......................................6
2.2     空間域與頻率域上的影像........................8
2.2.1 空間域中的影像資料格式..........................8
2.2.2 頻率域中的影像資訊定義..........................9
2.2.3 二維數位影像的高低頻定義........................10
2.3     小波轉換......................................11
2.3.1 小波轉換概觀....................................12
2.3.2 Haar離散小波轉換................................13
第 3 章 研究方法......................................21
3.1     概要..........................................21
3.2     各種紋理影像特徵..............................23
3.2.1 區域二元模式(Local Binary Pattern)..............24
3.2.2 區域邊緣模式( Local Edge Pattern)...............28
3.2.3 小波能量(Wavelet Energy)........................32
3.2.4 區域能量二元模式(Local Energy Binary Pattern)...35
3.2.5 梯度索引(Gradient Indexing).....................38
第 4 章  實驗結果.....................................43
4.1     距離的量測方式................................43
4.2     效能的評估方式................................44
4.3     實驗使用的資料庫..............................46
4.4     各項特徵的實驗–使用Brodatz Textures Database.49
4.4.1 區域二元模式(Local Binary Pattern)..............50
4.4.2 區域邊緣模式(Local Edge Pattern)................51
4.4.3 小波能量(Wavelet Energy)........................53
4.4.4 區域能量二元模式(Local Energy Binary Pattern)...54
4.4.5 梯度索引(Gradient Indexing).....................56
4.5     各項特徵的實驗 - 使用Vistex Database..........57
4.5.1 區域二元模式(Local Binary Pattern)..............57
4.5.2 區域邊緣模式(Local Edge Pattern)................59
4.5.3 小波能量(Wavelet Energy)........................60
4.5.4 區域能量二元模式(Local Energy Binary Pattern)...62
4.5.5 梯度索引(Gradient Indexing).....................63
4.6     檢討與改進....................................64
4.7     討論..........................................78
4.7.1 小波轉換的階數..................................78
4.7.2 距離量測方式的選擇..............................80
4.7.3 本論文的系統....................................81
第 5 章 結論與未來展望................................83
5.1     結論..........................................83
5.2     未來展望......................................83
參考文獻..............................................85
附錄A 英文論文.......................................A-1


圖  目  錄
圖1.1  以關鍵字為基礎的影像搜尋系統...................3
圖1.2  以內容為基礎的影像搜尋系統.....................4
圖2.1  影像在空間域的表示法(此例為黑白影像)。  (A) 數位影像資料 (B) 數位影像示意圖.....8
圖2.2  (A) 黑白數位影像  (B) 灰階數位影像  (C) 彩色數位影像.....9
圖2.3  (A) 圖2-2(B)經過DCT轉換  (B) 圖2-2(B)經過二階小波轉換.....10
圖2.4  小波轉換示意圖.................................13
圖2.5  小波轉換第一次水平分割示意圖...................15
圖2.6  小波轉換完成水平分割的結果示意圖...............16
圖2.7  小波轉換第一次垂直分割示意圖...................17
圖2.8  完成垂直分割的結果示意圖.......................18
圖2.9  (A) 小波轉換範例原圖-LENNA  (B) 一階小波轉換範例  (C) 一階小波轉換示意圖  (D) 二階小波轉換範例  (E) 二階小波轉換示意圖.....19
圖2.10  (A) 小波轉換範例原圖-磚牆  (B) 一階小波轉換範例  (C) 一階小波轉換示意圖  (D) 二階小波轉換範例  (E) 二階小波轉換示意圖.....20
圖3.1  各種紋理影像...................................21
圖3.2  本系統之流程圖.................................22
圖3.3  (A) LBP濾波器以及 (B).位置對應乘積的值.........25
圖3.4  LBP範例........................................26
圖3.5  (A) LEP濾波器以及 (B) 位置對應乘積的值.........29
圖3.6  LEP範例........................................30
圖3.7  一階小波後轉換後所取的能量.....................34
圖3.8  (A) SOBEL OPERATOR X-DIRECTION  (B) SOBEL OPERATOR Y-DlRECTION.....39
圖3.9  羅伯特交叉梯度運算所運算的兩個對角線方向的梯度.39
圖3.10  水平方向及垂直方向的梯度運算..................40
圖4.1  部分的BRODATZ TEXTURES中的影像.................48
圖4.2  部分的VISION TEXTURE中的影像...................49
圖4.3  利用LBP特徵做搜尋的例子........................51
圖4.4  利用LEP特徵做搜尋的例子........................52
圖4.5  利用WAVELET ENERGY特徵做搜尋的例子.............54
圖4.6  利用LEBP特徵做搜尋的例子.......................55
圖4.7  利用GRADIENT INDEXING特徵做搜尋的例子..........57
圖4.8  利用LBP特徵做搜尋的例子........................58
圖4.9  利用LEP特徵做搜尋的例子........................60
圖4.10  利用WAVELET ENERGY特徵做搜尋的例子............61
圖4.11  利用LEBP特徵做搜尋的例子......................63
圖4.12  利用GRADIENT INDEXING特徵做搜尋的例子.........64
圖4.13  影像經過二階小波轉換後，低頻影像的部分........65
圖4.14  各項特徵搜尋BRODATZ TEXTURES的RECALL RATE比較.71
圖4.15  各項特徵搜尋BRODATZ TEXTURES的PRECISION RATE比較.....71
圖4.16  各項特徵搜尋BRODATZ TEXTURES的AVRR/IAVRR比較..72
圖4.17  各項特徵搜尋VISTEX的RECALL RATE比較...........77
圖4.18  各項特徵搜尋VISTEX的PRECISION RATE比較........77
圖4.19  各項特徵搜尋VISTEX的AVRR/IAVRR比較............78


表  目  錄
表4.1  影像搜尋後依正確與否可分為四類.................45
表4.2  利用LBP特徵做搜尋的結果........................50
表4.3  利用LEP特徵做搜尋的結果........................52
表4.4  利用WAVELET ENERGY特徵做搜尋的結果.............53
表4.5  利用LEBP特徵做搜尋的結果.......................55
表4.6  利用GRADIENT INDEXING特徵做搜尋的結果..........56
表4.7  利用LBP特徵做搜尋的結果........................58
表4.8  利用LEP特徵做搜尋的結果........................59
表4.9  利用WAVELET ENERGY特徵做搜尋的結果.............61
表4.10  利用LEBP特徵做搜尋的結果......................62
表4.11  利用GRADIENT INDEXING特徵做搜尋的結果.........63
表4.12  利用LEP+LEBP特徵做搜尋的結果..................66
表4.13  使用LEP+LEBP各種權重的實驗結果 - RECALL RATE..67
表4.14  使用LBP+LEBP各種權重的實驗結果 - RECALL RATE..68
表4.15  各項特徵的RECALL RATE比較，利用CITY BLOCK DISTANCE.....69
表4.16  各項特徵的PRECISION RATE比較，利用CITY BLOCK DISTANCE.....70
表4.17  各種特徵的AVRR/IAVRR..........................70
表4.18  LBP+LEBP及LEP+LEBP的RECALL RATE比較表.........73
表4.19  LBP+LEBP及LEP+LEBP的PRECISION RATE比較表......74
表4.20  各項特徵的RECALL RATE比較，利用CITY BLOCK DISTANCE.....75
表4.21  各項特徵的PRECISION RATE比較，利用CITY BLOCK DISTANCE.....76
表4.22  各種特徵的AVRR/IAVRR..........................76
表4.23  使用LEBP、CITY BLOCK DISTANCE，比較各階小波轉換的結果 – RECALL RATE.....79
表4.24  使用LEBP、CITY BLOCK DISTANCE，比較各階小波轉換的結果 – PRECISION RATE.....80
表4.25  利用EUCLIDEAN DISTANCE及CITY BLOCK DISTANCE的RECALL RATE及PRECISION RATE的比較.....81

[1]V.E. Ogle and M. Stonebraker, ” Chabot: retrieval from a relational database of images”, IEEE Computer, Vol. 28, Issue 9, September 1995, pp. 40 – 48.
[2] .R.K. Srihari, “Automatic indexing and content-based retrieval of captioned images”, IEEE Computer, September, 1995, pp. 49 – 56.
[3]. Charles Frankel, Michael J. Swain, and Vassilis Athitsos, “Webseer: an image search engine for the World Wide Web,” Technical Report 96 – 14, Department of Computer Science, University of Chicago, 1996.
[4] Linhui Jia and L. Kitchen, “Object-based image similarity computation using inductive learning of contour-segment relations”, Image Processing, IEEE Transactions on, Volume 9, Issue 1, Jan. 2000, pp. 80 – 87.
[5] M. Flickner, H. Sawhney, and W. Niblack, et al., “Query by image and video content: the QBIC system”, IEEE Comput., September, 1995, pp. 23 – 32.
[6] W.Y. Ma and B.S. Manjunath, “NeTra: a toolbox for navigating large image databases”, Image Processing, Proceedings., International Conference on Volume 1, 1997, pp. 568 - 571.
[7] A. Pentland, R.W. Picard, and S. Sclaroff, “Photobook: content-based manipulation of image databases”, Internat. J. Comput. Vision 18, 1996, pp. 233 – 254.
[8] L.S. Davis, S.A. Johns, and J.K. Aggarwal, “Texture analysis using  generalized co-occurrence matrices”, IEEE Trans. Pattern Analysis. Mach. Intell., 1979, pp. 251 – 259.
[9] Timo Ojala and Matti Pietikäinen, “Unsupervised texture segmentation using feature distributions”, Pattern Recognition Volume: 32, Issue: 3, March, 1999, pp. 477 – 486. 
[10] P.W. Huang and S.K. Dai, “Design of a two-stage content-based image retrieval system using texture similarity”, Information Processing and Management 40, 2004, pp.81 – 96.
[11] Cheng-Hao Yao and Shu-Yuan Chen, “Retrieval of translated, rotated and scaled color textures”, Pattern Recognition 36, 2003, pp. 913 – 929.
[12] G. Van de Wouwer, P. Scheunders, S. Livens, and D. Van Dyck, ”Wavelet correlation signatures for color texture characteri- zeation” Pattern Recognition 32, 1999, pp. 443 – 451.
[13] Timo Ojala, Matti Pietikäinen, and David Harwood, “A comparative study of texture measures with classification based on feature distributions” Pattern Recognition Volume 29, Issue 1, 1996, pp. 51 – 59.
[14] Alberto Del Bimbo, ”Visual Information Retrieval”, (Ed.), Morgan Kaufmann Publishers, INC. San Francisco, California.
[15] Brodatz Textures: http://www.ux.his.no/~tranden/brodatz.html
[16] Rafael C. Gonzalez and Richard E. Woods, “Digital Image Processing”, (Ed.), Addision-Wesley Publishing Company.
[17] Sung-Hyuk Cha and Sargur N. Srihari, ”On measuring the distance between histograms”, Pattern Recognition Volume 35, Issue 6, June 2002, pp. 1355 – 1370.
[18].Chi-Man Pun, “Rotation-invariant texture feature for image retrieval” Computer Vision and Image Understanding 89, 2003, pp. 24 – 43.
[19] Vision Texture: http://vismod.media.mit.edu/vismod/imagery/VisionTexture/vistex.html