充分維度縮減法 (sufficient dimension reduction, SDR) 可以找出有效的維度縮減方向來探索高維度資料的內在結構。本論文以 Java 程式語言開發一個充分維度縮減法的函式庫，稱做jSDRlib，實作了SIR、SAVE、pHd、及 IRE 等等估計中央子空間 (central subspace) 的方法；同時提供了相關的卡方檢定來判定維度縮減個數。我們的目的在利用 Java 語言跨平台的特性，提供使用者一個具擴充性的維度縮減資料分析工具。應用所開發的函式庫，我們比較了不同充分維度縮減法在分類問題上的表現。進一步，jSDRlib 會和現存的二個充分維度縮減法工具相比較：dr 套件 (R 軟體) 及LDR 工具箱 (Matlab 軟體)。此外，本論文也提供一個使用者介面jSDRgui，讓維度縮減後的資料觀察更具方便性。jSDRlib 函式庫相關的使用說明與應用範例，請瀏覽 http://www.hmwu.idv.tw/jSDRlib。

Sufficient dimension reduction (SDR) techniques aim to find the effective dimension reduction directions for exploring the intrinsic structure of high-dimensional datasets. In this study, we developed a Java library for performing sufficient dimension reduction techniques, namely jSDRlib. It implements SIR, SAVE, pHd, and IRE for estimating the central subspace. It also provides the estimation of the number of the effective dimensions via the statistical tests. Our purpose is to provide users an extensible tool for data analysis by taking advantage of the cross-platform feature of Java. We used jSDRlib to compare the performance of various sufficient dimension reduction methods to classification problems. Moreover, we compared our library with two existing SDR packages, the dr package in R and the LDR toolbox in Matlab . Finally, we developed a graphical user interface (GUI), based on jSDRlib, to investigate the dimension-reduced data. The user’s manual and the application examples are available at http://www.hmwu.idv.tw/jSDRlib.

目錄
摘要. . . . . . . . . . . . . . . . . . . . . . . . . . 1
1 導論. . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 jSDRlib 函式庫Java 程式設計. . . . . . . . . . . . . . . 2
2.1 設計架構. . . . . . . . . . . . . . . . . . . . . . . 2
2.2 實作方法說明. . . . . . . . . . . . . . . . . . . . . 3
2.3 使用jSDRlib . . . . . . . . . . . . . . . . . . . . . . 5
2.4 使用範例. . . . . . . . . . . . . . . . . . . . . . . . 8
2.5 使用jSDRlib 實作新方法. . . . . . . . . . . . . . . . 12
3 圖形使用者介面jSDRgui. . . . . . . . . . . . . . . . . . 14
3.1 使用jSDRgui . . . . . . . . . . . . . . . . . . . . . . 14
4 軟體及套件比較. . . . . . . . . . . . . . . . . . . . . . 19
5 於分類問題上的應用. . . . . . . . . . . . . . . . . . . . 25
6 結論與討論. . . . . . . . . . . . . . . . . . . . . . . . 29
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . 29
附錄. . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
A 充分維度縮減法. . . . . . . . . . . . . . . . . . . . . . 33
A.1 主成分分析(principal component analysis, PCA) . . . . . 34
A.2 切片逆迴歸(sliced inverse regression, SIR) . . . . . . 34
A.3 切片平均變異數估計(sliced average variance estimation, SAVE) 35
A.4 主要赫斯方向(principal hessian directions, pHd) . . . . . 35
A.5 逆回歸估計(inverse regression estimators, IRE) . . . . . 35
B 維度估計方法. . . . . . . . . . . . . . . . . . . . . . . 36
C 分類錯誤率表格. . . . . . . . . . . . . . . . . . . . . . 37
D jSDRlib 內部套件與類別說明. . . . . . . . . . . . . . . . 40
D.1 jSDR.methods 內部類別說明. . . . . . . . . . . . . . . 40
D.2 jSDR.mathematics 內部類別說明. . . . . . . . . . . . . 44
D.3 jSDR.io 內部類別說明. . . . . . . . . . . . . . . . . 47
D.4 jSDR.util 內部類別說明. . . . . . . . . . . . . . . . 49
E jSDRgui 功能說明. . . . . . . . . . . . . . . . . . . . 53
E.1 jSDRgui 主視窗工具列. . . . . . . . . . . . . . . . . 53
E.2 jSDRgui 內部視窗. . . . . . . . . . . . . . . . . . . 53
F 圖. . . . . . . . . . . . . . . . . . . . . . . . . . . 56

圖目錄
1 jSDRlib 內部的組織架構圖. . . . . . . . . . . . . . . 56
2 jSDRlib 網站: http://www.hmwu.idv.tw/jSDRlib . . .. . 57
3 jSDRlib 運作流程圖. . . . . . . . . . . . . . . . . . 57
4 使用樣板Example.java . . . . . . . . . . . . . . . . 58
5 執行jSDRgui 之起始主視窗畫面. . . . . . . . . . . . . 59
6 jSDRgui 開啟資料檔案視窗. . . . . . . . . . . . . . . 59
7 jSDRgui 選擇字串分隔符視窗. . . . . . . . . . . . . . 60
8 jSDRgui 決定自變數、應變數與維度縮減方法視窗. . . . . 60
9 jSDRgui 結果視窗. . . . . . . . . . . . . . . . . . . . 61
10 Wine 資料經過SIR 方法維度縮減後, 取前2 個維度縮減方向所
畫出的散佈圖。. . . . . . . . . . . . . . . . . . . . . . 62
11 Wine 資料經過SAVE 方法維度縮減後, 取前2 個維度縮減方向
所畫出的散佈圖。. . . . . . . . . . . . . . . . . . . . . 62
12 Wine 資料經過pHd 方法維度縮減後, 取前2 個維度縮減方向所
畫出的散佈圖。. . . . . . . . . . . . . . . . . . . . . . 63
13 每個資料經由各種維度縮減方法降至不同維度時, 計算10−fold
cross-validation linear svm 的分類錯誤率。y 軸為分類錯誤率,x
軸為所使用的資料維度。其中X 表示使用原始資料直接做分類所
得到的錯誤率。. . . . . . . . . . . . . . . . . . . . . . 64
14 每個資料經由各種維度縮減方法降至不同維度時, 計算10−fold
cross-validation linear svm 的分類錯誤率。y 軸為分類錯誤率,x
軸為所使用的資料維度。其中X 表示使用原始資料直接做分類所
得到的錯誤率。. . . . . . . . . . . . . . . . . . . . . . 65

表目錄
1 執行速度比較表(以秒計算) . . . . . . . . . . . . . . . 25
2 充分維度縮減法套件比較表. . . . . . . . . . . . . . . 26
3 各充分維度縮減法函式庫實作方法比較表. . . . . . . . . 27
4 使用的UCI 資料與其基本資訊. . . . . . . . . . . . . . 28

Abeel, T., Van de Peer, Y., Saeys, Y. (2009), Java-ML: a machine learning
library, Journal of Machine Learning Research, 10, 931-934.
Cattral, R., Oppacher, F., Deugo, D. (2002), Evolutionary data mining
with automatic rule generalization. Recent Advances in Computers,
Computing and Communications, 296-300.
Chambers, J.M. (2000), Users, programmers, and statistical software. Journal
of Computational and Graphical Statistics, 9(3), 404-422.
Chang, Chih-Chung and Lin, Chih-Jen (2011) LIBSVM : a library for sup-
port vector machines. ACM Transactions on Intelligent Systems and
Technology, 2:27:1–27:27. Software available at
http://www.csie.ntu.edu.tw/ cjlin/libsvm.
Cook, R. D. (2007), Fisher lecture: dimension reduction in regression (with
discussion). Statistical Science, 22, 1-26.
Cook, R. D. and Forzani, L. (2008), Covariance reducing models: an alter-
native to spectral modelling of covariance matrices. Biometrika, 95(4),
799-812.
Cook, R. D. and Forzani, L. (2009a). Principal fitted components in regres-
sion. Statistcal Science, 23(4), 485-501.
Cook, R. D., and Forzani, L. (2009b), Likelihood-based sufficient dimension
reduction, Journal of the American Statistical Association, 104(485),
197-208.
Cook, R. D., Forzani, L., and Tomassi, D. (2011), LDR a package for
likelihood-based sufficient dimension reduction, Journal of Statistical
Software, 39.
Cook, R. D., and Ni, L. (2005), Sufficient dimension reduction via inverse
regression: a minimum discrepancy approach, Journal of the American
Statistical Association, 100, 410-428.
Cook, R. D., and Weisberg, S. (1991), Discussion of ”sliced inverse regres-
sion for dimension reduction”, by K. C. Li, Journal of the American
Statistical Association, 86, 328-332.
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008),
LIBLINEAR: A library for large linear classification, Journal of Machine
Learning Research, 9, 1871-1874.
Fisher, R.A. (1936), The use of multiple measurements in taxonomic prob-
lems, Annals of Human Genetics, 7, Issue 2, 179-188.
Forina, M. et al, (1991), PARVUS - An Extendible Package for Data Explo-
ration, Classification and Correlation, Institute of Pharmaceutical and
Food Analysis and Technologies, Via Brigata Salerno, 16147 Genoa,
Italy.
Frank, A. and Asuncion, A. (2010), UCI machine learning repository
http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School
of Information and Computer Science.
Li, B. and Wang, S. (2007), On directional regression for dimension reduc-
tion. Journal of American Statistical Association 102, 997-1008.
Li, K. C. (1991), Sliced inverse regression for dimension reduction (with
discussion), Journal of the American Statistical Association, 86, 316-
342.
Li, K. C. (1992), On principal hessian directions for data visualization and
dimension reduction: another application of Stein’s lemma, Journal of
the American Statistical Association, 87, 1025-1039.
Weisberg, S. (2002), Dimension reduction regression in R, Journal of Statistical
Software, 7. Available from http://www.jstatsoft.org.