淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-1101201214465100
中文論文名稱 不同機率分布下特異值檢定之門檻值研究
英文論文名稱 A Study on the Threshold of Outlier Detection for Different Probability Distributions
校院名稱 淡江大學
系所名稱(中) 水資源及環境工程學系碩士班
系所名稱(英) Department of Water Resources and Environmental Engineering
學年度 100
學期 1
出版年 101
研究生中文姓名 邱薇如
研究生英文姓名 Wei-Ju Chiu
學號 698480026
學位類別 碩士
語文別 中文
口試日期 2012-01-03
論文頁數 108頁
口試委員 指導教授-虞國興
指導教授-鄭思蘋
委員-王如意
委員-徐年盛
委員-楊錦釧
中文關鍵字 特異值  漢佩爾辨識法  機率分布 
英文關鍵字 Outlier  Hampel identifier  Probability ditribution 
學科別分類 學科別應用科學環境工程
中文摘要   近年來全球氣候變化甚大,極端洪水現象日漸加劇,然而,這些極端降雨事件是否為單一個案,亦或是氣候變異之徵兆,需進一步分析了解。進行水文分析時,若將極端降雨事件皆視為異常觀測值,進而將之刪除,則會造成資料分析結果不正確,以致無法準確判斷其降雨分布之型態,亦會造成災情模擬時的偏估狀況。
  在過去研究中,漢佩爾辨識法(Hampel identifier method)只用於對稱頻率分布資料,尚無探討非對稱機率分布。因此,本研究推導出非對稱機率分布之尺度因子K值,並依照不同分布提出有效之理論K值迴歸方程式,進一步計算偵測特異值之門檻值,並利用台灣南部地區之實測資料,以探討特異值偵測狀況,實測資料分別以短延時1小時及長延時24小時之時雨量進行分析。此外,在分析過程中發現各種降雨特性在近二十年來有所之改變,故本研究進一步將1990年作為之實測雨量資料之分界點進行探討。
  由研究結果顯示,漢佩爾辨識法可用於非對稱機率分布,只需得知其轉換尺度因子K值,即可應用於實際資料中;實際應用建議以α= 0.01為此法之門檻值標準;此外,以1990年分段後所偵測出之特異值結果不同,近年颱風之異常降雨被偵測為特異值結果較少,故台灣降雨情形於1990年前後確實有氣候變異之情形發生。
英文摘要 Analysis is required to determine whether what appeared to be an increase in flood and extreme weather events signifies a global climate shift. When extreme weather events are excluded, the hydrological analysis would not yield correct conclusions about precipitation patterns or accurately predict the possible magnitudes of future climate disasters.
The Hempel identifier method has mostly been applied to time series with symmetrical distributions. In this study, the Hempel identifier method was applied to time series of several skewed distributions, and a regression function was proposed to model the K-value for each type of skewed distribution. For the study area of southern Taiwan, the Hempel identifier method was applied to detect outlier values in 1-hr and 24-hr accumulated rainfall data. Also, a shift from historical patterns was detected in the recent rainfall data. Therefore, the rainfall data was divided into two sets, one prior to 1990 and one starting in 1990, to be analyzed separately for comparison.
The results showed Hampel identifier method can be applied to time series of skew distributions. A best fit regression function relating K-value to the skewness of the data was determined using adjusted R-square values. Prior to 1990, extreme rainfalls brought by typhoons were often identified as outliers. In comparison, since 1990, a smaller proportion of extreme rainfalls brought by typhoons were identified as outliers, signifying a shift in climate pattern.
論文目次 謝誌 I
中文摘要 II
英文摘要 III
目錄 IV
圖表目錄 VI
附表目錄 X
第一章 緒論 1
1-1 研究動機與目的 1
1-2 本文架構 1
第二章 文獻回顧 3
2-1 特異值 3
2-2 水文統計分析 4
2-3 氣候變異 4
第三章 理論基礎 6
3-1 特異值定義 6
3-2 漢佩爾辨識法(HAMPEL IDENTIFIER) 6
3-2.1 中位數偏差之絕對值 7
3-2.2 尺度因子K值 7
3-3 機率分布 10
3-4 特異值處理方法 13
第四章 研究方法與實際案例 15
4-1 分析方法及步驟 16
4-1.1 各機率分布之K值研析 16
4-1.2 驗證K值不受平均值及變異數影響 21
4-2 實測資料之應用 25
4-2.1 研究區域 25
4-2.2 雨量站之選定 26
4-2.3 研究步驟 28
第五章 結果與討論 80
5-1 各機率分布之K值關係結果 80
5-1.1 理論K值 80
5-1.2 驗證K值不受平均值及變異數影響 80
5-2 實際測站 81
5-2.1 各站特異值偵測之結果 81
5-2.2 各站分段檢驗之結果 84
第六章 結論與建議 87
6-1 結論 87
6-2 建議 88
參考文獻 89


圖表目錄
頁次
圖 1 對稱機率分布之示意圖 7
圖 2 非對稱機率分布之示意圖 9
圖 3 本研究之整體研究方法及步驟流程圖 15
圖 4 LN2 之K0.25-0.5 迴歸分析 19
圖 5 LN2 之K0.5-0.75 迴歸分析 19
圖 6 PT3 之K0.25-0.5 迴歸分析 20
圖 7 PT3 之K0.5-0.75 迴歸分析 20
圖 8 LN2 不同平均值及變異數之K0.25-0.5比較 22
圖 9 LN2 不同平均值及變異數之K0.5-0.75比較 23
圖 10 EV1不同平均值及變異數之K0.25-0.5比較 23
圖 11 EV1不同平均值及變異數之K0.5-0.75比較 24
圖 12 PT3 不同平均值及變異數之K0.25-0.5比較 24
圖 13 PT3 不同平均值及變異數K0.5-0.75之比較 25
圖 14 南部地區雨量測站之位置示意圖 27
圖 15 實際資料之研究方法及步驟流程圖 28
圖 16 逐一剔除法示意圖 30
圖 17 全部剔除法示意圖 31
圖 18 阿里山站之1小時延逐一剔除法(α= 0.01) 32
圖 19 阿里山站之1小時延全部剔除法(α= 0.01) 32
圖 20 阿里山站之1小時延逐一剔除法(α= 0.05) 33
圖 21 阿里山站之1小時延全部剔除法(α= 0.05) 36
圖 22 大湖山站之1小時延逐一剔除法(α= 0.01) 37
圖 23 大湖山站之1小時延全部剔除法(α= 0.01) 38
圖 24 大湖山站之1小時延逐一剔除法(α= 0.05) 39
圖 25 大湖山站之1小時延全部剔除法(α= 0.05) 41
圖 26 甲仙(2)站之1小時延逐一剔除法(α= 0.01) 42
圖 27 甲仙(2)站之1小時延全部剔除法(α= 0.01) 44
圖 28 甲仙(2)站之1小時延逐一剔除法(α= 0.05) 45
圖 29 甲仙(2)站之1小時延全部剔除法(α= 0.05) 47
圖 30 泰武(1)站之1小時延逐一剔除法(α= 0.01) 48
圖 31 泰武(1)站之1小時延全部剔除法(α= 0.01) 48
圖 32 泰武(1)站之1小時延逐一剔除法(α= 0.05) 49
圖 33 泰武(1)站之1小時延全部剔除法(α= 0.05) 52
圖 34 三地門站之1小時延逐一剔除法(α= 0.01) 53
圖 35 三地門站之1小時延全部剔除法(α= 0.01) 54
圖 36 三地門站之1小時延逐一剔除法(α= 0.05) 55
圖 37 三地門站之1小時延全部剔除法(α= 0.05) 58
圖 38 阿里山站之24小時延逐一剔除法(α= 0.01) 59
圖 39 阿里山站之24小時延全部剔除法(α= 0.01) 60
圖 40 阿里山站之24小時延逐一剔除法(α= 0.05) 61
圖 41 阿里山站之24小時延全部剔除法(α= 0.05) 63
圖 42 大湖山站之24小時延逐一剔除法(α= 0.01) 64
圖 43 大湖山站之24小時延全部剔除法(α= 0.01) 64
圖 44 大湖山站之24小時延逐一剔除法(α= 0.05) 65
圖 45 大湖山站之24小時延全部剔除法(α= 0.05) 65
圖 46 甲仙(2)站之24小時延逐一剔除法(α= 0.01) 66
圖 47 甲仙(2)站之24小時延全部剔除法(α= 0.01) 66
圖 48 甲仙(2)站之24小時延逐一剔除法(α= 0.05) 67
圖 49 甲仙(2)站之24小時延全部剔除法(α= 0.05) 68
圖 50 泰武(1)站之24小時延逐一剔除法(α= 0.01) 68
圖 51 泰武(1)站之24小時延全部剔除法(α= 0.01) 69
圖 52 泰武(1)站之24小時延逐一剔除法(α= 0.05) 70
圖 53 泰武(1)站之24小時延全部剔除法(α= 0.05) 71
圖 54 三地門站之24小時延逐一剔除法(α= 0.01) 71
圖 55 三地門站之24小時延全部剔除法(α= 0.01) 72
圖 56 三地門站之24小時延逐一剔除法(α= 0.05) 72
圖 57 三地門站之24小時延全部剔除法(α= 0.05) 73
圖 58 阿里山站之1小時分段檢驗 74
圖 59 大湖山站之1小時分段檢驗 75
圖 60 甲仙(2)站之1小時分段檢驗 75
圖 61 泰武(1)站之1小時分段檢驗 76
圖 62 三地門站之1小時分段檢驗 76
圖 63 阿里山站之24小時分段檢驗 77
圖 64 大湖山站之24小時分段檢驗 77
圖 65 甲仙(2)站之24小時分段檢驗 78
圖 66 泰武(1)站之24小時分段檢驗 78
圖 67 泰武(1)站之24小時分段檢驗 79

表 1 各機率分布之K值迴歸方程式 21
表 2 EV1 不同平均值及變異數K值比較表 21
表 3 LN2、PT3 不同平均值及變異數之K值比較表 22
表 4 南部地區雨量測站之基本資料表 27

附表目錄
頁次
附表 1 LN2 之KT 因子對照表 92
附表 2 EV1 之KT 因子對照表 93
附表 3 PT3 之KT 因子對照表 94
附表 4 LN2 之尺度因子K值對照表 96
附表 5 EV1 之尺度因子K值對照表 97
附表 6 PT3 之尺度因子K值對照表 98
附表 7 各測站之1小時延時剔除結果比較表(α= 0.01) 100
附表 8 各測站之24小時延時剔除結果比較表(α= 0.01) 101
附表 9 各測站之1小時延時剔除結果比較表(α= 0.05) 102
附表 10 各測站之24小時延時剔除結果比較表(α= 0.05) 107
附表 11 台灣歷年重大颱風時間列表 108
參考文獻 1. 中央氣象局 (2011),颱風資料庫。
2. 王如意、易任 (1989)。應用水文學。國立編譯館出版。
3. 李清縢 (2008)。台灣氣候之長期趨勢特徵。2008年台灣氣候變遷研討會,頁21。
4. 陳雲蘭 (2008)。台灣地區劇烈天氣長期氣候變化:豪雨事件以及雷暴事件分析。2008年台灣氣候變遷研討會,頁28-29。
5. 水資源局 (2001)。水文設計應用手冊。經濟部。
6. 虞國興 (1990)。臺灣水文頻率分析之規範標準研究。
7. 虞國興、林慶杰、張崑明 (1993)。時間序列特異值之偵測研究。台灣水利41(4),頁25-39。
8. 盧孟明、林昀靜 (2007)。1961年以來台灣極端強降雨的頻率分析。2008年台灣氣候變遷研討會,頁11。
9. Adam, J,. Kirk, & Richard H. McCuen (2008). Outlier Detection in Multivariate Hydrologic Data. Journal of Hydrologic Engineering, 13, pp. 641-646.
10. Barnett, V., & Lewis, T. (1994). Outliers in Statistical Data (3rd ed.). New York: Wiley.
11. Becker, C., & Gather, U. (1999). The masking breakdown point of multivariate outlier identification rules. Journal of the American Statistical Association, 94, pp. 947-955 .
12. Burke, S. (2001). Missing Values, Outliers, Robust Statistics and Non-parametric Methods. Scientific Data Management, Europe online supplement, pp.19-24.
13. Charles, J., Geyer (2006). Breakdown Point Theory Notes.
14. Cook, R, Dennis (1977). Detection of Influential Observations in Linear Regression. Technometrics, 19 (1): pp. 15–18.
15. Ng, W., & Panu, U., & Lennox, W. (2007). Chaos based Analytical techniques for daily extreme hydrological observations. Journal of Hydrologic Engineering, 342(1-2), pp. 17-41.
16. Grubbs, Frank (1969). Procedures for Detecting Outlying Observations in Samples. Technometrics, 11(1), pp. 1-21.
17. Gather, U., & Becker, C. (1997). Outlier identification and robust methods. Handbook of Statistics, 15.
18. Harter, H. (1969). A New Table of Percentage Points of the Pearson Type III Distribution. Technometrics, 11(1), pp. 177-187.
19. Hampel, F., R., & Ronchetti, E., M., & Rousseeuw, P., J., & Stahel, W., A. (1986). Robust Statistics: The Approach Based on Influence Functions.
20. Hawkins, D., M. (1980). Identification of Outliers.
21. Ben-Gal, Irad (2005). Outlier detection. Kluwer Academic Publishers.
22. Liu, H., & Shah, S., & Jiang, W.(2004). On-line outlier detection and data cleaning. Computers and Chemical Engineering, 28, pp. 1635- 1647.
23. Davie, P., L. (2009).Linear regression and the analysis of variance.
24. Perarson, R., K. (2002) Outliers in process modeling and identification. IEEE Transactions on Control Systems Technology, 10,pp. 55- 63.
25. Perarson, R., K. (2005) Mining imperfect data: dealing with contamination and incomplete records.
26. Rousseeuw, P., J., & Christophe, Croux (1993). Alternatives to the Median Absolute Deviation. Journal of the American Statistical Association, 88, pp. 1273- 1283.
27. Victoria, J., Hodge, & Jim, Austin (2004). A Survey of Outlier Detection Methodologies.
28. Dixon, W., J. (1950). Analysis of Extreme Values. The Annals of Mathematical Statistics, 21(4), pp. 488-506.
29. Wilcox, R. (2003). Applying contemporary statistical techniques.
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2012-02-08公開。
  • 同意授權瀏覽/列印電子全文服務,於2014-02-08起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信