淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-2907201014091900
中文論文名稱 科學邏輯與最大熵原理
英文論文名稱 Logic of Science and Maximum Entropy Principle
校院名稱 淡江大學
系所名稱(中) 物理學系碩士班
系所名稱(英) Department of Physics
學年度 98
學期 2
出版年 99
研究生中文姓名 吳俊安
研究生英文姓名 Chun-An Wu
學號 695210269
學位類別 碩士
語文別 中文
口試日期 2010-07-05
論文頁數 56頁
口試委員 指導教授-曾文哲
委員-何俊麟
委員-施華強
中文關鍵字 貝氏定理  最大熵原理 
英文關鍵字 Bayes theorem  Maximum entropy principle 
學科別分類 學科別自然科學物理
中文摘要 當我們處理問題時,運用不同的分析方法會得到不同的結果。因此該運用何種方法做數據分析才符合科學邏輯?關於這個問題貝葉斯定理能夠給予我們一個滿意的答案;面對一問題時由已有的資訊(X)建立假說(H),再經由實驗取得數據(D)驗證假說是否成立。
然而該如何從已知的資訊建立一合理的假說就需要透過信息熵與最大熵原理的協助。薛農(Claude Elwood Shannon April 30, 1916 – February 24, 2001 )於1948年提出了信息熵的概念來描述一事件本身的不確定度。而藉由探討一事件本身具有信息熵量來求取在固定條件下事件最有可能的演化行為便是最大熵原理。最大熵原理則明確的指出,在我們面對一問題時,猜測結果的機率分佈應滿足其熵達到最大值。
傑尼斯( E. T. Jaynes July 5, 1922 –, April 30, 1998 )運用薛農所建立的信息熵來討論物理系統。如同我們對於最大熵原理的認知,傑尼斯認為在滿足所有限制下,具有最大信息熵值得一組分佈為我們所真實觀測到的分佈。這與熱力學第二定律中的描述非常類似。因此他直接認為在資訊理論中的信息熵與在物理系統中的熱力熵為同樣的物理量,因此我們可以藉由系統中熵的變化來討論統計力學的問題。
我們可以透過拉格朗日變分法(Lagrange multipliers method)來求取在統計力學系統中的最大熵,並且透過建立分配函數(partition function)來得到變分方程的解。運用此方法來討論統計力學將更加清晰簡單,並且有機會在非平衡系統下尋找合理的解釋。
英文摘要 The main question of this work is to introduce Logic and maximum entropy principle. Different person may have different opinion when they face to an event, that’s because everybody will think subjectively. We must to avoid this when we are discussing science.
We will discuss Bayes theorem and Logic in the first chapter, for the classical probability opinion we will know why Bayes theorem can help us to discuss science. And in the second and third chapter we will introduce the measure of uncertainty-information entropy and maximum entropy principle. Because of the subjectivity of prior probability distribution of Bayes theorem, we need maximum entropy principle to help us to get objectivity prior.
And at last chapter we discuss another way to get objectivity prior, what’s called the principle of transformation groups. When we face a problem, principle of transformation groups tell us to find the symmetrization of this problem, and we require this problem is invariant under the symmetric transform. It is very easy way to help us to find the objectivity prior when our problem has high symmetrization.
Discuss logic can help us to recognize science easily. We wish the maximum entropy principle may have a great success in statistical mechanics in the future.
論文目次 前言 1

第一章 機率與貝氏定理Probability and Bayes Theorem 3
§ 1.1 邏輯分析Logic analysis 3
§ 1.2由對稱性來思考機率probability and frequency 7
§ 1.3邏輯與機率Logic and probability 9
§ 1.4貝氏定理與對假設做檢驗的運用
Hypotheses test~the application of Bayes theorem 10
§ 1.5合理性檢驗Significance tests 13

第二章 信息熵定理Shannon’s Theorem 18
§ 2.1信息熵Shannon’s Information Entropy 18
§ 2.2最大熵原理The Principle of Maximum Entropy 22
§ 2.3拉格朗日乘數法的運用Lagrange Multiplier Method 23

第三章 機率與信息熵的深入討論Discussion of maximum
entropy principl 27
§ 3.1預測機率與頻率$Predictive probability and
frequency 27
§ 3.2連續分佈Continuous distribution 32
§ 3.3最大熵原理的運用Application of maximum entropy principle 35

第四章 對於機率理論的其他討論The other discussion of probability theorem. 38
§ 4.1變換群(Transformation groups ) 38
§ 4.2換群原理Deep discussion 41
§ 4.3柏川德詭論Bertrand paradox 44

結語. 54

參考資料. 56
參考文獻 Reference:
Galileo Galilei, Il Saggiatore (in Italian) (Rome, 1623); The Assayer, English trans. Stillman Drake and C. D. O'Malley, in The Controversy on the Comets of 1618 (University of Pennsylvania Press, 1960).
E. T. Jaynes, Probability theory: the logical of science(ch4 pp86)
E. T. Jaynes, Probability theory: the logical of science(ch4 pp87~105)
C. E. Shannon, A mathematical theory of communication(pp1~14)
E. T. Jaynes, Probability theory: the logical of science(ch9 pp280~305)
L. D. Landau and E. M. Lishitz, Statistical Physics
E. T. Jaynes, Probability theory: the logical of science(ch12 pp372~377)
E. T. Jaynes, The well-posed problem, Foundations of Physics 3: 477–493
Grinstead and Snell’s introduction to probability(ch1~ch3)
G. Larry Bretthorst An introduction to parameter estimation using Bayesian probability theorey
Tom Loredo Bayesian Inference-A Practical Primer
Tom Loredo Bayesian Inference in Astronomy and Astrophysics A short course
Shannon, Claude E.: Prediction and entropy of printed English, The Bell System Technical Journal, 30:50-64, January 1951
曾致遠-淺談最大熵原理和統計物理學
魏慶榮-淺談統計
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2011-08-05公開。
  • 同意授權瀏覽/列印電子全文服務,於2011-08-05起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信