馬可夫鏈為隨機過程中特殊型態，乃應用於處理動態預測分析，其基本定義包括狀態、轉移機率與轉移矩陣，將隨機過程透過轉移機率從一狀態轉移至另一狀態定義，藉由狀態間之轉移機率構成轉移矩陣，可見應用於許多領域預測分析上，如於路面工程、動態交通量指派等。

在交通資訊影響下駕駛者路徑選擇行為之研究中，過去多以個體選擇模式為基礎，通常以羅吉特模式處理靜態型式問題，或運用普羅比模式處理靜態或動態型式問題。在本研究之前系列研究中以多項式普羅比模式描述駕駛者路徑選擇行為，並定義其行為稱為逐點動態決策行為，即以無異帶的觀念構建，並延伸發展包含路網特性、用路者認路行為與空間能力等進階模式。此系列研究將駕駛者變換行為分為三類基準包括動態路徑基準、習慣（行前）路徑基準與建議路徑基準，並將實驗對象分為高能力與低能力，再依實驗地區分為熟悉與不熟悉地區等，可成功描述駕駛者在全程路徑中連續個別決策點路徑選擇機率，具有相當成果。

檢視逐點動態決策行為乃指駕駛者於整個行程中連續決策點實現路徑變換之動作，其型態表示決策對決策間關係與馬可夫鏈狀態至狀態轉換型式類似，因此描述逐點動態決策行為是否符合馬可夫鏈乃為本研究課題。

本研究以馬可夫鏈探討逐點動態決策行為可分為三階段，第一階段根據馬可夫鏈狀態定義，定義在每一個別決策點駕駛者路徑變換行為屬於馬可夫鏈之狀態，並沿用系列研究之動態模擬器實驗與模式，推算駕駛者於每一個別決策點變換或不變換路徑機率。第二階段定義馬可夫鏈，描述逐點決策狀態，並推算馬可夫鏈轉移機率而構建馬可夫鏈轉移矩陣。第三階段根據所構建之轉移矩陣作馬可夫鏈的假設檢定，以歸納分類出不同類型駕駛者在熟悉與不熟悉地區之決策型態屬於一階馬可夫鏈，最後利用馬可夫加上動態規劃方式構建駕駛者最佳路徑初步模型。

經高能力熟悉、高能力陌生、低能力熟悉與低能力陌生之實驗者所構建轉移矩陣，以馬可夫鏈檢定結果發現，利用動態路徑基準描述此類駕駛者轉移矩陣為佳，因此可說明在動態路徑基準構建前提下，逐點動態決策行為符合馬可夫鏈之型式。

Markovian Decision Process can be referred to a series stochastic decision with a number of states.  The transition probabilities between the states are described by a Markov chain.  The applications of Markov Decision Process or the related concept of Markov Chain can therefore be found in wide range of problems including these in Transportation such as Dynamic Traffic Assignment (DTA), dynamic analyses in Pavement Management System (PMS) and other problems with state-dependent nature.  Of particular importance is the application of dynamic programming to obtain the optimal solution of stochastic Markovian decisions.
 
The node-to-node dynamic route choice behavior is of the most interest to study the individual driver’s route choices under the influence of the route guidance information where individual driver makes consecutive route switch decisions along with the traveling route.  This particular issue has been successfully modeled with various forms and extensions under the notion of the “Indifference Bands” applied with Probit model specifications by Tong and his students at Tamkang University in recent years.  The probability of “swithching” or “route choice” at each decision node along the route can therefore be estimated under these model specifications. 

The analogy seems quite attractive to examine the so-called “node-to-node” dynamic decision to the state-to-state Markovian Decision Process.  In this thesis, the “state” was defined at each decision node and the transition probabilities and the associated transition matrices were derived from the probabilities estimated from the node-to-node behavior model under three various definitions of dynamic switches at each node.  A statistical test was performed to evaluate the hypothesis of first order Markov Chain. 

The data bases for this thesis were compiled from two previous experiments under simulated environment using a special purpose in-vehicle guidance simulator applied to Taipei metropolitan area.  The statistical tests results have confirmed that the node-to-node decision can be successfully referred to fit into a first-order Markovian Process at individual level.  In addition, the study has also demonstrated the application of dynamic programming to obtain an optimal cause of routing decision for the individual driver.  These results have suggested the further study to develop the dynamic route guidance strategies based on the current modeling treatments and findings.  The analysis of aggregate behavior based on similar concept can be encouraged as well.

第一章　緒論	1
1.1　研究背景	1
1.2　研究動機與目的	4
1.3　研究流程	7
1.4　論文章節架構	8

第二章　文獻回顧   9
2.1　交通資訊影響下駕駛者行為之研究	10
2.1.1　利用模擬器探討交通資訊影響下駕駛者行為	10
2.1.2　逐點動態決策行為	14
2.2　馬可夫鏈應用於交通領域之研究	17
2.2.1　馬可夫鏈應用於路面工程	17
2.2.2　馬可夫鏈應用於網路流量（交通量指派）	18
2.2.3　馬可夫鏈應用於旅運行為	18
2.2.4　馬可夫鏈應用於航空運量預測	19
2.2.5　馬可夫鏈應用於交通安全	19
2.3　小結	22

第三章　研究方法  23
3.1  車內資訊系統模擬器	23
3.1.1　車內資訊系統模擬器－動態控制實驗  23
3.2  變換基準與變數定義	28
3.3  動態控制實驗於本研究之應用	31

第四章　模式基本架構    32
4.1  馬可夫鏈	32
4.1.1  馬可夫鏈定義	32
4.1.2  馬可夫鏈種類	35
4.1.3  馬可夫鏈於文獻中定義	37
4.2  定義逐點動態決策行為	41
4.2.1  馬可夫鏈定義於逐點動態決策行為	41
4.2.2  逐點變換與不變換路徑機率	44
4.2.3  轉移機率	54
4.3  馬可夫鏈的假設檢定	58

第五章  實例分析	59
5.1  駕駛者分類	60
5.2  構建轉移矩陣	62
5.2.1  類型三範例分析	63
5.2.2  檢定類型三範例	66
5.2.3  類型四範例分析	68
5.2.4  檢定類型四範例	71
5.2.5  第一個類型五範例分析	72
5.2.6  檢定第一個類型五範例	76
5.2.7  第二個類型五範例分析	77
5.2.8  檢定第二個類型五決策範例	81
5.2.9  第三個類型五範例分析	82
5.2.10 檢定第三個類型五決策範例	86
5.3  檢定分析結果	87

第六章  延伸研究	96
6.1  動態規劃模式	96

第七章　結論與建議	103
7.1  結論	103
7.2  建議	105
參考文獻	106
附錄

圖目錄 
圖 1.1.1 駕駛者動態路徑行為架構....2 
圖 1.1.2 逐點動態決策行為圖....3 
圖 1.1.3 馬可夫鏈狀態轉移圖....3 
圖 1.3.1 研究流程圖....7 
圖 3.1.1 車內資訊系統模擬器之架構圖....25 
圖 3.1.2 車內資訊系統模擬器之顯示畫面....25 
圖 3.1.3 實驗路網圖....26 
圖 3.2.1 變數屬性示意圖....30 
圖 4.1.1 馬可夫鏈狀態轉移圖....33 
圖 4.1.2 路網範例圖....38 
圖 4.2.1 逐點動態決策行為圖....41 
圖 4.2.2 逐點動態決策行為轉移圖....43 
圖 4.2.3 逐點變換與不變換路徑機率推算流程圖....52 
圖 4.2.3 路網示意圖....54 
圖 5-1 實例分析流程圖....59 
圖 5-2 構建轉移矩陣流程圖....62 
圖 6.1.1原先路徑選擇圖....97 
圖 6.1.2最佳路徑選擇圖....101


表目錄 
表 1.1-1 系列研究彙整表....1 
表 1.2-1 變換基準結果整理表....4 
表 1.2-2 駕駛者反應說明整理表....5 
表 1.4-1 論文章節架構表....8 
表 2.1-1 使用模擬器探討交通資訊影響下之駕駛者行為文獻彙整表....12 
（續）表 2.1-1使用模擬器探討交通資訊影響下之駕駛者行為文獻彙整表....13 
表 2.1-2 逐點動態決策行為文獻彙整表....16 
表 2.2-1 馬可夫鏈相關文獻彙整表....20 
（續）表 2.2-1 馬可夫鏈相關文獻彙整表....21 
表 3.1-1 模擬器資訊提供整理表....27 
表 4.2-1 路徑決策無異帶模式定義表（模式一）....46 
表 4.2-2 路徑決策無異帶模式變數定義表（模式二）....48
表 5.1-1 駕駛者決策分類表....60 
表 5.1-2 構建轉移矩陣處理方式整理表....61 
表 5.2-1 類型三範例決策條件表（動態路徑基準）....63 
表 5.2-2 類型四範例決策條件表（動態路徑基準）....68 
表 5.2-3 第一個類型五範例決策條件表（動態路徑基準）....72 表 5.2-4 第二個類型五範例決策條件表（動態路徑基準）....77 表 5.2-4 第三個類型五範例決策條件表（動態路徑基準）....82 表 5.3-1 高能力熟悉檢定結果表....88 
表 5.3-2 高能力陌生檢定結果表....89 
（續）表 5.3-2高能力陌生檢定結果表....90 
表 5.3-3 低能力熟悉檢定結果表....91 
（續）表 5.3-3低能力熟悉檢定結果表....92 
表 5.3-4 低能力陌生檢定結果表....93 
（續）表 5.3-4低能力陌生檢定結果表....94 
表 5.3-5 高能力熟悉直接變數與隱藏性變數檢定結果表....95 
表 6.1-1轉移矩陣表........................98 
表 6.1-2報酬矩陣表...........................99 
表 6.1-3節省時間百分比整理表..............102

1.陳士邦，「車內導引資訊影響下之逐點動態路徑選擇行為」，私立淡江大學運輸科學研究所碩士論文，民國89年7月。

2.張貴貞，「駕駛者在不同路網型態下途中路徑選擇行為之研究」，私立淡江大學運輸科學研究所碩士論文，民國92年6月。

3.張碧琴，「駕駛者認知地圖與車內導引系統使用行為模式之探討」，私立淡江大學運輸科學研究所碩士論文，民國93年1月。

4.趙淩佑，「駕駛者空間能力差異對車內資訊影響下之動態路徑選擇行為模式」，私立淡江大學運輸科學研究所碩士論文，民國93年6月。

5.Chee-Chung Tong, “A Study of Dynamic Departure Time and Route Choice Behavior of Urban Commuter.” Ph.D.dissertation, Department of Civil Engineering, The University of Texas at Austin, Austin, Tex, 1990.

6.Martin L.Hazelton, “Day-to-day variation in Markovian traffic assignment models.” Transportation Research Part B 36, 637-648, 2002.

7.Konstadinos G.. Goulias, “Longitudinal analysis of activity and travel pattern dynamics using generalized mixed Markov latent class models.” Transportation Research Part B 33, 535-557, 1999.

8.Yoshinori Suzuki, “The relationship between on-time performance and airline market share：a new approach.”Transportation Research Part E 36, 139-154, 2000.

9.Peter Bonsall, Tim Parry, “Using an Interactive Route-Choice Simulator to Investigate Drivers’ Compliance with Route Guidance Advice.” Transportation Research Record 1306, 59-68, 1991.

10.Yasunori Iida, Nobuhiro Uno,  Tadashi Yamada, “Experimental Analysis Approach to Analyze Dynamic Route Choice Behavior of Driver with Travel Time Information.” VNIS 377-382, 1994.

11.Peter Shen-Te Chen, Hani S. Mahmassani, “Dynamic Interactive Simulator for Studying Commuter Behavior Under Real-Time Traffic Information Supply Strategies.” Transportation Research Record 1413, 12-21, 1995.

12.Yu-Hsin Liu and Hani S. Mahmassani “Dynamic Aspects of Departure Time and Route Decision Behavior Under Advanced Traveler Information Systems:Modeling Framework and Experimental Results.” 77th Annual Meeting for the Transportation Board, Washington D.C., 1998.

13.Tsippy Lotan, “Effects of Familiarity on Route Choice Behavior in the Presence of Information.” Transportation Research Part C 5, 225-243, 1997.

14.C. Y. David Yang, Fricker Jon D., Kuczek T., “Designing Advanced Traveler Information Systems from a Driver’s Perspective.” Transportation Research Record 1621, 20-26, 1998.

15.Jean E. Fox, Deborah A. Boehm-Davis, “Effects for Age and Congestion Information Accuracy of Advanced Traveler Information System on User Trust and Compliance.’ Transportation Research Record 1621, 43-49, 1998.

16.Hani S. Mahmassani and Yu-Hsin Liu “Dynamics for Communting Decision Behavior Under Advanced Traveller Information System” Transportation Research Part C, 91-109, 1999.

17.邱科融，「車內行車資訊系統顯示方式本土化之先期研究」，私立淡江大學土木工程研究所碩士論文，民國83年6月。

18.楊雲榮，「建立探討車內資訊系統影響駕駛人動態路徑選擇/變換行為所需之實驗環境」，私立淡江大學土木工程研究所碩士論文，民國87年6月。

19.黃建中，「高速公路鋪面績效預測模式構建-應用馬可夫鍊法」，私立淡江大學土木工程學系碩士論文，民國86年6月。

20.林勝傑，「類神經網路與馬可夫鍊理論於鋪面狀況評估之應用」，國立成功大學土木工程研究所碩士論文，民國90年6月。

21.Jodie L. Evans, Lily Elefteradou, Natarajan Gautam, Probability of breakdown at freeway merges using Markov chains, Transportation Research Part B 35, 237-254, 2001.

22.Yuwei Li, Samer Madanat, A steady-state solution for the optimal pavement resurfacing problem, Transportation Research Part A 36, 525-535, 2002.

23.Takashi Akamatsu, Cyclic flows, markov process and stochastic traffic assignment, Transportation Research Part B 30, 369-386, 1996.

24.Franco Caroti Ghelli, Application of markov chains to the analysis of interzonal flows in a network, Operations Research vol32, 415-424, 1998.

25.Ryuichi Kitamura, Toshiyuki Yamamoto, Satoshi Fujii, The effectiveness of panels in detecting changes in discrete travel behavior , Transportation Research Part B 37, 191-206, 2003.

26.劉素妙，「航空公司機隊規劃之航機採購/汰換時程之研究」，國立交通大學運輸科技與管理學系碩士論文，民國91年6月。

27.楊佳學，「智慧型平交道安全監測系統安全評價之研究」，私立淡江大學運輸科學研究所碩士論文，民國93年6月。

28.T. W. Anderson, Leo A. Goodman, “Statistical Inference about Markov Chains.” The Annals of Mathematical Statistics 28, 89-110, 1953.

29.陳麗雯，「結合車流模擬之車內資訊導引實驗系統之建立」，私立淡江大學運輸科學研究所碩士論文，民國90年6月。

30.Hamdy A. Taha著、張保隆等合譯，作業研究，民國91年7月。

31.Simon P. Washington, Matthew G.. Karlaftis, Fred L. Mannering, Statistical and Econometric Methods for Transportation Data Analysis,2003.

32.Adib Kanafani, Transportation Demand Analysis, 1983.

33.Dean L. Isaacson, Richard W. Madsen, Markov Chains Theory and Application, 1985.

34.Ben-Akiva and Lerman, Discrete Choice Analysis, 1985.

35.陳坤茂，作業研究，民國87年7月。