隨著數位科技的進步，講求互動效果的輔具發展也越來越廣泛，甚至對於特定的族群，好的互動性用具已經是必要條件了，而本論文設計了四套互動式系統，而這四套系統，分別針對了以下三個族群來設計。
第一個族群為泛自閉症孩童，我們設計了互動式系統:「有聲注音溝通板」，此為設計在平板電腦的應用程式，協助口語障礙的自閉症孩童表達自己的想法，並與他人溝通。另外為協助視障者的生活便利，本研究開發了「觸覺點字學習系統」和「中文手指閱讀器」。幫助視障者學習點寫之「觸覺點字學習系統」，此系統能夠幫助後天失明的患者，在方便輕鬆的方式學習點寫，也設計一套點寫教學系統來透過互動的方式來練習，以加快學習成效。「中文手指閱讀器」可以幫助視障者閱讀中文字，閱讀器為一套在手指上的隨身設備，可以協助視障者閱讀一般的中文書籍，以及一般生活用品(藥品、電器等等)上的中文資訊，不再讓視障者侷限於必需有點字，才可獲得生活周遭的訊息。最後則對於低年齡孩童，設計了互動式教學輔具「互動式節奏教學系統」上有一套可以提供孩童編輯的簡易鼓譜，老師亦透過鼓譜來教導學生節奏概念，並透過機器人樂團來演奏鼓譜上的節奏，已提升孩童對節奏的學習興趣。

With the ever-changing nature of technology, the development of assistive devices with interactivity is more widespread. A great interactivity assistive devices is necessary for special groups. This paper provides four interactivity assistive devices for three special groups.
First is for a child who has autism that we designed an App on tablet which called "Sound Phonetic Communication Board" to help them communicate with the others and express themselves.
Second, we develop two interactivity assistive systems for visually impaired. One is called "tactile Braille learning system" which help them more easier to learn the braille writing and can fast up with a braille writing learning system. Another is a portable device on finger called “Chinese FingerReader” which help them to read include some information on books, medicines, electrical appliances, etc that not an only way to catch information in their lives.
The last is for young children that we provided an interactivity assistive system called "Interactive Rhythm Teaching System". This system let them edit drum scores also help teacher to teach the concept of rhythm moreover to use robotic orchestra performance to enhance children's interest in rhythm.

目錄
致謝	I
目錄	IV
圖目錄	VII
表目錄	X
第一章 緒論	1
1.1 動機與目的	1
1.2 研究對象	2
1.2.1 泛自閉症孩童	2
1.2.2 視障者	3
1.2.2.1 點寫訓練	3
1.2.2.2 點字閱讀	4
1.2.3 低年齡孩童	6
第二章 背景知識與相關研究	8
2.1 有聲注音溝通板	8
2.1.1 泛自閉症	8
2.1.2 注音溝通輔具	10
2.2 觸覺點字學習系統	11
2.2.1 視障者	11
2.2.2 視障專用點字輔具	12
2.3 中文手指閱讀器	15
2.3.1 文字閱讀輔具介紹	15
2.3.2 文字影像處理相關研究	17
2.4 互動式節奏教學系統	18
2.4.1 數位電腦音樂教學	18
2.4.2 音樂人機互動	20
第三章 有聲注音溝通板	22
3.1 系統介紹	22
3.2 互動溝通玩偶	25
3.3 測試與實驗	26
第四章 觸覺點字學習系統	27
4.1 點字學習手套與點寫輸入模組	28
4.2 點寫教學系統	30
4.2.1 練習模式	31
4.2.2 測驗模式	32
4.2.3 編輯題目模式	33
第五章 中文手指閱讀器	34
5.1 系統硬體與功能介紹	34
5.1.1 文章閱讀模式	35
5.1.2 單字閱讀模式	37
5.2 軟體設計	38
5.2.1 指尖偵測	39
5.2.2 影像二值化與傾斜角度偵測	39
5.2.3 橫行偵測與行高估測	41
5.2.4 區域切割及文字切割	41
5.2.5 中文字元辨識演算法與語音輸出回饋	42
5.3 實驗與場域測試	43
5.3.1 文章閱讀模式的場域測試	43
5.3.2 單字閱讀模式的場域測試	45
5.3.3 英文與數字閱讀模式的場域測試	47
5.3.4 全盲視障者的實際的場域測試	48
第六章 互動式節奏教學系統	50
6.1 系統介紹	51
6.1.1 樂譜編輯與演奏	52
6.1.2 節奏訓練與評分	54
6.1.3 互動式演奏	55
6.2 實驗與測試	57
6.3 節奏學習APP比較	62
第七章 結論與未來展望	65
參考文獻	67
圖目錄
圖 2.1紙鍵盤	9
圖 2.2電腦輔具組合鍵盤 (a)注音符號拼音溝通版；(b)音樂版面[19]	10
圖 2.3中文ㄅㄆㄇ數位語言學習筆 (a)注音正音板；(b)無障礙溝通筆[19]	11
圖 2.4注音符號點字記號表[27]。	13
圖 2.5柏金斯點字機[29]。	13
圖 2.6音樂教學軟體[50]	18
圖 2.7 音樂教學軟體之大哥不要跑[51]	19
圖 2.8 GarageBand[52]	19
圖 2.9 GarageBand吉他撥弦[52]	20
圖 2.10 The reacTable[53]	20
圖 2.11 混合實境音樂互動系統[54]	21
圖 3.1使用注音板輸入注音符號與發聲	22
圖 3.2 (a)數字鍵盤 (b)英文鍵盤	23
圖 3.3雙擊確認放大功能	24
圖 3.4 依注音規則”ㄋ”顯示可使用按鍵組合	24
圖 3.5 互動玩偶	25
圖 3.6 台北自造者展覽現場	26
圖 4.1 觸覺點字學習系統架構圖	27
圖 4.2 點字學習手套之硬體	28
圖 4.3 點寫輸入模組	29
圖 4.4 採用簡易且方便操作之介面設計點寫教學系統	30
圖 4.5視障者穿戴本研究所開發的點字學習手套之使用情景。	31
圖 4.6 視障者使用本研究所開發的點寫輸入模組之使用情景。	32
圖 4.7 點寫教學系統編輯題目之介面。	33
圖 5.1(a)此系統的穿戴方式; (b) 手指端的硬體裝置; (c) 手臂端的LattepPanda	35
圖 5.2使用按鍵操作系統功能	35
圖 5.3 (a)引導至橫行開頭，(b)偏移提示，(c)閱讀至橫行的結尾邊界	36
圖 5.4 導讀貼條	37
圖 5.5中文字影像辨識流程圖	38
圖 5.6指尖偵測	39
圖 5.7 傾斜影像進行Closing運算	40
圖 5.8 (a)計算文字區塊的傾斜角度, (b)旋轉後影像。	40
圖 5.9偵測橫行文字區塊與行高	41
圖 5.10 (a) 擷取指尖正上方的區域影像, (b) 此區域影像之二值化結果。(c) 切割出獨立的中文字元	42
圖 5.11 場域測試所使用的文件	44
圖 5.12 (a) 影像背景雜亂, (b) 無法辨識行高	45
圖 5.13 根據導讀貼條的指引閱讀(a)藥罐上的文字; (b)地圖上的文字。	46
圖 5.14文字尺寸過大	46
圖 5.15 閱讀微波爐按鍵上的數字與文字。	47
圖 5.16 全盲的視障學生實際測試情景	49
圖 6.1 互動式節奏教學系統	50
圖 6.2 節奏教學系統介紹	51
圖 6.3 鼓譜範例	52
圖 6.4樂譜介面	53
圖 6.5 四種拍點	53
圖 6.6 樂譜播放和提示線	54
圖 6.7節奏演奏系統	56
圖 6.8聆聽演奏系統做打擊練習	56
圖 6.9實驗測試樂譜	59
圖 6.10 Maker Faire Tokyo.	61
圖 6.11 (a) 學生樂譜, (b)老師教學後的樂譜	61
圖 6.12節奏學習app	62
表目錄
表 2.1 系統設計	8
表 6.1 樂器選擇	55
表 6.2 節奏教學教案	57
表 6.3 學生測試結果	60
表 6.4 本系統與app之功能比較	64
表 6.5 測試結果	64

[1]星星兒社會福利基金會-教育學習。http://www.starlet.org.tw/style/front001/bexfront.php?sid=264594303
[2]Mesibov, G. B., Adams, L. W.& Klinger, L. G.「Autism: Understanding the disorder. New York: Plenum Press.」, 1997.
[3]邱大昕, 台灣早期視障教育之歷史社會學研究。教育與社會研究，vol. 24, pp. 1-40, 2012。
[4]朱貽莊, 強化視覺障礙者獨立生活能力的新思維。社區發展季刊，vol. 130, pp. 334-348, 2010。
[5]Bae J., Lee B., Cho S., Heo Y., Bang H. “Drum On: interactive personal instrument learning system”. Proc. SIGGRAPH 2012 Emerging Technologies (2012).
[6]Li W.H.A., Fu H. “Augmented reflection of reality”. Proc. SIGGRAPH 2012 Emerging Technologies. 2012.
[7]Raymaekers L., Vermeulen J., Luyten K., Coninx K. “Game of tones: learning to play songs on a piano using projected instructions and games”. Ext. Abstracts CHI 2014 (2014) 411-414.
[8]廖芳碧，「圖形溝通訓練對低功能自閉症者溝通能力影響之研究」。台中師範學院國民教育所論文，2002年。
[9]Stephanie B. Lockshin, Jennifer M. Gillis, Raymond G. Romanczyk著，劉學融譯，「與泛自閉症兒童一起成長：給家庭的逐步學習手冊」。心理出版社公司，2011年。
[10]財團法人中華民國自閉症基金會-介紹自閉症。http://www.fact.org.tw/3-1.asp?id=4
[11]蔡佩君，「高功能自閉症兒童的心智理論和口語敘說」。臺灣大學心理學研究所學位論文，2009年。
[12]李雅絲，「運用閱讀理解策略提昇自閉症兒童閱讀理解能力之行動研究」。國立臺北教育大學特殊教育學系碩士班，2009年。
[13]S.E. Gately. “Facilitating Reading Comprehension for Students on the Autism Spectrum”. TEACHING Exceptional Children, v40 n3 p40-45 Jan-Feb 2008.
[14]G.B. Mesibov, L.W. Adams, L.G. Klinger. “Autism: Understanding the disorder”. New York: Plenum Press. 1997. pp. 124.
[15]K. Conn, C. Liu, N. Sarkar, W. Stone, Z. Warren. “Affect-sensitive assistive intervention technologies for children with autism: An individual-specific approach”. Robot and Human Interactive Communication. RO-MAN 2008. The 17th IEEE International Symposium on Date of Conference: 1-3 Aug. 2008.
[16]E. Mower, M.P. Black, E. Flores, M. Williams, S. Narayanan. “Rachel: Design of an emotionally targeted interactive agent for children with autism. Multimedia and Expo (ICME)”. 2011 IEEE International Conference on Date of Conference: 11-15 July 2011.
[17]S. Jain, B. Tamersoy, Y. Zhang, J. K. Aggarwal, V. Orvalho. “An interactive game for teaching facial expressions to children with Autism Spectrum Disorders”. Communications Control and Signal Processing (ISCCSP). 2012 5th International Symposium on Date of Conference: 2-4 May 2012.
[18]Sitdhisanguan K., Chotikakamthorn N., Dechaboon A. “Evaluation the Efficacy of Computer - Based Training Using Tangible User Interface for Low-Function Children with Autism”. 2008 Second IEEE International Conference on Digital Games and Intelligent Toy Enhanced Learning. Date of Conference: 17-19 Nov. 2008.
[19]U-PAN 中文ㄅㄆㄇ數位拼音語言學習筆。圓頂國際開發有限公司。http://www.unlimiter.com.tw/item-uPen001.html
[20]廖涵儀, “中途失明視覺障礙者的感覺訓練”。屏師特殊教育，vol. 14, pp. 20- 28, 2007。
[21]柯明期, “中途失明者適應與重建之研究”。師範大學特殊教育所碩士論文, 2004。
[22]李佳玲, “中高齡視障者電腦使用動機及對圖書館電子化資源服務需求之研究”。 臺灣大學圖書資訊學研究所碩士論文, 2013。
[23]W. Jeong, “Emotions in information seeking of blind people”, in Diane Nahl and Dania Bilal (Eds.), Information and Emotion: The Emergent Affective Paradigm in Information Behavior Research and Theory pp. 267- 278, 2007.
[24]陳怡佩。”視覺障礙兒童及青少年的資訊需求”。臺灣圖書館管理季刊, vol. 2, pp. 32-43, 2006.
[25]K. Carey, “The opportunities and challenges of the digital age: a blind user's perspective”. Library Trends, vol. 55, pp. 767-784, 2007.
[26]謝坤憲,”視覺障礙教育教師國語點字素養”。國立臺南大學特殊教育學系碩士論文, 2013。
[27]財團法人愛盲基金會 http://www.tfb.org.tw/new/publish/braille/study.html
[28]羅鈞令, 認識輔助用具。輔具之友通訊，vol. 5, pp. 3-5, 1998。
[29]衛生福利部 - 輔具資源入口網 . https://repat.sfaa.gov.tw /07product/pro_a_main.asp?id=4689
[30]C. Seim, D. Quigle and T. Starner, “Passive haptic learning of typing skills facilitated by wearable computers”, 2014 ACM CHI, vol. 14, pp. 2203-2208, 2014.
[31]C. Seim, T. Estes and T. Starner, “Towards Passive Haptic Learning of Piano Songs”, 2015 IEEE World Haptics Conference, pp. 445-450, Evanston, USA, 2015.
[32]C. Yi, and Y. Tian, “Assistive text reading from complex background for blind persons”. Camera-Based Document Analysis and Recognition. Springer, 15–28, 2012.
[33]S. M. Hanif, and L. Prevost, “Texture based text detection in natural scene images-a help to blind and visually impaired persons,” CVHI, 2007.
[34]M. Mattar, A. Hanson, and E. Learned-Miller, “Sign classification using local and meta-features,” IEEE CVPR Workshops, pp. 26–26, 2005.
[35]N. Ezaki, M. Bulacu, and L. Schomaker, “Text detection from natural scene images: towards a system for visually impaired persons,” Proc. of ICPR, vol. 2, pp. 683–686, 2004.
[36]J.-P. Peters, C. Thillou, and S. Ferreira, “Embedded reading device for blind people: a user-centered design.” Proc. of IEEE ISIT, pp. 217–222, 2004.
[37]H. Shen, and J. M. Coughlan, “Towards a real-time system for finding and reading signs for visually impaired users,” Proc. of ICCHP, pp. 41–47, 2012.
[38]A. Guo, X. ‘Anthony’ Chen, H. Qi, S. White, S. Ghosh, C, Asakawa, J.P. Bigham, “VizLens: A Robust and Interactive Screen Reader for Interfaces in the Real World”. UIST ’16: Proceedings of the 29th Annual Symposium on User Interface Software and Technology. Oct 2016. pp. 651-644.
[39]H. Kandemir, B. Canturk, M. Bastan. “Mobile Reader: Turkish Scene Text Reader for the Visually Impaired”. 2016 24th Signal Processing and Communication Application Conference (SIU). 16-19 May 2016, 
[40]Z. Liu, Y. Luo, J. Cordero, N. Zhao, Y. Shen. “Finger-Eye: A Wearable Text Reading Assistive System for the Blind and Visually Impaired”, 2016 IEEE International Conference on Real-time Computing and Robotics (RCAR). 6-10 June 2016. pp 123-128.
[41]H. Jiang, T. Gonnot, W.J. Yi, J. Sanile. “Computer Vision and Text Recognition for Assisting Visually Impaired People using Android Smartphone”, 2017 IEEE International Conference on Electro Information Technology (EIT). 14-17 May 2017. pp 350-353.
[42]R. Shilkrot, J. Huber, C. Liu, P. Maes, and S. C. Nanayakkara, “Fingerreader: A wearable device to support text reading on the go”, 2014 ACM CHI, pp. 2359–2364, 2014.
[43]R. Shilkrot, J. Huber, M. E. Wong, P. Maes, and S. C. Nanayakkara, “Fingerreader: A wearable device to explore printed text on the go,” 2015 ACM CHI , pp. 2363–2372, 2015.
[44]P. Y. Simard, D. Steinkraus, J. C. Platt, “Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis” Proceedings of the Seventh International Conference on Document Analysis and Recognition. Edinburgh, UK, 2003.
[45]Fabien Lauera, Ching Y. Suenb, Gérard Blocha. “A trainable feature extractor for handwritten digit recognition”, Pattern Recognition, Vol. 40(6), pp.1816-1824. Jun. 2007.
[46]Y. LeCun, L. D. Jackel, L. Bottou, C. Cortes, J. S. Denker, H. Drucker, I. Guyon, U. A. Muller, E. Sackinger, P. Simard, V. Vapnik, “Learning algorithms for classification: A comparison on handwritten digit recognition”, Neural Networks: the Statistical Mechanics Perspective, pp. 261-276. 1995.
[47]X. Song, X. Gao, Y. Ding, Z. Wang, “A handwritten Chinese characters recognition method based on sample set expansion and CNN”, 2016 3rd International Conference on Systems and Informatics (ICSAI), pp. 843-849, Shanghai, China, Jan. 2017. 
[48]L. Liu, P.-L. Yang, W.-W. Sun, J.-W. Ma, "Similar Handwritten Chinese Character Recognition Based on CNN-SVM," Proceedings of the International Conference on Graphics and Signal Processing, pp. 16-20, 2017.
[49]Y. Tang, L. Peng, Q. Xu, “CNN Based Transfer Learning for Historical Chinese Character Recognition”, 2016 12th IAPR Workshop on Document Analysis System (DAS), ISBN. 978-1-5090-1792-8, pp. 25-29, Apr. 2016.
[50]Carnival of Animals: Music Education for Your Kids(動物嘉年華)[Online] Available: http://www.toothybuddies.com/carnival-of-the-animals/tw/, Jun.01, 2013
[51]高雄市教學APP市集[Online] Available: http://appgo.kh.edu.tw/ApiContent.aspx?id=458, Jun.01, 2013.
[52]Apple – iOS版 GaragBand[Online] Available: http://www.apple.com/tw/ios/garageband/ Jun.01, 2013.
[53]S. Jordà, G. Geiger, M. Alonso, and M. Kaltenbrunner, “The reacTable: exploring the synergy between live music performance and tabletop tangible interface,” in 1st International conference on Tangible and Embedded Interaction, pp.139-146, 2007.
[54]金姵辰，「混合實境音樂互動系統」，國立中央大學資訊工程研究所碩士論文，2013。
[55]楊詔羽，「應用深度學習於中文文字識別之研究」。淡江大學電機工程學系碩士班，2018。
[56]尾崎元章, Drum Fans 鼓惑人心 I, 典絃音樂文化國際事業有限公司, 2010.
[57]謝雙雙, 小鼓手兒童爵士鼓教本(上), 立誼出版社, 2011.
[58]Toothy Buddies. Carnival of Animals: Music Education for Your Kids. Available Online: http://www.toothybuddies.com/carnival-of-the-animals/tw/.
[59]Apple Inc. GaragBand. Available Online: http://www.apple.com/tw/ios/garageband/.
[60]Marion Wood . Woodchuck Rhythm Available Online:  https://itunes.apple.com/tw/app/woodchuck-rhythm/id633329909?mt=8.
[61]Lei Chi Tak. Rhythm Training. Available Online: https://itunes.apple.com/us/app/rhythm-training-sight-reading/id517896059?mt=8.