在近年之醫療產業及醫療設備的發展中，內視鏡 (Endoscope) 一直是醫療人員及研究人員亟需的工具，但目前內視鏡通常是單一鏡頭，使得醫生對於視覺深度難以抓取，只能憑藉經驗判斷，存在著會傷害其他組織之不必要的風險。因此本論文乃提出以單一鏡頭的內視鏡來達到立體內視鏡的視覺效果。考量到系統對整張影像做深度估測的運算量較大，無法達到即時的效果，在文中提出以階層式相似度分析來將影像拆成16×16、8×8及4×4進行相似度分析及深度估測，而估測完的深度影像時常會因為深度影像急遽變化而產生3D影像破洞及幾何失真，考量到實際上深度影像急遽變化的大小及方向不一，所產生的破洞大小和方向也就有所不同。因此，本文提出以自適應性遮罩技術以強化三維深度影像繪圖，依據不同的破洞大小及紋理方向使用對應到的高斯濾波器進行深度影像的前處理，接著透過DIBR (Depth Image Base Rendering)演算法將2D影像轉換至3D影像呈現在3D顯示器上，並透過OpenGL建立3D影像模型，最後將系統實現於GPU (Graphics Processing Unit)上達到即時的處理。

With the advance of endoscopic technique, the researches of endoscopy are urgently needed for medical devices. However, the endoscopy is usually implemented in monocular image, making it difficult for doctors to judge the visual depth. It therefore may cause unnecessary damages to other tissues. This research work proposes a method using monocular endoscopic video to convert the 2D endoscopy into 3D view. Considering the depth estimation of the entire image, it needs a huge amount of computations, which cannot be attained throughout real time process. We propose the hierarchical similarity analysis to split the images into 16×16, 8×8, and 4×4 to analyze the similarity and depth estimation. However, the depth image may change drastically to make the converting view to have holes with different sizes and directions. It will affect the qualities of the 3D appearance and may take more time for hole-filling. This research hence presents a content-adaptive filtering technique to modify the depth map. A pre-process that applies the respective filter to different sizes and directions of holes is used to optimize the depth map. After the estimation of the depth map, the 2D image can be converted to a 3D image on the 3D display by DIBR (Depth Image Based Rendering) and create 3D modules through OpenGL (Open Graphics Library). Furthermore we implement the proposed approach on GPU (Graphics Processing Unit) to achieve the real time processing.

致謝	I
中文摘要	III
英文摘要	IV
目錄	VI
圖目錄	IX
表目錄	XIII
第一章緒論	1
1.1研究背景與動機	1
1.2論文架構	3
第二章 CUDA架構	4
2.1 概論及其硬體架構	4
2.2 CUDA程式模組	6
2.3 CUDA記憶體模組	8
第三章相關技術	10
3.1內視鏡相關介紹	10
3.2立體視覺相關介紹	13
3.2.1眼鏡式3D顯示技術	14
3.2.1.1紅藍眼鏡	14
3.2.1.2偏光式眼鏡	15
3.2.1.3頭戴式顯示器	16
3.2.2裸眼立體顯示技術	16
3.2.2.1體積式立體顯示技術	17
3.2.2.2多平面式立體顯示技術	17
3.2.2.3 2D多工式立體顯示技術	18
3.3 Depth Image Based Rendering(DIBR)概要	18
3.4 3D內視鏡相關研究	22
3.4.1 3D 雙鏡頭內視鏡	22
3.4.2 3D單鏡頭內視鏡:	22
第四章研究方法	25
4.1反光偵測	26
4.2色相轉換	29
4.3反光點補償	30
4.4階層式相似度分析	31
4.5光線強度分析	32
4.6紋理強度分析	33
4.7線性透視	34
4.8深度合成	35
4.9深度影像前處理	35
4.10 DIBR演算法	39
4.10.1計算出每點像素視差值	39
4.10.2影像形變轉換	39
4.10.3破洞填補	40
第五章實驗結果	41
5.1系統運算時間的比較	41
5.2系統深度影像品質的比較	42
5.3深度影像前處理之比較	48
5.4內視鏡3D模型	60
第六章結論	65
參考文獻	66
 
圖目錄
圖 1.1微創手術示意圖	2
圖 1.2全球微創手術之市場規模與成長率 [3]	2
圖 1.3全球內視鏡之市場規模與成長率 [3]	3
圖 2.1 GPU加速運算示意圖[4]	4
圖 2.2 CPU與GPU的硬體架構圖	5
圖 2.3 CPU與GPU的核心差異圖	5
圖 2.4近年GPU和CPU的浮點數計算演進[5]	6
圖 2.5 CUDA的架構圖	7
圖 2.6 CUDA的Host和Device架構圖	8
圖 2.7 CUDA的記憶體架構圖[6]	9
圖 3.1內視鏡之示意圖[7]	10
圖 3.2染色內視鏡示意圖[8]	11
圖 3.3窄頻內視鏡示意圖[10]	12
圖 3.4膠囊內視鏡之示意圖[12]	12
圖 3.5膠囊內視鏡系統示意圖[12]	13
圖 3.6膠囊內視鏡與影像接收器[12]	13
圖 3.7兩眼視差示意圖	14
圖 3.8紅藍眼鏡示意圖[13]	15
圖 3.9篇光原理示意圖[13]	15
圖 3.10頭戴式顯示器示意圖[13]	16
圖 3.11體積式立體顯示示意圖[13]	17
圖 3.12多平面式立體顯示示意圖	18
圖 3.13原始影像與相對應的深度圖	19
圖 3.14 Disocclusion & Occlusion 示意圖	20
圖 3.15 Disocclusion示意圖	21
圖 3.16雙鏡頭內視鏡之示意圖[23]	22
圖 3.17原使影像與反光強度示意圖[24]	23
圖 3.18文獻 [25] 之系統流程圖	24
圖 4.1本論文所提出的系統流程圖	26
圖 4.2內視鏡內部的光源示意圖	27
圖 4.3內視鏡影像的反光點示意圖	27
圖 4.4(a)內視鏡影像紅光之直條圖統計(b)內視鏡影像綠光之直條圖統計(c)內視鏡影像藍光之直條圖統計	28
圖 4.5內視鏡原始影像與偵測出反光點之結果圖	29
圖 4.6內視鏡原始影像與灰階影	29
圖 4.7反光補償流程圖	30
圖 4.8反光點修補示意圖	31
圖 4.9原始灰階影像與反光點修補結果圖	31
圖 4.10階層式相似度分析示意圖	32
圖 4.11 (a)內視鏡原始影像(b)黑色區域偵測結果	34
圖 4.12 (a)內視鏡原始影像(b)深度梯度結果	35
圖 4.13 Law's Mask	34
圖 4.14自適應遮罩技術流程圖	36
圖 5.1系統運算時間	42
圖 5.2 深度攝影機所獲得的資訊	43
圖 5.3深度影像品質的比較	44
圖 5.4 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	44
圖 5.5 Video Sequence1第740張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	45
圖 5.6 Video Sequence2第844張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	45
圖 5.7 Video Sequence2第1299張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	46
圖 5.8 Video Sequence3第571張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	46
圖 5.9 Video Sequence3第1116張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	47
圖 5.10 Video Sequence4第324張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	47
圖 5.11 Video Sequence4第1166張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果	48
圖 5.12深度影像前處理之PSNR比較	50
圖 5.13深度影像前處理之運算時間比較	50
圖 5.14深度影像前處理之SSIM比較	51
圖 5.15深度影像前處理之破洞數量比較	51
圖 5.16 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	52
圖 5.17 Video Sequence1第740張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	53
圖 5.18 Video Sequence2第844張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	54
圖 5.19 Video Sequence2第1299張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	55
圖 5.20 Video Sequence3第571張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	56
圖 5.21 Video Sequence3第1116張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	57
圖 5.22 Video Sequence4第324張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	58
圖 5.23 Video Sequence4第1166張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果	59
圖 5.24 (a)原始2D影像，(b)、(c)轉換後的3D模型	61
圖 5.25(a)原始2D影像，(b)、(c)轉換後的3D模型	63
圖 5.26 (a)原始2D影像，(b)、(c)轉換後的3D模型	64
 
表目錄
表 5.1系統的運算時間(ms)	42
表 5.2深度影像品質的比較	44
表 5.3深度影像PSNR比較(db)	48
表 5.4深度影像前處理運算時間(ms)	49
表 5.5深度影像SSIM比較	49
表 5.6深度影像破洞數量比較	49

[1]J. Rosen, B. Hannaford, M.-P. MacFarlane and M.-N. Sinanan, “Force controlled and teleoperated endoscopic grasper for minimally invasive surgery-experimental performance evaluation,” IEEE Transactions on Biomedical Engineering, vol.46, no.10, pp.1212－1221,Oct 1999.
[2]A. Redert, M.-O. deBeeck, C. Fehn, W. Ijsselsteijn, M. Pollefeys, L.-V. Gool, E. Ofek, I. Sexton, and P. Surman, “ATTEST: advanced three-dimensional television system technologies,” International Symposium on 3D Data Processing Visualization and Transmission, pp.313-319, June 2002.
[3]黃裕斌: “微創手術市場分析”工業局醫療器材產業技術輔導與推廣計畫
[4]NVIDIA Corporation, What is GPU computing? [Online]. Available: http://www.nvidia.com/object/what-is-gpu-computing.html , Jun 1, 2014
[5]NVIDIA Corporation, CUDA C Programming Guide. [Online]. Available: http://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#axzz30ofpPYUQ, Jun 1, 2014
[6]Heresy's Space, NVIDA CUDA Introduction. [Online].Available: http://kheresy.wordpress.com/2007/10/31/nvidia-cuda-%E7%B0%A1%E4%BB%8B/, Jun 1, 2014
[7]C. Ell, “The first prospective controlled trial comparing wireless capsule endoscopy with push enteroscopy in chronic gastrointestinal bleeding,” Endoscopy, pp. pp. 685-689, 2002.
[8]M.-I. Canto, “Staining in gastrointestinal endoscopy: The basics,” Endoscopy, pp. 476-486, 1999.
[9]N. Ohyama, H. Machida, K. Gono, T. Obi, Y. Hamamoto, T. Endo , M. Yamaguchi, Y. Sano, and S. Yoshida, “Appearance of enhanced tissue features in narrow-band endoscopic imaging,” J. Biomed. Opt., vol. 9.no. 3, pp. 568-577, 2001.
[10]徐偉倫：“消化道內視鏡新進展-窄頻影像系統(Narrow Band Imaging System) ”
[11]M.-M. Navas, “Capsule endoscopy,” World Journal of Gastroenterology, pp.1584-1586, April 2009.
[12]張鳳玲，繆紹綱：“人體內的小型偵察機-膠囊內視鏡”，科學發展 394 期，2005年10月
[13]黃怡菁，黃乙白，謝漢萍：“3D 立體顯示技術”，2010.
[14]F. Shao, G. Jiang, M. Yu, K. Chen, and Y.-S. Ho, “Asymmetric coding of multi-view video plus depth based 3-D video for view rendering,” IEEE Transactions on Multimedia, vol. 14, no. 1, pp. 157–167, February 2012.
[15]C. Fehn, “Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV,” Proceeding of the SPIE, vol. 5291, pp. 93－104, May 2004.
[16]J.-H. Cho, S.-Y. Kim, Y.-S. Ho, and K.-H. Lee, “Dynamic 3D human actor generation method using a time-of-flight depth camera,” IEEE Transactions on Consumer Electronics, vol. 54, no. 4, pp. 1514－1521, November 2008.
[17]S.-Y. Kim, E.-K. Lee, Y.-S. Ho, “Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera,” IEEE Transactions on Broadcasting, vol. 54, no. 4, pp. 732－740, December 2008.
[18]S. Battiato, A. Capra, S. Curti, M.-L. Cascia, “3D stereoscopic image pairs by depth-map generation,” IEEE International Symposium 3D Data Processing, pp. 124－131, September 2004.
[19]W.-J. Tam, G. Alain, L. Zhang, T. Martin, and R. Renaud, “Smoothing depth maps for improved stereoscopic image quality,” Proceedings of the SPIE, vol. 5599, pp.162－172, October 2004.
[20]L. Zhang and W.-J. Tam, “Stereoscopic image generation based on depth images for 3DTV,”IEEE Transactions on Broadcasting, vol. 51, no. 2, pp. 191－199, June 2005.
[21]P.-J. Lee and  Effendi, “Nongeometric distortion smoothing approach for depth map preprocessing,” IEEE Transactions on Multimedia, vol. 13, no. 2, pp. 246－254, April 2011.
[22]Z. Tauber, Z. Li, and M. Drew, “Review and preview: Disocclusion by inpainting for image-based rendering,” IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, vol. 37, no. 4, pp. 527－540, July 2007.

[23]C.-G. Song, J.-U. Kang, “Design of the computerized 3D endoscopic imaging system for delicate endoscopic surgery,” Journal of Medical Systems, vol. 35, no. 1, pp. 135-141, Feb. 2011.
[24]	李彥瑾：“內視鏡立體視覺輔助系統”，國立陽明大學醫學工程研究所碩士論文，民國101年6月。
[25]S. Rao,“3D endoscopy video generated using depth inference converting 2D to 3D,” Purdue University, 2013.
[26]張浩燦，劉樹泉：“光學老化與分段光熱分解雷射”， 家庭醫學與基層醫療 ，pp. 450-457, 2011.
[27]N. Kanopoulos, N. Vasanthavada, and R.-L. Baker, “Design of an image edge detection filter using the Sobel operator,” IEEE Journal of Solid-State Circuits, vol. 23, no. 2, pp. 358-367, Apr 1988.
[28]M.-T. Suzuki, Y. Yaginuma, T. Yamada, and Y. Shimizu, “A shape feature extraction method based on 3D convolution masks,” Proc. of IEEE International Symposium on Multimedia (ISM-2006), pp.837-844, Dec 2006.
[29]Endoscopy Trial - Selected Records, [Online]. Available: http://www.kindernarkose.ch/endoscopy.htm/ , Jun 1, 2014