淡江大學覺生紀念圖書館 (TKU Library)
進階搜尋


下載電子全文限經由淡江IP使用) 
系統識別號 U0002-1208201401080100
中文論文名稱 基於階層式相似度分析與適應性遮罩技術應用於二維轉三維內視鏡影像系統之研究與實現
英文論文名稱 The Research and Implementation of a 2D to 3D Endoscopy Image System with the Techniques of Content-Adaptive Filtering and Hierarchical Similarity Analysis.
校院名稱 淡江大學
系所名稱(中) 電機工程學系碩士班
系所名稱(英) Department of Electrical Engineering
學年度 102
學期 2
出版年 103
研究生中文姓名 李信廷
研究生英文姓名 Hsin-Ting Li
學號 601450082
學位類別 碩士
語文別 中文
口試日期 2014-06-25
論文頁數 69頁
口試委員 指導教授-江正雄
委員-許明華
委員-賴永康
委員-周建興
中文關鍵字 3D內視鏡  DIBR  內視鏡3D模型  階層式相似度分析  適應性遮罩 
英文關鍵字 3D Endoscopy  DIBR  Endoscopy 3D Module  Hierarchical Similarity Analysis  Content-Adaptive Filter 
學科別分類 學科別應用科學電機及電子
中文摘要 在近年之醫療產業及醫療設備的發展中,內視鏡 (Endoscope) 一直是醫療人員及研究人員亟需的工具,但目前內視鏡通常是單一鏡頭,使得醫生對於視覺深度難以抓取,只能憑藉經驗判斷,存在著會傷害其他組織之不必要的風險。因此本論文乃提出以單一鏡頭的內視鏡來達到立體內視鏡的視覺效果。考量到系統對整張影像做深度估測的運算量較大,無法達到即時的效果,在文中提出以階層式相似度分析來將影像拆成16×16、8×8及4×4進行相似度分析及深度估測,而估測完的深度影像時常會因為深度影像急遽變化而產生3D影像破洞及幾何失真,考量到實際上深度影像急遽變化的大小及方向不一,所產生的破洞大小和方向也就有所不同。因此,本文提出以自適應性遮罩技術以強化三維深度影像繪圖,依據不同的破洞大小及紋理方向使用對應到的高斯濾波器進行深度影像的前處理,接著透過DIBR (Depth Image Base Rendering)演算法將2D影像轉換至3D影像呈現在3D顯示器上,並透過OpenGL建立3D影像模型,最後將系統實現於GPU (Graphics Processing Unit)上達到即時的處理。
英文摘要 With the advance of endoscopic technique, the researches of endoscopy are urgently needed for medical devices. However, the endoscopy is usually implemented in monocular image, making it difficult for doctors to judge the visual depth. It therefore may cause unnecessary damages to other tissues. This research work proposes a method using monocular endoscopic video to convert the 2D endoscopy into 3D view. Considering the depth estimation of the entire image, it needs a huge amount of computations, which cannot be attained throughout real time process. We propose the hierarchical similarity analysis to split the images into 16×16, 8×8, and 4×4 to analyze the similarity and depth estimation. However, the depth image may change drastically to make the converting view to have holes with different sizes and directions. It will affect the qualities of the 3D appearance and may take more time for hole-filling. This research hence presents a content-adaptive filtering technique to modify the depth map. A pre-process that applies the respective filter to different sizes and directions of holes is used to optimize the depth map. After the estimation of the depth map, the 2D image can be converted to a 3D image on the 3D display by DIBR (Depth Image Based Rendering) and create 3D modules through OpenGL (Open Graphics Library). Furthermore we implement the proposed approach on GPU (Graphics Processing Unit) to achieve the real time processing.
論文目次 致謝 I
中文摘要 III
英文摘要 IV
目錄 VI
圖目錄 IX
表目錄 XIII
第一章緒論 1
1.1研究背景與動機 1
1.2論文架構 3
第二章 CUDA架構 4
2.1 概論及其硬體架構 4
2.2 CUDA程式模組 6
2.3 CUDA記憶體模組 8
第三章相關技術 10
3.1內視鏡相關介紹 10
3.2立體視覺相關介紹 13
3.2.1眼鏡式3D顯示技術 14
3.2.1.1紅藍眼鏡 14
3.2.1.2偏光式眼鏡 15
3.2.1.3頭戴式顯示器 16
3.2.2裸眼立體顯示技術 16
3.2.2.1體積式立體顯示技術 17
3.2.2.2多平面式立體顯示技術 17
3.2.2.3 2D多工式立體顯示技術 18
3.3 Depth Image Based Rendering(DIBR)概要 18
3.4 3D內視鏡相關研究 22
3.4.1 3D 雙鏡頭內視鏡 22
3.4.2 3D單鏡頭內視鏡: 22
第四章研究方法 25
4.1反光偵測 26
4.2色相轉換 29
4.3反光點補償 30
4.4階層式相似度分析 31
4.5光線強度分析 32
4.6紋理強度分析 33
4.7線性透視 34
4.8深度合成 35
4.9深度影像前處理 35
4.10 DIBR演算法 39
4.10.1計算出每點像素視差值 39
4.10.2影像形變轉換 39
4.10.3破洞填補 40
第五章實驗結果 41
5.1系統運算時間的比較 41
5.2系統深度影像品質的比較 42
5.3深度影像前處理之比較 48
5.4內視鏡3D模型 60
第六章結論 65
參考文獻 66

圖目錄
圖 1.1微創手術示意圖 2
圖 1.2全球微創手術之市場規模與成長率 [3] 2
圖 1.3全球內視鏡之市場規模與成長率 [3] 3
圖 2.1 GPU加速運算示意圖[4] 4
圖 2.2 CPU與GPU的硬體架構圖 5
圖 2.3 CPU與GPU的核心差異圖 5
圖 2.4近年GPU和CPU的浮點數計算演進[5] 6
圖 2.5 CUDA的架構圖 7
圖 2.6 CUDA的Host和Device架構圖 8
圖 2.7 CUDA的記憶體架構圖[6] 9
圖 3.1內視鏡之示意圖[7] 10
圖 3.2染色內視鏡示意圖[8] 11
圖 3.3窄頻內視鏡示意圖[10] 12
圖 3.4膠囊內視鏡之示意圖[12] 12
圖 3.5膠囊內視鏡系統示意圖[12] 13
圖 3.6膠囊內視鏡與影像接收器[12] 13
圖 3.7兩眼視差示意圖 14
圖 3.8紅藍眼鏡示意圖[13] 15
圖 3.9篇光原理示意圖[13] 15
圖 3.10頭戴式顯示器示意圖[13] 16
圖 3.11體積式立體顯示示意圖[13] 17
圖 3.12多平面式立體顯示示意圖 18
圖 3.13原始影像與相對應的深度圖 19
圖 3.14 Disocclusion & Occlusion 示意圖 20
圖 3.15 Disocclusion示意圖 21
圖 3.16雙鏡頭內視鏡之示意圖[23] 22
圖 3.17原使影像與反光強度示意圖[24] 23
圖 3.18文獻 [25] 之系統流程圖 24
圖 4.1本論文所提出的系統流程圖 26
圖 4.2內視鏡內部的光源示意圖 27
圖 4.3內視鏡影像的反光點示意圖 27
圖 4.4(a)內視鏡影像紅光之直條圖統計(b)內視鏡影像綠光之直條圖統計(c)內視鏡影像藍光之直條圖統計 28
圖 4.5內視鏡原始影像與偵測出反光點之結果圖 29
圖 4.6內視鏡原始影像與灰階影 29
圖 4.7反光補償流程圖 30
圖 4.8反光點修補示意圖 31
圖 4.9原始灰階影像與反光點修補結果圖 31
圖 4.10階層式相似度分析示意圖 32
圖 4.11 (a)內視鏡原始影像(b)黑色區域偵測結果 34
圖 4.12 (a)內視鏡原始影像(b)深度梯度結果 35
圖 4.13 Law's Mask 34
圖 4.14自適應遮罩技術流程圖 36
圖 5.1系統運算時間 42
圖 5.2 深度攝影機所獲得的資訊 43
圖 5.3深度影像品質的比較 44
圖 5.4 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 44
圖 5.5 Video Sequence1第740張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 45
圖 5.6 Video Sequence2第844張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 45
圖 5.7 Video Sequence2第1299張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 46
圖 5.8 Video Sequence3第571張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 46
圖 5.9 Video Sequence3第1116張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 47
圖 5.10 Video Sequence4第324張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 47
圖 5.11 Video Sequence4第1166張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 48
圖 5.12深度影像前處理之PSNR比較 50
圖 5.13深度影像前處理之運算時間比較 50
圖 5.14深度影像前處理之SSIM比較 51
圖 5.15深度影像前處理之破洞數量比較 51
圖 5.16 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 52
圖 5.17 Video Sequence1第740張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 53
圖 5.18 Video Sequence2第844張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 54
圖 5.19 Video Sequence2第1299張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 55
圖 5.20 Video Sequence3第571張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 56
圖 5.21 Video Sequence3第1116張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 57
圖 5.22 Video Sequence4第324張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 58
圖 5.23 Video Sequence4第1166張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 59
圖 5.24 (a)原始2D影像,(b)、(c)轉換後的3D模型 61
圖 5.25(a)原始2D影像,(b)、(c)轉換後的3D模型 63
圖 5.26 (a)原始2D影像,(b)、(c)轉換後的3D模型 64

表目錄
表 5.1系統的運算時間(ms) 42
表 5.2深度影像品質的比較 44
表 5.3深度影像PSNR比較(db) 48
表 5.4深度影像前處理運算時間(ms) 49
表 5.5深度影像SSIM比較 49
表 5.6深度影像破洞數量比較 49

參考文獻 [1]J. Rosen, B. Hannaford, M.-P. MacFarlane and M.-N. Sinanan, “Force controlled and teleoperated endoscopic grasper for minimally invasive surgery-experimental performance evaluation,” IEEE Transactions on Biomedical Engineering, vol.46, no.10, pp.1212-1221,Oct 1999.
[2]A. Redert, M.-O. deBeeck, C. Fehn, W. Ijsselsteijn, M. Pollefeys, L.-V. Gool, E. Ofek, I. Sexton, and P. Surman, “ATTEST: advanced three-dimensional television system technologies,” International Symposium on 3D Data Processing Visualization and Transmission, pp.313-319, June 2002.
[3]黃裕斌: “微創手術市場分析”工業局醫療器材產業技術輔導與推廣計畫
[4]NVIDIA Corporation, What is GPU computing? [Online]. Available: http://www.nvidia.com/object/what-is-gpu-computing.html , Jun 1, 2014
[5]NVIDIA Corporation, CUDA C Programming Guide. [Online]. Available: http://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#axzz30ofpPYUQ, Jun 1, 2014
[6]Heresy's Space, NVIDA CUDA Introduction. [Online].Available: http://kheresy.wordpress.com/2007/10/31/nvidia-cuda-%E7%B0%A1%E4%BB%8B/, Jun 1, 2014
[7]C. Ell, “The first prospective controlled trial comparing wireless capsule endoscopy with push enteroscopy in chronic gastrointestinal bleeding,” Endoscopy, pp. pp. 685-689, 2002.
[8]M.-I. Canto, “Staining in gastrointestinal endoscopy: The basics,” Endoscopy, pp. 476-486, 1999.
[9]N. Ohyama, H. Machida, K. Gono, T. Obi, Y. Hamamoto, T. Endo , M. Yamaguchi, Y. Sano, and S. Yoshida, “Appearance of enhanced tissue features in narrow-band endoscopic imaging,” J. Biomed. Opt., vol. 9.no. 3, pp. 568-577, 2001.
[10]徐偉倫:“消化道內視鏡新進展-窄頻影像系統(Narrow Band Imaging System) ”
[11]M.-M. Navas, “Capsule endoscopy,” World Journal of Gastroenterology, pp.1584-1586, April 2009.
[12]張鳳玲,繆紹綱:“人體內的小型偵察機-膠囊內視鏡”,科學發展 394 期,2005年10月
[13]黃怡菁,黃乙白,謝漢萍:“3D 立體顯示技術”,2010.
[14]F. Shao, G. Jiang, M. Yu, K. Chen, and Y.-S. Ho, “Asymmetric coding of multi-view video plus depth based 3-D video for view rendering,” IEEE Transactions on Multimedia, vol. 14, no. 1, pp. 157–167, February 2012.
[15]C. Fehn, “Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV,” Proceeding of the SPIE, vol. 5291, pp. 93-104, May 2004.
[16]J.-H. Cho, S.-Y. Kim, Y.-S. Ho, and K.-H. Lee, “Dynamic 3D human actor generation method using a time-of-flight depth camera,” IEEE Transactions on Consumer Electronics, vol. 54, no. 4, pp. 1514-1521, November 2008.
[17]S.-Y. Kim, E.-K. Lee, Y.-S. Ho, “Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera,” IEEE Transactions on Broadcasting, vol. 54, no. 4, pp. 732-740, December 2008.
[18]S. Battiato, A. Capra, S. Curti, M.-L. Cascia, “3D stereoscopic image pairs by depth-map generation,” IEEE International Symposium 3D Data Processing, pp. 124-131, September 2004.
[19]W.-J. Tam, G. Alain, L. Zhang, T. Martin, and R. Renaud, “Smoothing depth maps for improved stereoscopic image quality,” Proceedings of the SPIE, vol. 5599, pp.162-172, October 2004.
[20]L. Zhang and W.-J. Tam, “Stereoscopic image generation based on depth images for 3DTV,”IEEE Transactions on Broadcasting, vol. 51, no. 2, pp. 191-199, June 2005.
[21]P.-J. Lee and Effendi, “Nongeometric distortion smoothing approach for depth map preprocessing,” IEEE Transactions on Multimedia, vol. 13, no. 2, pp. 246-254, April 2011.
[22]Z. Tauber, Z. Li, and M. Drew, “Review and preview: Disocclusion by inpainting for image-based rendering,” IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, vol. 37, no. 4, pp. 527-540, July 2007.

[23]C.-G. Song, J.-U. Kang, “Design of the computerized 3D endoscopic imaging system for delicate endoscopic surgery,” Journal of Medical Systems, vol. 35, no. 1, pp. 135-141, Feb. 2011.
[24] 李彥瑾:“內視鏡立體視覺輔助系統”,國立陽明大學醫學工程研究所碩士論文,民國101年6月。
[25]S. Rao,“3D endoscopy video generated using depth inference converting 2D to 3D,” Purdue University, 2013.
[26]張浩燦,劉樹泉:“光學老化與分段光熱分解雷射”, 家庭醫學與基層醫療 ,pp. 450-457, 2011.
[27]N. Kanopoulos, N. Vasanthavada, and R.-L. Baker, “Design of an image edge detection filter using the Sobel operator,” IEEE Journal of Solid-State Circuits, vol. 23, no. 2, pp. 358-367, Apr 1988.
[28]M.-T. Suzuki, Y. Yaginuma, T. Yamada, and Y. Shimizu, “A shape feature extraction method based on 3D convolution masks,” Proc. of IEEE International Symposium on Multimedia (ISM-2006), pp.837-844, Dec 2006.
[29]Endoscopy Trial - Selected Records, [Online]. Available: http://www.kindernarkose.ch/endoscopy.htm/ , Jun 1, 2014
論文使用權限
  • 同意紙本無償授權給館內讀者為學術之目的重製使用,於2014-08-12公開。
  • 同意授權瀏覽/列印電子全文服務,於2014-08-12起公開。


  • 若您有任何疑問,請與我們聯絡!
    圖書館: 請來電 (02)2621-5656 轉 2281 或 來信