在當今醫療領域，微創手術因其創傷小、恢復快等優勢，逐漸成為許多疾病治療的首選方式。然而，微創手術也面臨著一些挑戰，其中之一就是如何從小創口全面獲取病灶信息。普通內窺鏡由于視場角較小，成像范圍有限，往往容易遺漏病變部位。
為了解決這一問題，全景內窺成像技術應運而生，為微創手術帶來了新的視野和機遇。浙江大學霍嘉燚團隊發表文章，從原理和產品應用兩個方面對全景內窺成像技術進行了梳理。首先綜述了基于二維和三維成像的各種全景內窺成像技術，闡述了它們各自的實現方式，并分析了其關鍵指標和性能。其次，對比分析了由全景內窺成像技術衍生出來的膠囊內窺鏡、全景結直腸鏡等多種不同類型的產品，并展望了全景內窺成像技術的發展趨勢和應用前景。

二維全景內窺成像技術
二維全景內窺成像主要有兩種實現方式，一種是多攝像頭全景成像技術，另一種是全景鏡頭技術。

基于ORB的內窺全景拼接
原始ORB算法在關鍵點匹配中沒有尺度不變性，容易受到噪聲影響。

無拼接算法的全景成像技術
無拼接算法的多攝顯示技術對于計算的需求較低，但對鏡體的機械設計水平要求較高，需要在較小的體積下集成多個攝像頭，對鏡頭的設計和加工技術等方面提出了更高的要求。同時，由于是多個攝像頭采集到的圖像同時顯示，因此對數據的存儲和通訊也有較高要求。對于膠囊內窺鏡而言，多個攝像頭同時工作引起的功耗提升也需要設計人員去解決。

2.全景鏡頭技術
自由曲面棱鏡
自由曲面棱鏡的設計方法已經日趨成熟，在傳統成像光學系統中，自由曲面能夠進一步實現系統的小型化，從而可以放入體積狹小的內窺鏡中。

2015年，Katkam等人設計了一種緊湊的雙視角內窺鏡，該內窺鏡基于自由曲面棱鏡實現了前向90°和后向45°的成像。該設計中僅使用了一個自由曲面棱鏡來組合前視圖和后視圖，為確保兩個FOV都具有良好的性能，對表面進行了特殊設計以降低像差。

全景環形透鏡
全景環形透鏡（PAL）是一種緊湊的光學結構，具有大視場和小畸變的特點，能夠提供全景視圖和清晰的成像質量。

2016年，Liu等人設計了基于全景環形透鏡和自由曲面棱鏡的內窺鏡系統，該設計能夠實現全景成像，同時可獲得局部高分辨率圖像，充分利用了傳統全景環形透鏡系統圖像表面的盲區像素，解決了寬視場和高分辨率之間的矛盾。其PAL子系統的FOV達（60°-97.5°）×360°，高分辨率系統實現了0.008mm的物方分辨率。

折反射成像系統
折反射成像系統是一種使用較少鏡片即可實現超廣角成像的技術，可以通過錐形鏡、拋物面鏡、凹凸鏡片折疊等方式實現，成像方式簡單、易于加工、成本較低，具有廣泛的應用潛力。

2015年，Sahli設計的系統可以實現側視圖360°成像；2016年，Dallaire等人通過設計凹凸鏡頭折疊的方式實現折反射，視場角可以達到180°；2017年，Tseng等人設計的全景內窺系統使用拋物面鏡作為反射鏡，用于實現側視圖的360°全景成像，后續加入了一個中繼鏡頭，接收由凹面鏡反射回來的側向光，圖像失真更少。

仿生光學系統
研究人員從昆蟲的復眼獲得靈感，提出了兼具均勻性和高分辨率的成像能力的全景內窺成像系統。

2016年，Tseng等人根據昆蟲的復眼結構提出了一種具有大視場的靈活膠囊內窺鏡，使用31個球透鏡覆蓋175°的觀察區域，應用光纖陣列來擬合曲線圖像平面，以改善場曲像差并將圖像傳送到圖像傳感器中，該膠囊內窺鏡可以通過基于球透鏡設計的復合透鏡捕獲175°的可視區域。2017年，Cogal等人受昆蟲復眼啟發，提出了一種小型化高清視覺系統，采用分布式照明方法，可覆蓋180°×180°的視場，能以120MHz的處理時鐘頻率生成具有1080pixel×1080pixel分辨率的25frame/s視頻。

多系統組合
該方法將不同的超廣角技術組合起來，充分發揮各項技術的長處，彌補不同技術存在的缺陷，從而實現良好的畸變和體積控制。2019年，Chen等人設計的緊湊雙視場內窺鏡物鏡視場角達±80°，畸變控制在了10%以內，提高了邊緣視場的成像質量，結構更加緊湊，易于安裝。

三維內窺成像技術
三維全景內窺技術通過三維拼接能夠獲得更全面的信息，目前根據采用的方法不同，可分為深度相機與單目相機兩大類。

1.深度相機
內窺鏡中深度相機的實現方式
主動形式：

• ToF相機：ToF相機向目標連續發射光脈沖，傳感器不斷接收由物體反射回來的信號，通過計算光脈沖的飛行時間得到各個像素對應點與相機的距離。2009年，Penne等首次將其應用到內窺鏡系統中，完成了大量體外實驗，實現了3072個三維點的20frame/s實時測量，誤差為0.89mm。2013年，Köhler等人將低分辨率ToF傳感器與高分辨率RGB傳感器相結合，提出一種多幀超分辨率框架有效提升了深度圖的信噪比及分辨率。2022年，Stolyarov等將ToF系統整合進商用內窺鏡中，像素數提升至幾十萬級別，在30frame/s實時成像速度下精度能達到亞毫米級。

• 結構光系統：結構光系統使用投影儀將特定信息投射至目標物體表面，再由攝像頭采集圖像，通過對圖像上結構光的特征信息進行解碼，得到目標物體表面的三維信息。根據結構光的編碼方式，可以將其分為順序投影模式結構光、連續變化投影模式結構光、條紋模式結構光、網格模式結構光和混合模式結構光等。

被動形式：雙目相機模仿人眼的視覺系統，可以通過雙目的單幀圖像計算獲得對應的深度圖，從而可以與RGB-D相機一樣實時獲得深度圖，且擁有更高的分辨率，因此現在多使用雙目相機來實現最初基于RGB-D的SLAM方案。

內窺鏡中深度相機拼接成像技術
通過深度相機獲得深度圖即局部點云后，需要對多個局部點云進行拼接以獲得全景三維點云。2021年，Zhou等人將雙目相機獲得的圖像轉換為局部點云，通過使用SURF檢測相鄰左圖像的特征點并進行匹配來估計攝像機姿態變化。最后，在計算得到變換矩陣的基礎上，利用迭代最近點（ICP）算法進行更精細的點云配準，實現了整個胃器官的三維密集重建。

現有研究多采用基于概率估計的內窺鏡視覺SLAM方法來描述該問題，其主要由特征提取、特征匹配以及內窺鏡定位方法組成。隨著雙目相機研究的深入及計算機配置的不斷提高，目前通過對雙目相機采集到的單幀圖像進行視差計算，已可以與RGB-D相機一樣實時獲得深度圖，且擁有分辨率更高等優點，因此，現在多使用雙目相機實現原本基于RGB-D的SLAM方案。ORB-SLAM3在軌跡估計方面大大優于ElasticFusion，并且其腹腔鏡手術圖像序列更穩定，而在表面全景重建上則有著相似的性能。

2.單目內窺鏡
單目內窺鏡體積小、功耗低，但無法直接獲得深度圖，因此對算法提出了很高的要求。目前使用更多的是SLAM方法，根據其前端匹配方式的不同，可分為基于特征的SLAM、稠密SLAM和半稠密SLAM。基于特征的SLAM通過對多幅圖像進行特征提取及匹配，計算出相機位姿及運動軌跡，從而進行三維全景重建，因為僅使用特征點進行計算，減少了處理數據量，在實時性上有優勢，但在弱紋理區域因特征稀少而不穩定。單目稠密SLAM不提取特征點，直接對整幅圖像進行處理，可以利用的信息更多，重建也更精確，但計算復雜度高，導致實時性較差。單目半稠密的SLAM結合上述兩種方法的優點，實時性尚可，且在缺少紋理時較為穩定。

近年來，研究人員開始嘗試將卷積神經網絡與單目SLAM相結合。Chen等人使用對抗性訓練的卷積神經網絡對從人體結腸的計算機斷層掃描測量中渲染出來的圖像以及對應的正確深度圖進行訓練，由單目內窺鏡圖像實時預測深度圖并使用ElasticFusion進行三維拼接，實現對豬胃腸道組織的全景密集重建。Widya等人設計了一種基于平面擬合的三維點離群點去除算法，使用單目內窺鏡視頻重建整個胃的彩色紋理3D模型，實現了將視頻任意幀定位到三維模型。

全景內窺成像應用
全景內窺成像目前主要應用于膠囊內鏡和大視場結直腸鏡中。
1.膠囊內鏡
目前，國內外多個廠家均能提供大視角的膠囊內窺鏡。隨著小型化技術的進步和相關元件功耗的降低，各個廠家逐漸開始在膠囊內鏡中集成更多的攝像頭。單個超廣角鏡頭的膠囊內窺鏡的視場角均在156°-170°之間，可視范圍大致相同，區別在于幀率、通信方式和電池壽命等方面不同。

膠囊內鏡在診斷治療OGIB、克羅恩病及復雜乳糜瀉等方面起到了重要的作用。在一項對比研究中，提供全景視野的膠囊可以觀察到更加豐富的病變信息，檢查到更多的出血病例，醫生和病人滿意度高。在克羅恩病和CD的診治方面，膠囊內鏡也能提供重要的診斷依據，幫助醫生制定治療方案。

2.結直腸鏡
結直腸癌是目前診斷率第三普遍的癌癥，常規的結腸鏡檢查仍會遺漏大量的息肉。
最近的相關研究提出褶皺可視化技術（BFT），旨在提高腺瘤檢出率。Full Spectrum Endoscopy（FUSE）系統中在單個前視鏡頭上添加了兩個側視鏡頭，使視野擴大到330°；EWAVE結腸鏡由一個標準的147°前視鏡頭和兩個額外的42.5°橫向后視鏡頭組成，將所有鏡頭的視圖進行合成并顯示在顯示器上；Third Eye Panoramic設備是兩個可以連接到標準結腸鏡末端的側視攝像頭，可以獲得3個可以投射到屏幕上的圖像，將視角擴展到300°以上。

使用這些技術相對于傳統結腸鏡對提高ADR沒有明顯的影響，但使用BFT可以提高對非晚期息肉和病變的檢測，很好地降低非晚期腺瘤漏診的風險，對于經驗不足的結腸鏡醫師效果更為明顯。

總結與展望
全景內窺成像技術正逐步成為未來內窺鏡研究的重要發展方向之一，具有廣闊的應用前景。但該技術目前仍存在部分問題有待解決，例如更高效率的內窺全景圖像拼接算法、更高性能的內窺全景成像鏡頭以及更準確的內窺全景信息重建技術等。

聲明：本文僅用作學術目的。文章來源于:霍嘉燚, 李冕豪, 王子川, 袁波, 楊青, 王立強. 全景內窺成像技術及應用[J]. 中國光學, 2023, 16(1): 44. Jia-yi HUO, Mian-hao LI, Zi-chuan WANG, Bo YUAN, Qing YANG, Li-qiang WANG. Panoramic endoscopic imaging technology and it’s applications[J]. Chinese Optics, 2023, 16(1): 44.