共聚焦原理解析（九）：如何利用自適應反卷積提取圖像信息
圖像信息提取
共聚焦激光掃描顯微鏡（）是真正三維分辨熒光成像的標準。快速光學切片采用靈活的掃描策略，結合同時多色、高靈敏度和低噪聲信號檢測，在空間和時間域提供了最大的分辨率。結合現代的圖像信息提取方法，有助于研究者從獲取的圖像中挖掘盡可能多的信息。圖像信息提取是指利用圖像系統的先驗知識進行圖像增強的智能過程。從簡單的眩光控制和光學開發到智能和巧妙的模型提取，有許多方法可以看到圖像之外的信息。
盡管具有非常好的三維掃描質量，但在成像過程中會出現物理上的衍射現象，這種現象是每個成像系統的特征，可以用所謂的點擴展函數()來描述。通過光學系統成像的物體是該物體與成像系統的光學特性()的疊加（卷積）的結果。這些衍射現象會物體產生一種“涂抹”效果，導致有效分辨率降低和單個光子精確位置成像不正確。此外，在掃描生物樣品期間發生的背景和噪聲影響，這反過來又會進一步減少圖像原始數據的實際信息內容。
這些效果均可以用顯微鏡的神奇三角的錐體來顯示，該三角錐由分辨率、速度、靈敏度和光譜范圍組成，它們分別位于各自的角上。增強任何一個因素會相應地減弱其他因素。
但有好幾種辦法進一步突破這些限制：通過復雜的智能模型識別干擾信號，并通過反卷積過程將單個光子與其原始位置相關聯，來擴大金字塔的覆蓋區域并消除其限制。
可以接近實時地突破這些極限，以高效的方式提取共焦數據的原始信息，從而使共焦成像不僅超越衍射極限[1]，而且并行地提高了有效靈敏度和時間分辨率。通過自適應圖像信息提取，獲得了底層標本真實性質的清晰圖像。相比下述傳統方法，基于實際情況的自適應反卷積代表了可量化、可復制和可信的信息恢復的最佳可用程序。
是一種新方法，利用極快的并行處理從共焦數據中近實時地進行全自動智能信息提取。與傳統方法相比，主要區別在于體素精度和實時評估圖像屬性。這個過程完全連接到成像系統基于探測器的光學接口，從而完全整合到相應的數據和數據采集流中。在此基礎上，為每個相關體積段確定后續反卷積的最佳參數。這種將反卷積參數空間與局部圖像屬性相關聯的自適應過程不僅能夠在相應的圖像數據中實現完全自動化的體素精確信息恢復，而且特別適用于任何生物樣品和應用（見圖1）。該方法的另一個特點是由于特定地點的最優重建過程而保留了信息攜帶信號。
圖1：的自適應過程允許任意圖像數據和應用的完全自動化信息提取。
相比之下，傳統反卷積方法使用全局思維，不考慮圖像屬性的位置依賴差異。這意味著這些過程不能全自動應用，但始終基于“最佳猜測”方法，通過該方法在創建全局反卷積參數空間時尋求最大可能的平衡。這種方法的缺點自然在于它沒有考慮到圖像屬性中的不均勻性，這導致信息攜帶信號很有可能被錯誤地拒絕，或者相反，諸如背景或噪聲之類的無用信號會被解釋為信息單元并得到增強。
在中，原始共聚焦數據始終保留在經典的反卷積（非自適應）或后處理過程中。而且，也可以在類似于經典反卷積的非自適應模式下使用。
傳統反卷積
理想情況下，反卷積的目的不是通過丟棄失焦信號，而是通過將信號重新分配到其原始位置來去除失焦信號，從而保持成像體積中的總信號或光子計數。反卷積的一般方法是基于對顯微鏡原始數據進行適當的預處理，然后進行實際的傳統反卷積處理（見圖2）。
圖2：使用傳統方法從顯微鏡原始數據到反卷積圖像的整個反卷積過程（包括預處理）的圖形表示。使用全局有效的單個(=1)參數空間來運行反卷積。
預處理是利用圖像處理的一般方法對圖像原始數據進行修正，并為反卷積做準備。通常，這會用到適用于確定背景信號和信噪比()的平滑方法。然后使用先前定義的全局反卷積參數執行反卷積。這些參數包括顯微鏡的特征值，例如，如顯微鏡硬件的配置文件中列出的激發/發射波長和物鏡的規格。此外，像一般背景和信噪比等彈性值，尤其是反卷積相關參數（見下文）需要由用戶設置，以定義反卷積的參數空間。這些值對反卷積的準確性和可信性均有很大影響。
與顯微鏡配置無關，相關和全局設置的參數由迭代反卷積過程中的反卷積步驟數和正則化定義（見圖3）。迭代次數和正則化決定了反卷積的精確度/可信度的度量，并且必須主要根據信噪比進行非常仔細的平衡。正則化過程發生在各個反卷積步驟之間，通�；谒^的使用快速傅立葉變換（）的-過程。
正則化：正則化參數表示算法將信號解釋為背景或噪聲的一種方法。因此，正確估計該參數對于避免產生偽影（背景或噪聲，可解釋為信息攜帶信號），或相反，對于已被錯誤識別為背景或噪聲的信息攜帶單元的分類至關重要。
迭代：迭代執行反卷積過程本身，直到達到適當的中止準則，從而停止反卷積過程并完成數據處理。
圖3：反卷積過程。
因此，整個反卷積參數空間由與以下內容相關的參數組成：
顯微鏡硬件、成像和實驗裝置；激發/發射波長、物鏡、分辨率、樣品基質、浸沒/嵌入介質等。
圖像特征：背景、信噪比、正則化、迭代次數等。
自適應反卷積
反卷積方法基于一種全新的自適應方法，它在圖像采集（預處理）過程中讀取局部圖像性質，并提取合適的反卷積參數用于正則化過程。這實現了完全自動化的反卷積處理，無需用戶手動輸入（參見圖4）。
圖4：圖解中的自適應反卷積方法。與傳統重建方法相比，該方法使用了特定于體素的圖像屬性重建方案。
預處理
在預處理步驟中，以體素精度確定關于背景和信噪比的局部圖像屬性：
背景：首先識別全局背景，該全局背景與用于局部背景估計值(，)對應的局部信噪比相關。
信噪比：信噪比由每個像素的灰度值(，)的適當估計（具體取決于其鄰域）和用于平滑的特定內核確定。
決策掩碼
的關鍵要素基于應用一種快速運轉的自適應動態過程，且完全集成在系統數據流中，該過程使用基于局部圖像屬性的最佳處理程序來獲取信息。為此，如上所述，必須針對每個體素/體段提取有關背景和信噪比的基本圖像屬性，并在此基礎上為后續反卷積提供體素精確的最佳參數集。
根據特定背景和信噪比信息的確定，在個維度上生成所謂的決策掩碼，其中是數據采集通道的數量（例如，在數據堆棧中=3，見圖5）。
圖5：體素特定的圖像質量特征（背景和信噪比）由決策掩碼（左上角）表示，并以從低圖像質量（低信噪比，藍色）到高圖像質量（高信噪比，紅色）的偽彩色顯示。在此基礎上，使用自適應系數為每個特定體素位置生成最合適的反卷積參數集。
通過自適應系數將決策掩模產生的每個體素的信息與相關的反卷積參數集進行關聯。自適應系數與正則化參數直接關聯，并將共聚焦數據的局部圖像屬性轉換為每個體素的合適反卷積參數（見圖6）。
圖6：圖解單個圖像平面的決策掩碼。計算的圖像質量（）越低，用于后續反卷積的相應正則化參數（）越高（反之亦然）。使用決策掩碼可以對自適應反卷積的反卷積參數空間進行基于實際情況的建模。
生成決策掩模的整個過程基于一般的圖像處理方法，因此完全可以量化，即不會改變單個光子和光子計數基于強度或定位的特征。該流程僅從共聚焦數據中提取信息，不做任何修改。因此，決策掩模根據共聚焦數據中的背景和信噪比，逐個體素地定義局部圖像質量特征，以自適應的方式進行反卷積處理，即正則化和迭代次數。
反卷積
實際的反卷積步驟基于運用-算法和物理建模的點擴展函數，后者適用于相應的成像方法（共聚焦、、多光子等）。根據參考文獻[2,3,4]對底層模型進行調整，并針對徠卡系統環境優化。其結果是對每個體素/體段進行優化重建，排除了背景和噪聲等不需要的信號，同時保留并揭示了信息承載結構。
圖7：共聚焦數據（左）、決策掩碼（中）和反卷積數據堆棧（右）的4色細胞的圖形偽色表示。下文的敘述描繪了綠色通道（線粒體染色），以更好地顯示相應的決策掩碼。
反卷積的自適應性體現在從每個體素的決策掩碼中提取的反卷積參數空間的應用方面。此外，純反卷積過程對應上述的經典常規過程。迭代次數的中止標準完全自動處理，并通過對上一個迭代步驟的圖像與前一次迭代的圖像進行連續比較來定義。當最后兩次迭代的比較圖像在本質特征上不再呈現任何差異時，迭代立即終止。
圖8：共聚焦數據（左）和一個4色細胞的反卷積圖像（圖7）。反卷積后的圖像已經去除了失焦信號，清晰地顯示出細絲和線粒體等細節。
最后，使用預處理圖像（在反卷積之前）的光子數來均一化反卷積的圖像。這意味著所獲輸出圖像始終可以互相比較，因為沒有基于最大值或可變因子的均一化發生。圖9顯示了一個已用校正過的腎臟切片的共聚焦平面：偽彩色表示（圖9，中間）用藍色標識的光子會被排除在各自的體積段（背景或噪聲）之外，或被重新分配到另一個體積段，即它們的原始位置（信息攜帶光子/信號）。紅色標識的是信息攜帶光子/信號，它們通過反卷積重新分配到它們的原始體積段。請注意，在共聚焦數據中形成“可見”結構且未在反卷積圖像中表示的信息攜帶光子被重新分配到此處未顯示的相鄰圖像平面。
圖9：腎臟切片的單個共聚焦平面，顯示了共聚焦數據（左）、偽彩色光子重分配（中）和反卷積圖像（右）。藍色值表示光子被識別為背景/噪聲并排除，或被重新分配給另一個體素。紅色值對應光子被重新分配到的圖像平面中的體積元素。
一方面，這個過程實現了全自動化處理，另一方面，對觀察到的信號進行高度精確度的定量重建。這讓從根本上有別于傳統反卷積方法，后者不能使用全局應用程序考慮圖像數據的局部變化，因而會錯誤地排除或保留信號。
圖10顯示了一個典型的數據集應用程序，在每秒44幀時，每個像素包含的光子數非常低。這種情況下，背景、噪聲和信息攜帶信號之間的體素差異很小，這意味著需要考慮局部方差可能對重建方案有很大影響。背景和信噪比的各自影響清楚地說明了基于實際情況的自適應反卷積的優點，或者更確切地說，基于全局反卷積“最佳猜測”來估計的方法的無效。
圖10：以每秒44幀獲取的-24–管蛋白時間序列的單時間點表示。由于低光子計數，高體素特定的背景變化，均可觀察到噪聲和信息攜帶信號。通過考慮局部方差的自適應實際情況方法，給出了共聚焦數據的理想重建方案（左上）。相反，全局方法（右下）不能對這些局部差異做出具體反應。因此，底層結構無法解析。樣品由德國海德堡歐洲分子生物學實驗室小組的博士提供。
本例表明了如何幫助減少有效光劑量，從而通過使得低光子計數數據可以用于分析進行光漂白。
使用進行非自適應反卷積
除了上面描述的自適應反卷積，通常提供進一步處理策略，不使用決策掩碼作為定義反卷積參數空間的基礎。這些處理策略通過一個全局有效的參數集使用已知的通用方法進行重建，因此符合大家通常知道的反卷積過程。
-可定量性
如上所述，生成決策掩碼的過程完全基于經證明的圖像處理方法進行線性信息提取。該程序在反卷積前不修改共聚焦數據，這意味著的這一重要特性充分反映出在此背景下的一個可定量框架。在逐個體素地提取圖像特征并將其轉換為相應正則化參數和迭代次數的反卷積參數后，將這些信息輸入到后續的反卷積處理中。
反卷積本身的工作方式類似于傳統方法（見上文），因此對于這種類型的重建來說，由于其（非線性）線性可以量化，它具有相同的特性[5]。無論是否使用基于自適應的反卷積參數空間，并在此基礎上應用局部變化的反卷積策略，在重建過程中沒有局部和相對的強度出現失真：反卷積處理的相關寬度對應相關的寬度，其局部變化的反卷積參數在該相關寬度內保持不變。這確保反卷積參數的變化速度夠慢，以完全避免這種基于光強的影響。
不考慮背景和噪音的干擾，的一項基本特征是對于反卷積前后的圖像
- 保留了所有強度之和
- 保留了光子數量
最后，使用預處理圖像（在反卷積之前）的光子數來均一化反卷積的圖像。這意味著所獲輸出圖像始終可以互相比較，因為沒有基于最大值或可變因子的均一化發生。圖9顯示了一個已用校正過的腎臟切片的共聚焦平面：偽彩色表示（圖9，中間）顯示了藍色標識的光子會被排除在各自的體積段（背景或噪聲）之外，或被重新分配到另一個體積段，即它們的原始位置（信息攜帶光子/信號）。標識紅色表示信息攜帶光子/信號，它們通過反卷積重新分配到它們的原始體積段。請注意，在共聚焦數據中形成“可見”結構且未在反卷積圖像中表示的信息攜帶光子被重新分配到此處未顯示的相鄰圖像平面。
通過使用基于實際情況的自適應方法（決策掩碼），將產生偽影或排除信息攜帶信號的概率降至最低水平。事實上，相比傳統方法，自適應反卷積在可量化程度方面代表著最佳可用程序。
–共聚焦超分辨率
通過反卷積過程，光子和相關強度被重新分配到它們的原始狀態，這也將光學圖像中的衍射現象等干擾因素降到最低。因此可以顯著提高光學系統的有效分辨率。可以令分辨率在橫向上提高到120納米，在軸向上提高到200納米。
瑞利判據[6]定義了衍射極限系統中的分辨率極限，換句話說，只要兩個光點彼此可區分或可分辨。如果來自兩個單獨艾里斑的衍射圖不重疊，它們就很容易區分，即“很好分辨”，因而被認為符合瑞利判據（見圖11，左側）。當一個艾里斑的中心與另一個艾里斑的衍射圖的第一極小值直接重疊時，它們可以被認定為“剛剛可分辨”，仍然可以作為兩個獨立光點來區分（見圖11，中間)。如果兩個艾里斑的衍射圖比這更近，那就不符合瑞利判據，即“不能分辨”為兩個不同的光點（或標本圖像中的獨立細節；見圖11（右））。
圖11：兩個單獨艾里斑的重疊衍射圖所顯示的分辨率極限（由瑞利判據定義）：左側：很好分辨，中間：剛好分辨，右邊：無法分辨
圖12顯示了一個共聚焦數據集與一個在條件下所獲數據集的比較。物體顯示分子納米尺(120，）攜帶兩個熒光標記，其間距為120納米。共聚焦數據集顯示了衍射極限物體的典型融合分布，而能夠分辨不同的發光點，因此它們的間距為120納米。納米粒子仍然表現為一個“涂抹”單點，或者在圖像中無法清晰分辨，這并不是非清晰重建的結果。這些物體在樣品臺上隨機旋轉，因此不能垂直于顯微鏡的檢測軸成像。一種可在這些邊界條件下測量到的效應。
圖12：共聚焦數據（左）和利用分辨的120分子級納米粒子（右）�？雌饋硐袷且粋�“涂抹”單點，或者在圖像中無法清晰分辨的納米粒子，在樣品臺上隨機旋轉，因此不能垂直于顯微鏡的檢測軸成像。
總結
盡管近年來出現了新的成像方法，但標準的共聚焦激光掃描顯微鏡（）仍然可以實現真正的三維分辨率。通過結合具有高靈敏度、低噪聲探測器，以及多光譜同步數據采集的創新、極速掃描方法，共聚焦激光掃描顯微鏡可以借助徠卡的獨家技術，應用到以前無法訪問的動態和光譜范圍。在有效空間和時間分辨率方面，物理光學成像特性以及背景和噪音引起的干擾所產生的限制，仍然是所有成像方法的局限性。
隨著的引用，可以使用全新的系統集成模塊，幾乎實時地突破了這些限制，推動著神奇金字塔的四個角，包括分辨率、靈敏度、速度和光譜（光譜范圍）。因此，可以通過自適應圖像信息提取，獲得底層標本真實性質的清晰圖像。
采用基于實際情況的自適應反卷積方法，無需用戶手動輸入，即可實現高度可靠的全自動化圖像信息提取，而由于衍射現象和待檢樣本的生物特性，這些信息原本無法獲得。因此，可以實現遠低于理論衍射極限的分辨率，或者顯示盡管在空間和時間結構上存在于共聚焦數據中，但由于衍射和噪聲，在以前是不可見的圖像信息。
不僅可以提高有效的空間分辨率，還能提高有效的時間分辨率，使得可訪問的光譜范圍得到極大并行擴展。使用，就不再需要設計實驗裝置，因為信息承載結構可以直觀地映射在共聚焦數據中。事實上，此等信息已經包含在分別以低光子數和最高掃描速度獲取的圖像數據中。會自動提取底層信息層，因此可以達到每秒428幀的有效共聚焦掃描速度且同時使用5種顏色。與那些并非為點掃描設計的光學方法相比，能夠達到真正的共聚焦分辨率。
是向完全固定在成像系統中的智能檢測方法邁出的第一步。其相關模塊將依靠新穎和創新的數字技術，不斷擴展和改進，以便從每種條件下的每種生物樣品中提取盡可能多的信息。
下載
下載格式白皮書《如何利用自適應反卷積提取圖像信息》
相關鏈接：熒光、活細胞成像、類器官和 3D 細胞培養、超高分辨率顯微鏡和納米顯微鏡、癌癥研究、細胞生物學研究、熒光壽命成像、模式生物研究、光操作、病毒學、斑馬魚研究
共聚焦原理解析（八）：無限遠光學系統
共聚焦原理解析（七）：活細胞成像技術知識點
共聚焦原理解析（六）：光譜成像
共聚焦原理解析（五）：熒光和量子點的基本原理和發展歷史
共聚焦原理解析（四）：熒光壽命-一個適當的選擇
共聚焦原理解析（三）：光路
共聚焦原理解析（二）：激發
共聚焦原理解析（一）：針孔幾何形狀-完美的四邊形
了解更多：徠卡顯微
Copyright(C) 1998-2025 生物器材網 電話：021-64166852;13621656896 E-mail：info@bio-equip.com