Plant Phenomics | 基于圖像的植物表型自監督對比學習方法的基準測試

作物表型研究是作物育種計劃的重要組成部分，植物育種者的任務是雜交親本，選擇具有理想和改進性狀的后代，包括產量和對生物和非生物脅迫的抗性。近年來，基于圖像的植物表型已成為緩解表型瓶頸的一種很有前途的工具。基于圖像的植物表型包括使用一種或多種成像技術來捕獲一個生長季節的植物圖像，并應用圖像分析工具來以無損和（半）自動化的方式測量/提取植物性狀。深度學習方法特別適合于同時從數據中提取具有語義意義的特征，并使用這些特征來執行一組任務。近年來，自監督學習（Self-Supervised Learning, SSL）方法的興起，為利用基于圖像的植物表型平臺生成的未標記和特定領域的數據集來加速植物育種項目提供了機會。盡管對SSL的研究激增，但對SSL在基于圖像的植物表型任務中的應用，特別是檢測和計數任務的研究卻較少。自監督學習結合了有監督學習和無監督學習的特性，提供了一種方法來解決支持域內轉移的問題，同時減少了對標記數據的需要。
 

2023年3月，Plant Phenomics 在線發表了薩斯喀徹溫大學題為Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping的研究論文。
 

本研究中研究的關鍵問題是：對于基于圖像的植物表型任務，自我監督預訓練與有監督預訓練的效果如何？通過將2種自監督學習方法MoCo（Momentum Contrast）v2和DenseCL（Dense Contrastive Learning）當將學習到的表征轉移到4個目標基于圖像的植物表型任務時：小麥穗檢測、植物實例檢測、小麥小穗計數和葉片計數，來研究這兩種方法間的差異。研究了預訓練數據集的域對目標性能的影響，以及預訓練數據集的冗余對學習表示質量的影響。使用ResNet-50模型作為本研究中所有表示學習任務的編碼器，包括預訓練和下游任務。訓練是在4個Nvidia Tesla V100圖形處理單元（GPU）上完成的，所有預訓練方法的批大小為256（下游任務在一個GPU上進行訓練）。對所有的預訓練數據集保持了相同的批處理大小。所有任務都使用PyTorch框架實現，并以混合精度進行訓練，使用權重和偏差來跟蹤實驗和執行超參數掃描。
 

圖1實驗流程圖：預訓練數據集構建的基本原理以及圖像的剪裁原理
 

圖2不同預訓練數據集和預訓練算法組合的ResNet-50編碼器的輸出之間的相似性（x軸顯示了每個對應的ResNet-50塊的Procrustes相似度，范圍為0-1）

通過大量的自監督學習實驗，研究發現除了葉片計數任務外，有監督的預訓練比自監督的預訓練更有效。這意味著除了葉計數任務外，每個任務的最佳性能模型都是一個經過監督方法預先訓練的模型，具體研究結果如下：（a）與MoCo v2和DenseCL相比，監督預訓練在除葉計數任務外的所有下游任務（下游任務即為真正想要解決的任務）上都產生了表現最好的模型。（b）在大多數情況下，一個應用于特定鄰域并多樣化的預訓練數據集可以在不同的預訓練方法中獲得最好的下游性能。(c)與監督方法相比，SSL方法對預訓練數據集的冗余表現出更高的敏感性。（d）在所有層中，使用MoCo v2訓練的模型與使用DenseCL訓練的模型的內部表示具有高度的相似性。相比之下，監督模型和自監督模型的內部表征在早期一層開始相似，在最后幾層很快變得更加不同。這項研究顯示了SSL在利用未標記數據集方面的植物表型方面的前景，但也指出了可能的改進領域。
 

論文鏈接：

https://doi.org/10.34133/plantphenomics.0037

——推薦閱讀——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

https://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標注，自監督創建小麥表型算法

Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 

‍https://doi.org/10.34133/plantphenomics.0007

Plant Phenomics | 基于無人機多光譜圖像和SRGAN的大白菜單株表型測定研究

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2021影響因子為6.961，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
排版：張婕（南京農業大學）
審核：孔敏、王平