Plant Phenomics | 中南林科大周國雄教授團隊基于PDC-VLD的具有較強泛化性能的番茄葉病多模態開放目標檢測模型

在番茄葉片病害檢測中，現有模型嚴重依賴大量標記數據進行訓練，并且只能識別訓練集中存在的疾病類型。當遇到未知疾病時，通常需要額外的數據標注和再訓練，這不僅耗時費力，而且在標注過程中難以消除偏見。因此，減少模型對大量標記數據的依賴，增強其對新型病蟲害的快速識別能力，對于提高檢測效率和減少損失至關重要。然而，在解決標記數據的依賴問題時也要考慮番茄葉片病害檢測過程中存在幾個主要問題：（1）類內變異與類間相似性：即使是同一種疾病，由于不同的發展階段和環境條件，番茄葉片可能表現出不同的特征（如顏色、質地和形狀），導致類內變異顯著。而不同種類的疾病可能具有相似的特征，增加了檢測的復雜性。（2）背景干擾問題：在實際環境中，番茄葉片常與土壤、光照等背景因素混雜，特別是當病害發生在葉緣時，背景干擾更加嚴重。這些干擾信息使得候選邊界框不夠精確，影響疾病的識別和定位。（3）適應性優化：由于番茄葉病數據相對稀缺，模型在訓練過程中可能表現出緩慢收斂、次優檢測性能、過度擬合及對噪聲敏感等問題。這不僅影響模型的實際應用效果，還增加了計算成本。

通過解決這些問題，我們可以減少模型對大量標記數據的依賴，同時顯著提升番茄葉片病害檢測的效率和準確性，從而更有效地應對農業生產中的實際挑戰。

圖1 番茄葉片病害識別的問題示例

2024年8月， Plant Phenomics 在線發表了中南林業科技大學周國雄教授團隊題為A Multi-Modal Open Object Detection Model for Tomato Leaf Diseases with Strong Generalization Performance Using PDC-VLD 的研究論文。

為克服當前番茄葉片病害目標檢測模型的局限性和相關問題，我們專注于六種常見的番茄葉片病害。我們將開放詞匯檢測技術引入番茄葉片病害目標檢測領域，并提出了PDC-VLD，這是一個用于番茄葉片病害開放詞匯目標檢測的框架。為了解決目標檢測過程中的挑戰，我們開發了一種漸進視覺變換-卷積金字塔模塊(PVT-C)，該模塊有效提取番茄葉片病害特征，并使用自監督學習算法DINO優化錨盒定位，抑制不相關背景的干擾。然后，采用上下文特征引導模塊(CFG)來解決模型在數據稀缺環境下的適應性和識別精度較低的問題。

圖3 提出的PDC-VLD模型的網絡結構圖

本文創新點如下：

(1) 首次將OVD技術應用于番茄葉病檢測。該方法利用VLDet框架，直接從圖像-文本對數據中學習，通過將一組圖像區域特征與一組詞嵌入相匹配，將對象與語言對齊，從而識別未知疾病。

(2) 我們提出漸進收縮視覺變壓器-卷積金字塔模塊，它結合了金字塔結構VTs的層次特性和卷積投影的局部敏感性。這種增強了模型捕捉局部和全文空間背景的能力，從而更有效地提取細粒度疾病相關特征。

(3) VLDet框架結合了一種新的基于DINO的番茄葉病錨盒校準策略。DINO的雙重前向預測方案和混合查詢選擇機制減少了冗余預測，有效地去除了圖像中分散注意力的背景元素，提高了最終預測的準確性和可靠性。

(4) 采用基于CNN的局部特征指導(CFG)方法對番茄葉片病害進行自適應優化。該方法首次在VLDet框架中應用，利用CFG模塊指導變壓器網絡更有效地學習和捕獲分層信息。這簡化了知識轉移和網絡訓練過程，提高了葉片病害檢測的性能。

該研究由中南林業科技大學、內蒙古農業大學、內蒙古大學、愛達荷大學、湖南省植物保護研究所合作完成。中南林業科技大學李錦陽為該文第一作者，周國雄教授為該文通訊作者。相關工作得到長沙市自然科學基金、國家自然科學基金等資助。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0220

——推薦閱讀——
Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 
https://doi.org/10.34133/plantphenomics.0199
Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長軌跡檢測模型
From Laboratory to Field: Unsupervised Domain Adaptation for Plant Disease Recognition in the Wild
‍https://doi.org/10.34133/plantphenomics.0038
Plant Phenomics | 從實驗室到田間：野外植物病害識別的無監督域適應

加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為7.6，位于農藝學、植物科學、遙感一區。2023年中科院期刊分區位于農林科學大類一區。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領軍期刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：周國雄
排版：張婕（上海交通大學）
審核：孔敏、王平