小麥是全球種植最廣泛的作物，其產量與全球糧食安全密切相關。麥穗數量在小麥育種和產量估算中具有重要意義。因此，自動化的麥穗計數技術對于培育高產品種和提高糧食產量至關重要。然而，現有的所有方法都需要位置級標注進行訓練，這意味著需要大量人力進行標注，從而限制了深度學習技術在農業領域的應用與發展。

2024年8月， Plant Phenomics 在線發表了貴州大學公共大數據國家重點實驗室SAMLab實驗室王崎老師團隊題為CSNet: A Count-Supervised Network via Multiscale MLP-Mixer for Wheat Ear Counting 的研究論文，代碼已開源，歡迎大家follow我們的工作，相關鏈接附在文章尾部。

圖1 不同監督方式的麥穗計數方法對比

為了解決這一問題，我們提出了一種基于數量監督的多尺度感知麥穗計數網絡（CSNet），CSNet基于MLP-Mixer構建全局特征關系獲得不同空間維度的小麥穗注意圖，使該模型能夠在僅依賴計數信息的情況下有效處理不同尺寸的小麥穗。CSNet由骨干模塊（backbone）、卷積塊注意模塊（CBAM）、多尺度感知模塊（MPM）和計數模塊（CM）組成，如圖2所示。具體而言，backbone提取圖像特征，而CBAM則聚焦于小麥區域的特征。為了更好地適應麥穗的多樣性，我們設計了MPM以獲取麥穗在多個空間維度上的特征，從而提升模型對麥穗的識別能力。最后，CM使用全連接層和平均池化層直接回歸最終的計數結果。

圖2 CSNet的整體架構

1.骨干模塊（backbone）
骨干是神經網絡的重要組成部分，它負責特征提取，對模型的泛化能力、魯棒性和整體效率有重要影響。為了優化模型在準確率和資源開銷之間的平衡，我們選擇了VGG16的前10層，作為CSNet的骨干。該骨干在ImageNet上進行了預訓練，初步具備了提取底層特征的能力，節省了計算資源，提高了計算效率，提高了模型的泛化能力。

2.卷積塊注意模塊（CBAM）
在雜草叢生、小麥相互遮擋的復雜環境中，模型需要減少對麥穗區域的關注，以便能夠有效地計數麥穗。為了解決這個問題，我們引入了一個高效輕量級的CBAM，它結合了通道和空間注意力。特別地，通道注意可以調整模型在每個特征之間的注意程度，使其關注基本特征(如麥穗的形狀、大小和紋理)，而忽略無關特征(如麥穗上的光線變化和碎片)�？臻g注意力調整模型對圖像各區域的關注程度，從而增強對小麥區域的關注，減少背景區域(如雜草)的影響。

如圖2-A所示，骨干層輸出特征圖Mb，該特征圖通過CBAM模塊進一步優化，得到特征圖Mf。與特征圖Mb相比，特征圖Mf在通道和空間上更關注麥穗區域。首先，在Mb上執行空間平均和最大池化操作，分別得到每個通道的最大值和平均值。隨后，通過全連接層對每個通道的最大值和平均值進行加權，得到通道注意力權重，表示為Ms，反映了對單個通道的關注程度。此外，通過對通道注意力權重Mc和特征圖Mb執行點相似性操作，得到通道注意力特征圖Mcb。接著，在Mcb上進行通道平均和最大池化，并將結果通過卷積層，得到包含空間位置信息的注意力權重Ms。最后，將Mcb中每個空間位置與注意力權重Ms進行點乘操作，生成特征圖Mf，該特征圖在通道和空間上都增強了對麥穗的注意力。這一過程增強了對麥穗區域的感知焦點，并突出了麥穗的關鍵特征。CBAM過程的數學公式表達如下：

其中，σ表示Sigmoid函數，FC表示全連接層，表示空間最大池化，表示通道平均池化。

3. 多尺度感知模塊（MPM）
為了在缺乏位置信息的情況下感知麥穗，我們采用基于MLP的MLP-mixer網絡中的mixer層，以學習每個patch與其他patch之間的關系，從而感知麥穗之間的關聯并進行計數。然而，由于麥穗在表型（大小、顏色和形狀）上存在較大差異，因此僅通過單一尺度來感知所有麥穗是不可行的。為了解決這一問題，我們提出了一種多尺度方法，該方法在多個空間中捕捉麥穗特征，以實現精確識別。如圖2-B所示，特征圖被切割成不同大小的patch，其中較小的patch可以捕捉到更細微的特征。通過在不同尺度上感知特征，MPM可以從多個空間維度區分特征，從而識別多樣化的麥穗。

具體而言，MPM主要將麥穗特征圖Mf切割并投影到多個特征矩陣上，這些特征矩陣通過mixer層進行信息交互，以獲取全面的全局注意力信息，如圖2-C所示。首先，將從CBAM輸出的麥穗特征圖Mf切割成512X16X16、512X8X8和512X4X4大小的n1、n2和n3特征patch。每個特征patch隨后被映射為一個特征向量，從而構成一個特征矩陣，其中特征矩陣中的相同行代表同一空間中的不同通道，而相同列則代表不同空間中的同一通道。

接著，將特征矩陣輸入到mixer層進行信息交互，該層包括Layer Norm和MLP，特征矩陣的每一行通過Layer Norm進行歸一化處理，然后通過多層MLP進行信息傳遞。此外，代表不同空間或通道信息的特征矩陣行通過轉置進行互換，并在MLP中進行交互，以獲得全面的全局注意力信息。最后，MPM將具有不同尺度信息的三個特征矩陣進行拼接，并再次通過mixer層進行交互，生成一個整合了三維全局注意力的麥穗特征矩陣。mixer層融合并優化來自多個尺度的特征，消除了差異并促進了統一的特征表示。

上述特征矩陣分別表示為T1、T2、T3和Tall，整個過程可以定義如下：

其中S表示切片操作，16X16表示切片補丁的大小，Fi表示線性投影。另外，表示在i階上存在N個mixer層。

4.計數模塊（CM）
CM的設計目的是將特征轉換為數量，而不需要生成邊界框或密度圖，而是直接生成回歸計數。特別地，本文提出的CM利用MPM輸入到全連接層的信息豐富的小麥穗特征矩陣輸出進行降維并生成計數。為了減輕由于個體計數的內在變異性而導致的顯著差異的可能性，CM同時預測一組計數，模型采用通過平均池化匯總最終預測的小麥穗數。具體流程如下:

其中，σ表示ReLU函數，表示最終預測計數。

5.實驗
為了驗證所提出的CSNet的有效性，我們將所提出的方法與目標檢測算法、密度圖計數方法及于人群的計數監督方法在GWHD2020和GWHD2021數據集上進行了比較，如表1所示。

表1 在GWHD2020和GWHD2021數據集上不同監督方法的性能比較

選擇經典網絡作為CSNet的骨干網絡，進一步評估骨干網對模型性能的影響。所有模型都在ImageNet上進行預訓練，以擁有提取通用的原始特征的基本性能，實驗結果如表2所示。

表2 不同骨干網絡對CSNet性能的影響

為了驗證多尺度感知模塊的有效性，我們對其進行了消融實驗。具體來說，我們構建了一層、兩層、三次和四層，其中使用不同的切片大小來分割不同層中的特征信息，從而得到八種不同的結構，如表3所示。

表3多尺度感知模塊對CSNet性能的影響

此外，我們對CSNet進行了可視化實驗，以深入理解其在麥穗識別任務中表現。在具體的實驗中，我們在VGG16的最后一個卷積層中探索感興趣的區域，并使用熱圖將它們映射到原始圖像上，實驗結果如圖3所示。

圖3 特征可視化圖

計數是農業領域的一項重要任務，為農民提供準確的數據支持，有助于科學的農業管理和生產決策。隨著計算機視覺技術的進步，農業計數逐漸向自動化、智能化方向發展。然而，創建數據集的高成本已成為瓶頸，阻礙了該技術的廣泛采用，并難以滿足農業的各種計數要求。因此，本文提出的方法旨在降低數據集創建的成本，從而實現低成本的自動計數。相比之下，一些農業數量評估目前是手動執行的，并且可以通過額外拍攝圖像獲得小型計數監督數據集。但是，從單個區域的不同角度捕獲圖像允許標簽重用并降低注釋成本。此外，對于在區域環境中生長的植物（例如葡萄和西紅柿），可以使用相機捕捉平移鏡頭。在這種情況下，同一集群的果實出現在不同的圖像必須只計數一次，從而減少重復計數的發生。對于整齊種植的作物，通過人工記錄行數和列數，可以快速獲得定量信息。然而，對于密集種植或廣泛種植的作物，手動計算行數和列數可能是繁瑣的。CSNet是自動化計數過程的有效解決方案，同時將標簽成本降至最低。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0236

CSNet代碼地址：
http://csnet.samlab.cn/

——推薦閱讀——
Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 
https://doi.org/10.34133/plantphenomics.0199
Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長軌跡檢測模型
Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images
https://doi/10.34133/plantphenomics.0046
Plant Phenomics 精選2023 | 基于RGB圖像的基因型×環境型×管理相互作用下的玉米葉片方向變化分析

加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？�發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄�？祁Ｎò睯CR2022影響因子為7.6，位于農藝學、植物科學、遙感一區。2023年中科院期刊分區位于農林科學大類一區。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領軍期刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：李耀羲
編輯排版：王平、張婕（上海交通大學）
審核：尹歡、孔敏