用動態顏色變換網絡適當對圖像進行通道變換可有效提升麥穗檢測的精度
Plant Phenomics | 華中科技大學曹治國教授提出用于麥穗檢測的動態顏色變換網絡
傳統的小麥特征監測依賴于人工測量，既耗時又耗力。隨著無人機、智能手機等低成本成像平臺的普及，基于田間圖像的小麥觀測成為了替代人工觀測的便捷選擇。其中，麥穗檢測有助于自動測量多種小麥特征，例如小麥密度和麥穗生長時期。然而，田間麥穗檢測存在許多挑戰：不同觀測環境會導致顯著的光照變化，且麥穗在不同的生長時期會呈現不同的顏色與性狀。
2022年2月，Plant Phenomics在線發表了華中科技大學曹治國教授團隊題為Dynamic Color Transform Networks for Wheat Head Detection的研究論文，提出了一種動態顏色變換網絡，有效改善了麥穗檢測的精度。
本文通過觀察發現適當地改變輸入圖像的顏色通道可以提升麥穗檢測的效果。受到該觀察的啟發，本文提出用動態顏色變換網絡來對圖像進行線性顏色通道變換，其變換表達式如下所示：
其中，R,G,B是原始圖像的顏色通道，αR,αG,αB和βR,βG,βB是網絡預測的顏色變換參數，R’,G’,B’是變換后的圖像顏色通道。
具體來說，給定一個目標檢測模型，本文將動態顏色變換網絡與檢測模型相結合，以實現自適應顏色變換的麥穗檢測，方法整體流程圖如下圖所示：
圖1 方法整體流程圖
其中，動態顏色變換網絡首先預測變換參數α和β，將輸入圖像x變換為x’。接著，變換后的圖像x’被送入目標檢測網絡，得到最終的預測。由于動態顏色變換網絡與目標檢測模型相互獨立，因此該網絡具有較強的可拓展性，可以與任意的目標檢測模型相結合。本文以Scaled-YOLOv4為基準目標檢測模型。
進一步的，本文提出了兩種動態顏色建模的方式，分別是基于回歸的顏色建模和基于分類的顏色建模。前者直接預測顏色變換參數α和β，后者則先預測α和β的分布，然后再基于分布計算得到最終的預測參數。二者的網絡架構圖如圖2所示：
本文在全球麥穗檢測數據集2021上進行了實驗，以驗證動態顏色變換網絡的有效性。此外，本文方法也參加了2021年全球麥穗檢測挑戰賽，并獲得了亞軍。
本文將提出的動態顏色變換網絡與Scaled-YOLOv4檢測模型相結合，平均域檢測精度如下表所示，可以看到引入動態顏色變換網絡可以有效提升麥穗檢測精度。
本文進一步研究了不同主干網絡對于檢測性能的影響，具體結果如下表所示。可以發現，動態顏色變換網絡對于主干網絡并不敏感，使用輕量化網絡（如ShuffleNetV2）和深網絡（如ResNet18）都能取得性能提升。
圖3展示了本文方法的檢測結果，從中可以看到本文方法能夠取得較好的檢測效果。
圖3 檢測結果可視化，其中紅框為模型預測，綠框為真實目標標注
本文針對田間麥穗檢測問題，提出了一種簡單有效的動態顏色變換網絡。該網絡可以自適應地校正輸入圖像的顏色通道，對光照變化具有較強的魯棒性，有效提升了麥穗檢測的精度。值得一提的是，本文方法在2021年全球麥穗檢測挑戰賽中取得了亞軍的成績，平均域準確率為0.695。
論文第一作者為劉承鑫（華中科技大學，博士研究生），論文通訊作者為曹治國教授，合作者包括華中科技大學的王可為（碩士研究生）和陸昊副教授。該研究得到國家自然科學基金（61876211）和中央高校基本科研專項資金（2021XXJS095）的支持。
作者團隊介紹：
曹治國教授的研究方向是圖像理解與分析、深度信息提取與真三維視頻處理、運動檢測與行為分析等。其率領的團隊近五年在CVPR、ICCV、ECCV、IEEE TIP、TCSVT等國際權威期刊和國際頂級學術會議發表論文數十篇。
https://doi.org/10.34133/2022/9818452
——推薦閱讀——
Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods
https://doi.org/10.34133/2021/9846158Plant Phenomics | GWHD_2021：改進后的全球麥穗檢測數據集
Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud
https://doi.org/10.34133/2021/9838929
Plant Phenomics | Panicle-3D：水稻穗點云精確語義分割的高效表型工具
加入作者交流群
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科瑞唯安JCR2021影響因子為6.061，位于農藝學、植物科學、遙感一區，生物大類一區（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：陸昊
編輯：王平
審核：尹歡、孔敏
