通過卷積神經網絡和雙向扇區搜索技術對西番蓮果樹枝的檢測和重建
傳統的果樹種植行業在很大程度上依賴勞動力的支持，具備強大感知和推理能力的智能農業機器人被應用于繁瑣重復的農業生產工作，以解決勞動力短缺等問題。準確的檢測和重建分支有助于收獲機器人的準確性和植物表型信息的提取。然而，復雜的果園背景和藤蔓果樹扭曲生長的樹枝使這一設計具有挑戰性。與傳統方法相比，深度神經網絡的強大特征提取和自主學習能力更能適應復雜的背景。目前深度學習方法應用于果樹的特征提取研究大多集中在杉木果樹上，并且目標和背景之間存在明顯的對比，相對較簡單。在早期階段，必須通過大量數據分析來獲得約束枝條重建的參數，并不會在生產實踐中帶來便利。
2023年9月，Plant Phenomics 在線發表了廣西師范大學教育部教育區塊鏈與智能技術重點實驗室和上海農業科學院農業信息科學技術研究所等人合作完成的題為Detection and Reconstruction of Passion Fruit Branches via CNN and Bidirectional Sector Search 的文章。
為了解決這些問題，本研究主要進行了兩方面的研究：第一，本研究開發了一種改進的實例分割網絡，用規則形四邊形表示隨機生長的分支，有效降低了檢測原始分支的復雜性，以在自然果園環境下準確檢測和分割果樹的枝條。第二，本研究提出了一種基于雙向扇區搜索的分支重建算法，基于生長姿態，對改進模型得到的分段分支進行自適應重構。需要注意的是，重構算法中使用的扇區搜索策略在較長的距離上具有更寬的搜索區域，這在一定程度上彌補了由于檢測模型的分支過度彎曲或遺漏檢測而導致的低重構率。
圖1 圖像采集和標注：(A)相機的位置和角度，捕獲圖像的(B)示例，以及分叉（上）和分段（下）分支的(C)標簽
本研究采用Mask R-CNN卷積神經網絡(Mask Region-based convolutional neural network，Mask R-CNN)架構，結合可變形卷積對復雜背景下的分支進行分割。基于生長姿態，提出了一種雙向扇區搜索的分支重建算法，對改進模型得到的分段分支進行自適應重建。改進的Mask R-CNN模型用于百香果的枝檢測的平均準確率、平均召回率和F1分數分別為64.30%、76.51%和69.88%，在測試數據集上的平均運行時間為0.75秒，優于對比模型。該研究從測試數據集中隨機選擇40張圖像來評估分枝重建。分枝重建精度為88.83%，平均誤差為1.98px，重建直徑平均相對誤差為7.98 px，均交并比(Mean intersection-overunion ratio，mIOU)為83.44%。單幅圖像的平均重建時間為0.38秒，本研究所提出的方法可以為檢測和提取果樹枝條的表型參數，尤其是類葡萄果樹的枝條，可以為后續果樹枝條表型研究提供良好的基礎，并為智能農業設備提供必要的技術支持。
圖2 改進了3種陽光條件下的Mask R-CNN檢測效果：(A)檢測早上采集的圖像的結果，(B)檢測中午采集的圖像的結果，(C)檢測下午采集的圖像的結果
本文的主要作者為鮑江川博士和陸聲鏈教授，所屬單位為廣西師范大學教育部教育區塊鏈與智能技術重點實驗室和上海農業科學院農業信息科學技術研究所。基金資助：國家自然科學基金項目（第61662006號），廣西農業科技計劃項目（Z201915)，上海科技委員會計劃（編號：21N21900700）。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0088
——推薦閱讀——
Phenotyping Key Fruit Quality Traits in Olive Using RGB Images and Back Propagation Neural Networks
https://doi.org/10.34133/plantphenomics.0061
Plant Phenomics | 利用RGB圖像和反向傳播神經網絡對橄欖果實關鍵品質性狀進行表型分析
https://doi.org/10.34133/plantphenomics.0052
Plant Phenomics | 利用自監督序列卷積神經網絡（SS-CNN）分割田間重疊植株的高通量植物表型分析
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：吳庚宸（南京農業大學）
排版：蘇梓鈺（南京農業大學）
審核：孔敏、王平
