Plant Phenomics | PSegNet：針對多品種作物點云的器官同步語義分割與實例分割深度學習網絡

植物表型學研究植物在生長過程中由遺傳基因和生長環境之間動態相互作用所形成的直觀植物指標。現代表型研究的主要路線是利用計算機數字化手段精確分析表型與基因型之間的關系，提高對復雜遺傳性狀的理解，進而加快基因育種、智慧農業等方面的發展。相較于作物圖像，通過三維成像手段獲得的作物三維模型不僅包含有色彩和紋理信息，而且包含圖像中缺失的深度結構信息。這在數據源頭即克服了視角限制導致的器官遮擋和重疊問題，是進行真正統計意義上的高精度表型測量的基礎。研究具有品種適應性的作物三維點云器官分割與表型方法不僅具有理論意義還蘊含著巨大的經濟價值。

近日，Plant Phenomics在線發表了東華大學信息學院李大威課題組的題為PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 的研究論文。

在獲取了可靠的三維點云數據后，對點云進行有效的器官分割就成為了三維植物表型分析的關鍵，如何有效分離莖與葉區域，以及進一步將冠層集合分割成單葉片實例并計算表型參數都是其中公認的難點。此外，如何基于當前流行的深度學習方法設計出同時適用于單子葉作物和雙子葉作物點云的適普分割方法也是較大的挑戰，這個挑戰存在于數據處理與整合、網絡模型設計、訓練參數的調諧等多個方面。

為了解決這些難題，本研究論文做出了如下貢獻：（1）提出了一種體素化最遠點降采樣策略（VFPS）對作物點云進行預處理（流程見圖1）。該策略綜合了體素化點云降采樣和最遠點采樣的優勢，具有點數固定、空洞少、可擴增訓練樣本、可進一步提升深度學習網絡性能的特點；（2）人工標注了一個包含了三個品種共幾百株作物點云的數據集用于深度學習網絡的訓練，該數據集囊括了單子葉作物（高粱）和雙子葉作物（煙草、西紅柿），點云標簽包含器官語義標簽與葉片實例標簽；同時，借助體素化最遠點降采樣策略對該數據集進行了高達十倍的訓練數據擴增；（3）設計了一種適用于單子葉作物和雙子葉作物點云分割的雙功能網絡—PSegNet（見圖2）。該網絡可以同時實現莖干和葉片區域的語義分割以及單葉的實例分割，其主要結構中包含了全新設計的雙鄰域特征提取塊（DNFEB），雙粒度特征融合模塊（DGFFM），注意力模塊（AM）等計算模塊；（4）不僅在作物點云上進行了訓練與測試，還在S3DIS這類大規模室內場景點云數據集上驗證了PSegNet的有效性，證明了本文深度學習網絡具有強數據適應性和多行業應用潛力。
 

圖1 VFPS策略示意圖
 

圖2 PSegNet的體系結構

實驗結果表明，提出的PSegNet在作物點云測試集上的器官語義分割任務中達到了95.23%的平均精確度、93.85%的平均召回率、94.52%的平均F1分數、以及89.90%的平均IOU；在葉片實例分割任務中達到了88.13%的平均精確度、79.28%的平均召回率、83.35%的mCov、以及89.54%的mWCov。PSegNet的結果明顯優于PointNet++、ASIS、SGPN和PlantNet等當前流行的深度學習網絡。PSegNet在測試集作物點云上的語義分割定性展示（見圖3），實例分割定性結果（見圖4）。PSegNet在農業領域之外的室內場景點云數據集S3DIS上也展現出了較好的分割性能，其語義分割定性結果與真實值的對比可（見圖 5），本文網絡在多個房間中都達到了接近真實值的分割效果，證明其具備強數據適應性能力。
 

圖3 PSegNet語義分割的定性展示
 

圖4PSegNet實例分割的定性展示
 

圖5 在S3DIS區域5的四個不同房間內演示PSegNet的語義分割結果

作者介紹：李大威，東華大學副教授，獲上海市啟明星人才計劃，上海市青年英才揚帆計劃。長期從事農業自動化、植物表型、計算機視覺與人工智能方向的研究。

論文鏈接：

https://doi.org/10.34133/2022/9787643

——推薦閱讀——

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline 

https://doi.org/10.34133/2022/9758532

Plant Phenomics | 基于深度學習的微根管圖像自動化分析方法

Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing

https://doi.org/10.34133/2022/9757948

Plant Phenomics | 基于近端多源時序數據和多任務深度學習同步預測小麥產量和品質性狀

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。2021年中科院期刊分區表影響因子5.706，位于農藝學、植物科學兩個小類一區，遙感小類二區，生物大類一區（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

特邀作者：李大威

編輯：趙瑜涵（實習）

審核：孔敏、王平