Plant Phenomics | SegVeg通過深度和淺層方法的結合將RGB圖像分割成綠色和衰老植被

對作物結構和生化性狀進行無損和及時的監測對于評估植物的生理和物候狀態以及進一步了解其隨時間推移的功能非常重要。因此有必要對綠色以及衰老植被進行分類。先前的研究指出，可以通過閾值與植被指標方法，機器學習分類方法，對背景-植被，植被衰老部分-植被健康部分分類。先前的閾值與植被指標方法包括，使用植被分數（VF），對背景像素與植被像素進行劃分；使用綠色分數（GF）可以計算單位水平地面面積的綠色植被元素面積；衰老指數（SF）通過計算VF和GF之間的區別描述作物功能，突出了衰老部分部分（非光合部分）的差異，可以表征生物或非生物脅迫，描述養分循環，并監測衰老過程。先前的機器學習方法通過原始圖像通道信息，計算并提取多種光譜指數與色彩空間變換信息，標注后作為機器學習分類器模型的輸入進行計算。當前觀測平臺有多個尺度，包過衛星遙感、無人機遙感、車載傳感器、吊艙和手持平臺。
 

2022年11月，Plant Phenomics在線發表了法國國家農業食品與環境研究院等單位題為SegVeg: Segmenting RGB Images into Green and Senescent Vegetation by Combining Deep and Shallow Methods 的研究論文。
 

作者分析，先前方法存在的問題在于：

（一）混雜效應：根據照明條件和相機光學元件的質量，由于色差，部分土壤可能呈現綠色。此外，圖像中飽和、具有強烈鏡面反射或非常暗的部分將難以僅使用像素的顏色進行分類。最后，當土壤含有藻類時，土壤也可能呈綠色。

（二）顏色的連續性：在細胞尺度上，衰老是由通常在細胞死亡之前發生的色素降解引起的。在葉片降解過程中，葉片色素成分的變化，導致RGB圖像中的葉片顏色色彩范圍在“綠色”和“衰老”狀態之間具有連續性。此外，當像素位于器官的邊界時，其顏色將介于器官和背景之間。當RGB圖像的空間分辨率過于粗糙時，這個問題明顯增強。

僅使用像素的顏色信息很難準確而穩健地分割RGB圖像的綠色植被部分。同樣的限制也適用于衰老植被部分的分割。因此本文作者Mario Serouart提出使用SegVeg的兩步語義分割方法，該方法首先使用U-net 2C對植被和背景進行分割，接下來使用SVM對植物綠色部分和衰老部分進行分割。并且使用U-net 3C做分割性能的對比。
 

數據集：

數據集1：數據集1的圖像是用幾臺配備不同焦距光學元件，和距地面不同高度不同的相機采集的。所有模糊的圖像或質量差的圖像都被。然后將原始圖像分成幾個方形的像素塊以保持足夠的上下文特征。共提取了2015個圖塊，數據及具有很大的多樣性。地面采樣距離 （GSD） 范圍在 0.3 到 2 毫米之間，以捕獲足夠的細節。

每個原始圖像都被仔細分割成植被（綠色和衰老組合）和背景像素。
 

Figure1數據集1中從八個子數據集中提取的512×512像素圖像樣本
 

Table1構成最終數據集的子數據集的特征

數據集2：數據集2僅由帶注釋的像素組成。

該數據集用于訓練和測試SegVeg方法的SVM階段。添加背景像素后，它還用于評估SegVeg和U-nets（2C和3C）的性能。
 

Figure2數據集2三個獨立數據集所使用的采集系統，以及它們各自從三個系統中提取的圖像
 

Table 2數據集2的測量參數
 

Table3數據集劃分

SegVeg模型結構：

SegVeg第一階段使用U-net 2C在背景中提取植被像素，接下來使用SVM方法對作物綠色部分和衰老部分進行分類。第一階段可以準確的從圖像中提取植被像素信息，第二階段對比U-net 3C模型可以降低標注工作量。模型結構如下圖所示。
 

Figure 3 SegVeg結構的輸入和輸出示意圖

研究結果：

作者首先使用U-net 2C在背景中提取植被像素（SegVeg第一階段），結果如下。

Table 4 模型在測試數據集上對植被和背景像素的分類性能

接下來執行SVM方法分割綠色與枯萎的像素（SegVeg第二階段），并與僅使用SVM方法進行對比，結果如下。
 

Table5僅用SVM分類法和使用完整的SegVeg方法在三個子數據集中的性能評價

接下來作者對比了SegVeg模型與U-net 3C的性能，結果如下。
 

Table6U-net 3C模型的性能和Similitude對SegVeg模型的評價

最后，作者在討論部分指出：

1. 眼睛靈敏度的差異會影響對顏色的感知。并且，衰老的第一階段也可能在操作員的標簽之間產生差異，因為觀察到的黃色和紅色與顏色空間中的綠色連續。作者通過雇傭多個標注員，并創建了一個的35^3個體素的3D RGB 包含立方體解決。

2. 應增加其他色彩空間參數作為SVM模型的輸入，相機采集的原始信息提供的RGB色彩空間不足以區分，。

3. 光照條件會影響分割性能。在高亮度和飽和度下觀察到的少數綠色像素可能對應于標記中的錯誤或非常接近綠色和衰老植被之間極限的混合像素。這既適用于標記過程，也適用于模型預測。
 

Figure 4 被SegVeg模型錯誤分類的像素的亮度和飽和度的分布
 

Figure 5 受控和自然光照條件下的性能分布

4. SVM在SegVeg模型中，作為從背景中提取植被像素后的進一步處理，對比U-net 3C的結果表明，可以在第二步使用SVM方法降低模型對標注數據量的依賴。
 

Figure 6 使用SegVeg（b）或U-net 3C（c）進行分割的結果

5. SegVeg模型提取綠色植被的性能更好，提取衰老植被的偏差更小。
 

Table 7 SegVeg和U-net 3C在網格上估計背景、綠色和衰老植被部分的表現
 

Figure 7 比較SegVeg方法預測的分數與測試數據集1上標記的分數

論文鏈接

https://doi.org/10.34133/2022/9803570

——推薦閱讀——

Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多傳感器系統和超像素分類的麥穗圖像分割

High-Throughput Corn Image Segmentation and Trait Extraction Using Chlorophyll Fluorescence Images

https://spj.sciencemag.org/journals/plantphenomics/2021/9792582/

Plant Phenomics | 基于葉綠素熒光圖像的高通量玉米圖像分割和性狀提取

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科瑞唯安JCR2021影響因子為6.961，位于農藝學、植物科學、遙感一區，生物大類一區（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

特邀作者：李澍（實習）

編輯：蘇梓鈺（實習）

審核：孔敏、王平