綠色分?jǐn)?shù)（GF）指特定視角下冠層圖像中綠色像素的比例，GF從0到1變化，表征作物光合作用的葉面積越大、光截獲的能力越強(qiáng)�？梢�，大田條件下，監(jiān)測(cè)作物生育期內(nèi)GF動(dòng)態(tài)，能夠定量刻畫作物冠層生長和發(fā)育過程，指導(dǎo)種質(zhì)資源的精準(zhǔn)高效鑒定。
 

GF的估算精度取決于圖像分割算法的性能。大田條件下，光照條件、土壤/水田背景、冠層結(jié)構(gòu)等多因素復(fù)雜多變且相互疊加，為田間冠層影像的精準(zhǔn)分割帶來巨大挑戰(zhàn)。近年來，基于深度學(xué)習(xí)的語義分割算法快速發(fā)展，然而，農(nóng)業(yè)領(lǐng)域公開的語義分割數(shù)據(jù)集缺乏，需要人為標(biāo)注數(shù)以千計(jì)的圖像構(gòu)建訓(xùn)練數(shù)據(jù)集，像素級(jí)標(biāo)注所需成本高昂、人工標(biāo)注不確定性大，嚴(yán)重限制了GF估算精度的提升。
 

近日，Plant Phenomics 在線發(fā)表了南京農(nóng)業(yè)大學(xué)前沿交叉研究院PheniX實(shí)驗(yàn)室Enhancing green fraction estimation in rice and wheat crops: a self-supervised deep learning semantic segmentation approach 的研究論文。該研究開發(fā)的水稻和小麥圖像分割模型已公開：https://github.com/PheniX-Lab/sim2real-seg。
 

該研究利用數(shù)字植物表型平臺(tái)（Digital Plant Phenotyping Platform, D3P）自動(dòng)生成大量田間水稻和小麥模擬圖像，自帶像素級(jí)分割標(biāo)簽（sim dataset）。進(jìn)一步利用CycleGAN模型，縮小模擬圖像與真實(shí)田間圖像的特征差距（圖1），遷移過后的圖像（sim2real dataset）與真實(shí)圖像更為接近（圖2）。
 

基于D3P生成自帶像素級(jí)標(biāo)簽的Sim2real小麥和水稻數(shù)據(jù)集，訓(xùn)練了U-Net，DeepLabV3+，SegFormer三種典型深度語義分割模型，并利用來自中國、法國、日本、瑞士等四個(gè)國家、五個(gè)地區(qū)、不同生育期的小麥和水稻田間數(shù)據(jù)評(píng)估了模型精度。結(jié)果表明，使用SegFormer訓(xùn)練8000張水稻或小麥sim2real圖像得到的分割模型，精度最優(yōu)（小麥：R2 = 0.984，RMSE = 0.028；水稻：R2 = 0.967，RMSE = 0.048）（圖3）。
 

本研究利用三維模型和域自適應(yīng)算法，生成數(shù)以萬計(jì)、自帶像素級(jí)標(biāo)簽的訓(xùn)練數(shù)據(jù)集，無需人工標(biāo)注，極大降低了標(biāo)注成本，提高了數(shù)據(jù)集的多樣性，保證了標(biāo)簽精度；構(gòu)建了水稻、小麥田間圖像語義分割模型，實(shí)現(xiàn)了對(duì)綠色分?jǐn)?shù)GF生育期動(dòng)態(tài)的高精度估算（圖4）。
 

圖1結(jié)合數(shù)字植物表型平臺(tái)D3P和域自適應(yīng)算法CycleGAN進(jìn)行虛擬圖像的生成與優(yōu)化
 

圖2水稻與小麥的真實(shí)(real)，模擬(sim)，域自適應(yīng)(sim2real)圖像
 

圖3使用SegFormer訓(xùn)練水稻與小麥的真實(shí)(real)，模擬(sim)，域自適應(yīng)(sim2real)圖像數(shù)據(jù)集得到的模型，在4個(gè)國家5個(gè)地區(qū)的水稻與小麥數(shù)據(jù)集上進(jìn)行綠色分?jǐn)?shù)估算精度驗(yàn)證
 

圖4水稻與小麥的綠色分?jǐn)?shù)動(dòng)態(tài)曲線

南京農(nóng)業(yè)大學(xué)前沿交叉研究院、教育部植物表型工程中心、中法植物表型聯(lián)合實(shí)驗(yàn)室PheniX Lab博士研究生高楊明睿與鐘山青年研究員李英倫為本文共同第一作者，南京農(nóng)業(yè)大學(xué)劉守陽教授為本文通信作者。華中科技大學(xué)陸昊副教授、東京大學(xué)郭威副教授、華中農(nóng)業(yè)大學(xué)楊萬能教授參與了本研究。相關(guān)工作得到了科技部政府間國際科技創(chuàng)新合作重點(diǎn)專項(xiàng)、“十四五”重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金和江蘇省卓越博士后計(jì)劃等項(xiàng)目的資助。

論文鏈接：

https://doi.org/10.34133/plantphenomics.00‍64

模型公開：

https://github.com/PheniX-Lab/sim2real-seg

——推薦閱讀——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

https://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標(biāo)注，自監(jiān)督創(chuàng)建小麥表型算法

Combining high-resolution imaging, deep learning, and dynamic modelling to separate disease and senescence in wheat canopies

https://doi.org/10.34133/plantphenomics.0053

Plant Phenomics | 結(jié)合高分辨率影像、深度學(xué)習(xí)和動(dòng)態(tài)建模分離小麥冠層的疾病和衰老

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：劉守陽   

排版：向雪薇（南京農(nóng)業(yè)大學(xué)）

審核：孔敏、王平