Plant Phenomics | 浙江大學(xué)發(fā)現(xiàn)一種融合快照光譜圖像和RGB-D圖像生成高質(zhì)量三維多光譜植物點(diǎn)云的新方法



 

光譜成像作為流行的表型技術(shù)之一，可以獲得與結(jié)構(gòu)、生化和生理性狀相關(guān)的植物光譜和空間信息。然而，植物近端光譜成像可能會(huì)受到復(fù)雜的植物結(jié)構(gòu)和光照條件的影響。諸如植物葉片的傾斜和卷曲、植物葉片與其他器官或樹冠之間的相互遮擋以及植物與光照的相互作用等因素會(huì)極大地影響植物光譜成像的完整性和準(zhǔn)確性，已成為近端植物表型分析的主要挑戰(zhàn)之一。三維多光譜點(diǎn)云是一種有前景的多模態(tài)數(shù)據(jù)形式，其同時(shí)包含了了離散點(diǎn)的坐標(biāo)和多波段光譜響應(yīng)，在呈現(xiàn)植物生長(zhǎng)和發(fā)育信息方面具有很強(qiáng)的互補(bǔ)性。但由于多模態(tài)數(shù)據(jù)融合的復(fù)雜性和光照效應(yīng)，其生成精度仍然較低。因此，有必要開發(fā)一種新的方法來生成高質(zhì)量的植物三維多光譜點(diǎn)云。
 

2023年3月，Plant Phenomics在線發(fā)表了浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院、浙江大學(xué)植物表型創(chuàng)新團(tuán)隊(duì)、農(nóng)作物光學(xué)成像實(shí)驗(yàn)室題為 Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images 的研究論文。
 

本研究提出了一種生成高質(zhì)量植物三維多光譜點(diǎn)云的新方法。SURF-Demons算法被用于融合近端獲取的深度圖像和快照光譜圖像。為消除光照影響，作者開發(fā)了一種基于半球參考體和ANN的植物光譜圖像反射率校正方法。所提出的SURF-Demons配準(zhǔn)植物的RGB-D圖像和快照光譜圖像的平均SSIM達(dá)到了0.931，超過了其它經(jīng)典方法（平均SSIM為0.889）。用ANN模擬了不同位置和方向的參考DN值分布，R²為0.962，RMSE為0.036。與ASD光譜儀測(cè)量的真實(shí)值相比，校正后不同葉位的光譜反射率的平均RMSE下降了78.0%，相同葉位的多視角光譜反射率曲線之間的平均歐氏距離極差減少了60.7%。所提出的植物三維多光譜點(diǎn)云的生成方法為近端植物表型準(zhǔn)確分析提供了關(guān)鍵技術(shù)。

圖1 校正前后的植物多光譜圖像對(duì)比和三維多光譜點(diǎn)云可視化 (波長(zhǎng)為740.7nm)
 

圖2 不同葉位校正前后的多光譜反射率曲線對(duì)比

浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院博士研究生謝鵬堯?yàn)榈谝蛔髡撸�岑海燕教授為本文的通訊作者。相關(guān)工作得到國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目、浙江省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目以及浙江大學(xué)國際合作專項(xiàng)的資助。

論文鏈接：

https://doi.org/10.34133/plantphenomic‍s.0040

——推薦閱讀——

Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping

https://doi.org/10.34133/plantphenomics.0037

Plant Phenomics | 基于圖像的植物表型自監(jiān)督對(duì)比學(xué)習(xí)方法的基準(zhǔn)測(cè)試

Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 

‍https://doi.org/10.34133/plantphenomics.0007

Plant Phenomics | 基于無人機(jī)多光譜圖像和SRGAN的大白菜單株表型測(cè)定研究

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)、遙感二區(qū)、生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：謝鵬堯（浙江大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平